Rosa Vega Cano
rosavc@fevaq.net
Carlos Alberto Gómez Prado (CV)
caralberto79@hotmail.com
Universidad Michoacana de San Nicolás de Hidalgo
Resumen
Las políticas sociales constituyen mecanismos de redistribución de recursos que buscan compensar las desigualdades sociales, puesto que tienen el objetivo principal de mejorar las condiciones de vida de la población.
En ese sentido es importante considerar la evaluación de programas públicos, puesto que ésta permite establecer en qué medida tiene lugar el cumplimiento de metas y la correspondencia entre gasto y objetivos.
Algunos autores señalan que en México la evaluación de programas sociales es considerada un elemento técnico que corrige el diseño y operación de los programas como base para la implementación del presupuesto por resultados; pero que, aun a pesar del interés gubernamental por impulsar la evaluación cuantitativa basada en métodos cuasi experimentales con técnicas econométricas, se enfrenta a deficiencias y dogmatismos en el uso de esa metodología y en su aplicación técnica.
Se puntualiza también que las evaluaciones de políticas y programas públicos en México, sobre todo los concernientes al desarrollo social, adolecen de calidad técnico-metodológica y se concluye que México sólo reporta avances en la consideración de la participación social y ciudadana en sus normas jurídicas y en su planeación, pero en la práctica no hay evidencias de gestión ni de evaluación participativas.
Palabras clave: evaluación, Políticas Sociales, Programas Sociales, Metodologías, México.
El presente artículo constituye uno de los resultados de la primera etapa del Proyecto de Investigación: “Evaluación del Programa de Fortalecimiento Comunitario en el Estado de Michoacán”. Aprobado por el Consejo de la Investigación Científica de la Universidad Michoacana de San Nicolás de Hidalgo, en abril de 2011.
Introducción
En años recientes se ha notado un importante incremento en el interés por la valoración de las acciones y actuaciones de los gobiernos con la intención de lograr la eficiencia en la aplicación de los recursos públicos, lo cual se traduce en una necesidad de llevar a cabo evaluaciones constantes y permanentes de los programas que integran la política pública en sus diversos ámbitos, con el objetivo de seleccionar los más eficientes y prescindir de los que resulten improductivos.
Esto resulta fundamental, sobre todo en el terreno de las políticas sociales, puesto que éstas tienen por objetivo explícito mejorar las condiciones de vida de la población, al constituir mecanismos de redistribución de recursos que buscan compensar las desigualdades sociales, siendo guiadas por el criterio de equidad.
Aspectos generales del concepto de Evaluación
Existen diferentes niveles desde los cuales se puede observar la evaluación. En su nivel más genérico o abstracto, evaluar supone la implantación de un cierto tipo de metodología que se caracteriza por tener una terminología propia, un conjunto de herramientas conceptuales y analíticas específicas, y unos procesos, fases y procedimientos del mismo modo específicos.
En su nivel más concreto, evaluar implica la aplicación de aquel modelo o metodología de intervención capaz de producir información válida y confiable que permita el establecimiento de juicios sobre el qué y el cómo de los logros de una determinada actuación.
Naturalmente, esto puede significar el uso de uno o más tipos de evaluación (evaluación de necesidades, de calidad, de resultados e impactos, de eficiencia, etc.) y su realización en varios momentos (ex–ante, on–going, ex–post). Del mismo modo, dependiendo de quién se encargue de llevar a cabo la evaluación, ésta puede ser externa, interna o autoevaluación. (Salle, 2003).
Realmente, dentro de una nueva visión alrededor del quehacer evaluativo, se reconoce ya ampliamente que la evaluación como capacidad técnica funcional es un componente clave en todo el ciclo de los programas y proyectos. (Espinoza y Van de Velde, 2005)
De acuerdo con el Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES, 2011), la Evaluación es un “estudio, que utiliza un conjunto de información ordenada y relacionada según un marco metodológico y que tiene por finalidad emitir juicios sobre aspectos concretos de un ámbito del quehacer público, como ser una política, un programa o un proyecto, y con base en las conclusiones, emitir recomendaciones en orden a contribuir a su mejoramiento”.
En este sentido, la evaluación permite en primera instancia establecer en qué medida tiene lugar el cumplimiento de metas; cuál es la eficiencia operativa; el costo–beneficio de los programas; su adecuación a las normas operativas y la correspondencia entre gasto y objetivos.
La evaluación ayuda a mejorar la gestión y los resultados e impactos porque produce la información necesaria para identificar y entender las causas de los logros, los fracasos o problemas del desempeño individual y colectivo, dentro de un contexto de planeación estratégica (Bryson, 1988).
La evaluación tiene dos papeles: a) la retroalimentación permanente, en fases de diseño o de ejecución (aporta al proceso de aprendizaje institucional, y mejoramiento del desempeño de los Programas Públicos) y b) dar a conocer, a partir de criterios técnicos, el proceso de toma de decisión sobre la asignación de recursos públicos.
Puede deducirse, entonces, que la Evaluación trae consigo ventajas evidentes, como son: establecimiento de los niveles de responsabilidades de los funcionarios públicos y su obligación de dar cuenta de ellas; garantiza, en cierta medida, una gestión más transparente; contribuye al mejoramiento de la calidad en los servicios prestados por el sector público y con ello, su productividad; además de generar información sobre la eficiencia del uso de recursos.
Ahora bien, la Evaluación puede llevarse a cabo en distintos niveles (ILPES, 2011):
Cabe señalar la diferencia entre el concepto de evaluación y el de monitoreo, puesto que algunas veces se llegan a confundir; el monitoreo suele ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos. La evaluación, por su parte, utiliza la información del monitoreo y emite juicios sobre los resultados del mismo.
Importancia de la Evaluación de Programas Públicos
Un Programa público es un conjunto de actividades ordenadas en componentes que persiguen un objetivo o propósito común: materializar las políticas de gobierno. Ello implica la necesidad de realizar una buena gestión de éstos para lograr buenos resultados.
A continuación se muestra la lógica que siguen los objetivos de un programa (Comisión Europea, 1999):
Por ejemplo: Oferta de cursos de gestión dirigidos a microempresas rurales.
Por ejemplo: aumento de la inserción de las microempresas rurales que recibieron capacitación en gestión a los mercados regionales.
Por ejemplo: incremento de los volúmenes de venta de las microempresas rurales en mercados internacionales.
Para lograr buenos resultados de un programa se requiere del cumplimiento de dichos objetivos a través de: i) asignar bien los recursos, ii) administrar con eficiencia su utilización, iii) producir bienes y servicios de calidad y adecuados a la necesidad a atender, y iv) establecer un proceso de mejora continua. Y, a su vez, para cada una de las tareas anteriores se requiere Evaluar.
Cohen y Franco (2000) sostienen que la evaluación de proyectos, planes o políticas es una labor analítica que tiene como ejes centrales la maximización de la eficacia y la eficiencia de la intervención pública. Bajo estos criterios, relacionan la eficacia de los programas con la obtención de los fines propuestos, y a la eficiencia de los programas con la asignación de recursos (económicos y sociales) para la consecución de los mismos.
Desde la perspectiva social, la evaluación de un programa es el uso de métodos de investigación para determinar sistemáticamente la eficacia y eficiencia de los programas de intervención. A partir de lo anterior, se puede afirmar que existe un marco teórico- metodológico-contextual que respalda al proceso.
En otras palabras, cualquier evaluación necesariamente debe estar fundamentada en alguna teoría o marco referencial. En cualquier otro caso, se estará realizando un ejercicio de verificación y validación.
Un programa social se puede evaluar en cuanto a las necesidades que cubre, en lo que refiere a su conceptualización y diseño, en su ejecución, y al impacto y eficiencia (Salas y García, 2010).
Vale comentar que los resultados esperados por los gobiernos buscan mostrar que la aplicación de la estrategia de sus intervenciones disminuyen los problemas sociales. Sin embargo, la exigencia de conocimientos y causas sobre los resultados obtenidos de las políticas públicas se acentúa cuando se comprueba que han aumentado las situaciones de precariedad y exclusión social.
Debido a la estimación de resultados no esperados, a la escasez de recursos y al involucramiento de sectores sociales en los problemas sociales actuales, la evaluación de políticas y programas es una preocupación de la acción de los gobiernos.
La descentralización de las soluciones y la alianza entre diferentes actores parecieran ser condiciones esenciales en el diseño de programas sociales guiados por principio flexibles que incluyan diversas situaciones sociales. Bajo esta perspectiva no todo depende del Estado, no obstante es su responsabilidad e interés evaluar los procesos que se desencadenan y los resultados que se obtienen en cuanto a productos, efectos e impactos y también respecto a sus costos monetarios y no monetarios (Cruz, 2008).
Consideraciones sobre la Evaluación Social en México
En México la evaluación de programas sociales es considerada un elemento técnico que corrige el diseño y operación de los programas como base para la implementación del presupuesto por resultados (Cardozo, 2006).
Desde el año 2001 para brindarle mayor autonomía al proceso de evaluación, la aplicación es llevada a cabo por consultores externos, presentando los resultados a través de informes analizados por la Comisión de Presupuesto y Cuenta Pública de la Cámara de Diputados, a efecto de que los programas sean considerados o no en el proceso de aprobación del PEF del siguiente ejercicio fiscal.
Posteriormente, con el propósito de mejorar las acciones gubernamentales y dar cumplimiento a la política de Desarrollo Social fue instalado el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)1. Su objetivo es mejorar la eficacia, la eficiencia y la rendición de cuentas mediante la dirección de procesos de evaluación que informen la contribución de los recursos gastados.
Salcido (2007) señala que, aun a pesar del interés gubernamental por impulsar la evaluación cuantitativa basada en métodos cuasi experimentales con técnicas econométricas, se enfrenta a deficiencias y dogmatismos en el uso de esa metodología y en su aplicación técnica. Así mismo señala que las hipótesis establecidas por Cardozo (2006) –agrupadas en un conglomerado de carácter descriptivo y, en otro, de carácter explicativo– pueden resumirse en la afirmación de que las evaluaciones de políticas y programas públicos en México, sobre todo los concernientes al desarrollo social, con la excepción de las evaluaciones iniciales del Programa de Educación, Salud y Alimentación (PROGRESA), adolecen de calidad técnico-metodológica.
Ello tiene su origen en factores múltiples, entre los cuales destacan los cognoscitivos relativos a la formación y profesionalización de los evaluadores, así como a su independencia y autonomía.
Por otra parte, se entiende que la “calidad de las evaluaciones”, puede medirse a partir de la incorporación de variables relacionadas con:
Salcido (et. al) señala que Cardozo hace una importante aportación en el ámbito de la Evaluación Social al cuestionar la calidad de la evaluación en función de los recursos económicos.
Si bien a primera vista dichos recursos parecen estar relacionados con la calidad de los productos, la correlación es muy débil. La calidad de las evaluaciones se relaciona más estrechamente con variables de coordinación de equipos y de integración interdisciplinaria y multidisciplinaria de los equipos de trabajo.
También influye la independencia real del investigador, la metodología utilizada y la formulación de un juicio valorativo fundado. Estas conclusiones derivan de un esquema que enmarca la metaevaluación en un análisis “FODA” (Fortalezas, Oportunidades, Desafíos y Amenazas) de la evaluación de programas sociales.
Por otra parte, la evaluación de programas sociales asume enfoques distintos según el peso que se le otorga a la participación ciudadana y a los procesos de aprendizaje social. La misma se considera participativa cuando los ciudadanos y sus organizaciones toman parte en el proceso de evaluación, lo que facilita un buen aprendizaje para afianzar los procesos de democratización.
La efectividad de un programa social depende del grado en que éste recupera las necesidades sociales reales y responde a dichas circunstancias, lo que implica disponer de un diagnóstico que priorice los problemas a atender.
En este sentido, México sólo reporta avances en la consideración de la participación social y ciudadana en sus normas jurídicas y en su planeación, pero en la práctica no hay evidencias de gestión ni de evaluación participativas (Cardozo, 2008).
Reflexiones finales
La evaluación es una forma de indagación o investigación de tipo valorativo, es decir, generadora de juicios de valor en función del patrón normativo de los involucrados en la intervención social. En ese sentido produce conocimiento con dos propósitos: brindar elementos para la toma de decisiones y poner la información a disposición de la ciudadanía - esto último, a los efectos de darle transparencia a la gestión de gobierno y de promover la participación social –(Neirotti, S/F).
Como señala Brown (2001), la evaluación es útil a los encargados de la gestión cotidiana porque permite centrar la atención en el cumplimiento de los objetivos perseguidos y de la ejecución; sirve a quienes tienen responsabilidades en niveles estratégicos, de conducción de política general, en la medida en que proporciona informaciones sobre actividades - pasadas o en curso - que orientan en el diseño y planificación de políticas; pero también cumple un importante función de responsabilización, en su sentido de rendición de cuentas sobre la gestión, facilitando una actitud de los funcionarios más proclive al debate y al aprendizaje en el proceso de debate público. La evaluación es, esencialmente, aprendizaje que permite detectar y corregir errores al nivel de los programas o proyectos y generar una actitud cuestionadora sistemática al nivel de las políticas.
Es importante señalar que la evaluación no es una “etapa” separada de la implementación y planificación, sino que constituye una función de la gestión integralmente concebida, en la que están presentes, además de la planificación y la implementación, la organización, la administración presupuestaria, la dirección, el control, el desarrollo de recursos humanos, etc. (SIEMPRO, 2000) Todas estas funciones se realimentan mutuamente y, más allá de sus lógicas y tiempos diferentes, están ligadas por una articulación permanente.
Cada vez que se decide hacer una nueva inversión o que se intenta cambiar el rumbo de una política o programa, es necesario hacer un análisis de prospectiva en relación con las distintas alternativas de intervención y evaluar la viabilidad, factibilidad y sustentabilidad de la estrategia que se diseñe.
Durante la implementación de programas y proyectos es menester hacer el monitoreo, esto es, tomar conocimiento de la distancia o cercanía entre la ejecución del programa y los patrones de referencia - su propia planificación, el desempeño de otros programas similares o los logros de programas modelos- . Con mayor profundidad y buscando explicaciones causales, durante la ejecución se recomienda hacer evaluaciones de proceso – también llamadas diagnósticas o de medio término - . Una vez transcurrido un tiempo en el que se considere que se pueden observar los efectos de un programa se impone la necesidad de hacer evaluaciones de resultados (productos y efectos) y con mayor tiempo, de impactos. En todos los casos el conocimiento producido arroja luz para la mejora de las demás funciones de la gestión y brinda elementos para la replanificación (Neirotti, S/F).
Además, la evaluación no puede ser concebida sin atender el marco institucional en el que se desenvuelven las políticas, los programas y los proyectos, puesto que allí es donde se inscribe la voluntad de desarrollar y aprovechar este aprendizaje, ya sea en los niveles estratégicos de toma de decisión, como en los niveles tácticos u operativos.
Finalmente, cabe decir que más allá del grado de éxito alcanzado por los programas, queda pendiente la discusión sobre la necesidad de crear un entorno económico favorable a la creación de empleos y la generación de ingresos suficientes para la población de los estratos más bajos, pues resulta insostenible mantener permanentemente a la población en pobreza extrema mediante programas que no hagan más que sufragar en ciertas necesidades, sin realmente constituir alternativas de solución a sus demandas.
Bibliografía
Brown, R. (2001). “La evaluación de políticas y programas en la región del Caribe de habla inglesa: problemas conceptuales y prácticos”, Santiago de Chile. CEPAL.
Cardozo, M. (2003). “Evaluación de Políticas de Desarrollo Social”. En: Política y Cultura No. 020. Universidad Autónoma Metropolitana-Xochimilco. México.
Cardozo, M. (2005). “Neoliberalismo y eficiencia de los programas sociales en México”. Universidad Autónoma Metropolitana, Unidad Xochimilco, México.
Cardozo, M. (2006). “La Evaluación de Políticas y Programas Públicos. El caso de los programas de desarrollo social en México”. Cámara de Diputados y Miguel Ángel Porrúa Editores, México.
Cardozo, M. (2008). “Gestión y evaluación participativas en políticas sociales”. En: Política y Cultura (online). SCIELO, México.
Correa y otros (2002). “Investigación Evaluativa”. Instituto Colombiano para el Fomento de la Educación Superior, ICFES. Colombia.
Cohen y Martínez, (S/F). “Formulación, Evaluación y Monitoreo de Proyectos Sociales”. División de Desarrollo Social. CEPAL.
Cohen y Franco, (2000). “Evaluación de Proyectos Sociales”. Editorial Siglo XXI. México.
Cruz, M. (2008). “Análisis del Marco Lógico en la Evaluación de Programas Sociales. Caso: Programa 3x1 para migrantes”. Facultad Latinoamericana de Ciencias Sociales. México.
García, G. (2008). “Evaluación del Programa Jóvenes por México durante la gestión del 2007”. Facultad Latinoamericana de Ciencias Sociales. México.
Naser, A. (2001). “Evaluación de Programas Públicos”. Comisión Económica para América Latina y el Caribe (CEPAL). Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES).
Neirotti, N. (S/F). “La función de evaluación de programas sociales en Chile, Brasil y Argentina”. Buenos Aires, Argentina.
Salas y Murillo, (2010). La Evaluación de los Programas Públicos en México:
Una mirada crítica al CONEVAL. Centro Universitario de Ciencias Económico Administrativas. Universidad de Guadalajara. México.
Torres, G. (2007). “La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México”. Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades, (CIICH), UNAM. México.
Sistema de Información, Monitoreo y Evaluación de Programas Sociales SIEMPRO, (2000). “Gestión Integral de Programas Sociales Orientada a Resultados”. SIEMPRO / UNESCO/FCE. Buenos Aires, Argentina.