|
¿Cómo citar estas ¿Cómo poner un
|
LA EVALUACIÓN Y EL ANÁLISIS
DE POLÍTICAS PÚBLICAS
La evaluación en los países en desarrollo
Los países en desarrollo se caracterizan, entre otras cosas, por tener gran cantidad de problemas sociales que requieren la atención del estado y la implementación de programas públicos. Pero al mismo tiempo, sus gobiernos suelen tener fuertes restricciones presupuestarias debido a la precariedad de los ingresos fiscales. Esta obedece a un sinnúmero de problemas, entre los que se pueden señalar la baja actividad económica, el desmesurado crecimiento de la economía informal, alta ineficiencia en la recaudación impositiva y la corrupción. En este contexto, la evaluación se convierte en un instrumento de gran valor porque permite mejorar la eficiencia del gasto público en programas sociales, maximizando la utilidad de los escasos recursos del estado. La evaluación no sólo permite la eliminación o reestructuración de aquellos programas que no logran sus objetivos, sino que permite a las agencias gubernamentales generar conocimiento sobre cómo enfrentar los problemas sociales de manera eficiente, adecuada y equitativa.
Paradójicamente, la evaluación es una práctica poco frecuente en los países en desarrollo. Por ello no es inusual conseguir programas que alcanzan objetivos diferentes a los propuestos, o repetición de programas que han demostrado ser ineficientes. Es decir, se dificulta la acumulación de conocimiento referido a las intervenciones de las agencias públicas. Pero además se dificulta el proceso de rendición de cuentas, elemento necesario para el combate de la corrupción administrativa, práctica generalizada en países donde el funcionamiento del sistema judicial es precario e impera la impunidad.
Sin embargo, la práctica de la evaluación de políticas públicas en los países en desarrollo ha recibido fuerte apoyo por parte de los organismos internacionales que proporcionan préstamos y donaciones, los cuales han hecho esfuerzos por difundir la cultura de la evaluación y desarrollar capacidades. Organizaciones internacionales como el Banco Mundial, United Nations Development Program (UNDP), Interamerican Development Bank (IDB), los bancos de desarrollo de África y Asia, Food and Agriculture Organization of the United Nations (FAO), International Fund for Agricultural Development (IFAD), UNESCO, y organismos de ayuda bilateral como U. S. Agency for International Development (USAID), Canadian International Development Agency (CIDA), Japan International Cooperation Agency (JICA), Swedish International Development and Cooperation Agency (SIDA), y la UNESCO, por solo mencionar algunos, tienen unidades de evaluación y monitoreo de programas y proyectos. En estas unidades se genera gran cantidad de información, manuales, artículos y trabajos de investigación sobre las actividades de monitoreo y evaluación, que son de fácil acceso para países en desarrollo, investigadores e interesados. Además exigen la evaluación de los programas que financian.
Los organismos internacionales consideran el desarrollo de capacidades para evaluar y monitorear programas como un elemento clave para fortalecer la gerencia pública y la rendición de cuentas. El Banco Mundial juzga el monitoreo y la evaluación como herramientas gerenciales utilizadas para apoyar la toma de decisiones, asegurar la rendición de cuentas, medir los resultados e impacto de los programas y extraer lecciones de un determinado programa o proyecto. El Banco Mundial y el UNDP han sido los organismos más activos en apoyar el desarrollo de sistemas de evaluación y monitoreo en los países en desarrollo. Dentro de sus actividades de apoyo el UNDP ha publicado monografías sobre evaluación y monitoreo para varios países, contribuyendo a la difusión de la evaluación.
En un seminario realizado en Tokio, donde se reunieron 22 países donantes y agencias multilaterales de desarrollo, así como participantes de 6 países de la OECD, se llegó a la conclusión que:
The need for improved evaluation feedback is widely recognized by development agencies, both on grounds of accountability and learning. Greater accountability is seen as a prerequisite for continued support for development assistance within donor countries, while also being a vital component in creating robust and meaningful partnerships with countries and organizations that are recipients of aid. Better learning is crucial for improving the effectiveness of aid and ensuring that the hard won lessons from experience – both positive and negative – are heeded (OECD 2001: 13).
En el párrafo anterior se pone en evidencia el peso que otorgan los organismos internacionales a la evaluación. No solamente por la rendición de cuentas, requisito indispensable para que los países en desarrollo continúen recibiendo ayuda externa, sino por el proceso de aprendizaje que genera, el cual se traduce en mayor eficiencia en el uso los fondos recibidos. Además, la evaluación permite documentar procesos exitosos que pueden ser repetidos en el futuro. Hoy en día la difusión de los resultados de la evaluación se considera como parte integral del ciclo de la evaluación:
Thus feedback and communication of evaluation results are integral parts of the evaluation cycle. Effective feedback contributes to improving development policies, programmes and practices by providing policymakers with the relevant evaluation information for making informed decisions (OECD 2001: 3).
Para la OECD evaluation feedback se define como:
A dynamic process which involves the presentation and dissemination of evaluation information in order to ensure its application into new or existing development activities… feedback, as distinct from dissemination of evaluation findings, is the process of ensuring that lessons learned are incorporated into new operations (OECD 2001: 60).
La importancia que le dan los organismos internacionales a la difusión de los resultados de las evaluaciones, así como a la incorporación del conocimiento que se deriva de ella en los nuevos programas, se debe, entre otras cosas, a que cada vez es más frecuente la creación de consorcios con varios donantes, lo cual hace necesario uniformar criterios y compartir experiencias. Al mismo tiempo, las agencias donantes están yendo más allá de los vínculos gobierno-gobierno para crear vínculos directos con la sociedad civil, por lo que es necesario que ésta tenga acceso a los resultados de las evaluaciones. Aún más, los organismos internacionales están propiciando la participación de Organizaciones no Gubernamentales (ONG) en los procesos de evaluación.
Sin embargo, la evaluación enfrenta importantes obstáculos. El principal es la falta de capacidad que existe en los países en desarrollo para llevar a cabo actividades de evaluación y monitoreo, aunque se han venido haciendo esfuerzos para crearla. Otro obstáculo importante es la cultura organizacional, en el sentido que en muchas organizaciones la rendición de cuentas tiende a ser relacionada con culpa, por lo que hay poca disposición para colaborar con las evaluaciones. Sin pretender agotar la lista, podemos mencionar dos problemas adicionales. Uno es la presión que frecuentemente existe en los organismos públicos para cumplir con los gastos presupuestados, lo que induce a tomar atajos sin considerar el aprendizaje adquirido en experiencias previas. El otro es la alta rotación de personal, que elimina los incentivos para evaluar porque cuando se obtienen los resultados de la intervención, buenos o malos, los funcionarios que la implementaron ya no están a cargo. Además, la alta rotación de personal se traduce en la pérdida de la memoria institucional por la falta de registros.
Un reporte de la OECD (1997) afirma que para crear instituciones de evaluación sostenibles y efectivas en los países en desarrollo se requiere, por un lado, del compromiso y soporte de los niveles políticos y gerenciales más altos, los cuales deben estar convencidos de su utilidad; por el otro, de un fundamento legal que soporte esas instituciones. En ese documento también se concluye que:
Regional, sectoral and program/project evaluations become more useful if they are based on a co-ordinated approach linked to a national evaluation system particularly with respect to methodologies and data needs (OECD 1997: 15).
Usualmente, la evaluación ha sido un requisito exigido por los organismos internacionales donantes para asegurarse de que los fondos sean utilizados eficientemente, y generalmente es llevada a cabo por expertos independientes. Pero ahora existe una tendencia a conseguir la participación de los nacionales involucrados en el programa de dos maneras: como participantes en el proceso de evaluación y como audiencias que reciban las lecciones aprendidas de la evaluación. Por ello se está hablando de Participatory Monitoring and Evaluation (PM&E) como una nueva herramienta en el kit de evaluación. La idea es incorporar ONG y organizaciones de la sociedad civil (OSC) como socios en el proceso de evaluación y como audiencia para las lecciones que emergen de ésta. Una relación constructiva con esos grupos debería reforzar los procesos de aprendizaje y rendición de cuentas. Además debería tener un efecto positivo en la creación de una cultura de evaluación en los países en desarrollo. No obstante, hay que tomar en cuenta que para involucrar a los nacionales del país receptor de la ayuda en el proceso de evaluación es necesario desarrollar capacidades, lo cual requiere tiempo y recursos.
Un ejemplo de PM&E es el caso de la agencia holandesa IOB, que implementó programas de evaluación en siete países: Bangladesh, Bolivia, Egipto, India, Mali, Tanzania y los territorios palestinos. Las evaluaciones fueron llevadas a cabo por expertos independientes de Holanda y locales, haciendo esfuerzos para involucrar a las autoridades locales y otros grupos afectados con el fin de mejorar la calidad de las evaluaciones mediante la incorporación de la visión de estos sectores, los cuales tienen un conocimiento más detallado de la sociedad local. Para ello se hicieron reuniones y seminarios con los afectados por los proyectos, con instituciones asociadas y con expertos locales independientes. Al involucrar a los grupos locales se consiguió un mejor feedback de los resultados de la evaluación.
La misma IOB realizó un estudio sobre el desarrollo institucional en el sector del agua en Mozambique. Después de realizar las investigaciones de campo y los análisis preliminares, IOB organizó un seminario para compartir los resultados con un variado número de interesados tales como la embajada, el personal de campo de los proyectos de desarrollo estudiados, personal senior de las instituciones contraparte y otros donantes. A los participantes se les pidió que dieran sus opiniones sobre los resultados preliminares del estudio. Las críticas sobre algunas de las conclusiones del estudio fueron revisadas y el documento final fue entregado a todos los interesados para que lo comentaran. La participación de todos los interesados dio buenos frutos.
Sharing evaluation information with stakeholders and encouraging them to participate at an early stage contributed to the acceptance and implementation of the findings. It also gave donors sufficient time to adapt their planned activities in the water sector. Counterpart organisations were able to use the information in negotiations with the Netherlands and other donors, which were scheduled to take place before the final report on the IOB evaluation could be published (OECD 2001: 36)
La PM&E está en línea con lo que se denomina empowerment evaluation o evaluación con empoderamiento. La misma consiste en el uso de los conceptos y técnicas de la evaluación para fomentar el desarrollo y la autodeterminación (Fetterman 2000). Está diseñada para ayudar a la gente a que se ayude a sí misma y mejore sus programas utilizando la auto evaluación y la reflexión. Los participantes en un programa, incluyendo los beneficiarios, conducen su propia evaluación bajo la supervisión de un evaluador externo que sirve como facilitador. Empowerment evaluation es una actividad de grupo, que demanda la participación y la colaboración de todos los afectados por el programa para examinar los asuntos que conciernen a la comunidad.
As a result, the context changes: the assessment of a program's value and worth is not the endpoint of the evaluation -- as it often is in traditional evaluation -- but is part of an ongoing process of program improvement. This new context acknowledges a simple but often overlooked truth: that merit and worth are not static values. Populations shift, goals shift, knowledge about program practices and their value change, and external forces are highly unstable. By internalizing and institutionalizing self-evaluation processes and practices, a dynamic and responsive approach to evaluation can be developed to accommodate these shifts (Fetterman 2000).
Empowerment evaluation se hace en tres etapas. En la primera se establecen los resultados que se quieren obtener. Luego se especifican las actividades requeridas para lograr esos resultados. En la segunda etapa se identifican las actividades más importantes y se le asignan prioridades. Entonces el personal a cargo del programa y los beneficiarios le asignan calificaciones a cada una de esas actividades. De esta manera pueden determinar cómo está el programa, así como sus debilidades y fortalezas. En la tercera etapa se mira hacia el futuro, hacia donde se quiere ir, fijando metas que se quieren alcanzar y las estrategias correspondientes para mejorar el programa De esta manera la evaluación se convierte en parte de la planificación y el manejo del programa, es decir, se internaliza e institucionaliza. Esto permite superar uno de los problemas de la evaluación tradicional, como lo es el hecho que las personas afectadas tienden a darle poca importancia.
El impulso que ha recibido la política de descentralización en los países en desarrollo, junto con el desarrollo y fortalecimiento de la sociedad civil, que reclama cada vez más espacios de participación, crean un ambiente propicio para aplicar la evaluación participativa.
A manera de conclusión podemos afirmar que la evaluación debe tener un basamento teórico que permita explicar los cambios producidos por el programa. Esto genera ventajas para todos los grupos involucrados en el programa, además de que facilita la generalización de los resultados obtenidos en el estudio de un programa determinado.
La evaluación, elemento clave en el análisis de políticas públicas, ha alcanzado un estatus muy importante en los programas de ayuda a los países en desarrollo. Los organismos internacionales consideran la evaluación como una herramienta gerencial que permite asegurar la rendición de cuentas, medir los resultados e impacto de los programas o proyectos y generar conocimiento.
Hoy en día, la tendencia es a involucrar a expertos, organizaciones y grupos afectados locales en el proceso de evaluación. El mejor conocimiento de estos grupos sobre la sociedad local tiene un efecto positivo sobre la calidad de la evaluación. Además, con su participación mejora el feedback de la evaluación, se internaliza, y se difunden más los resultados. Finalmente, hay que señalar que la participación ayuda a difundir la cultura de la evaluación y a desarrollar capacidades.
La evaluación es un instrumento subestimado en los países en desarrollo, lo cual impide la utilización eficiente de los escasos recursos públicos y dificulta la rendición de cuentas. Los gobiernos de estos países deberían proporcionar apoyo político y económico al desarrollo de sistemas de evaluación nacionales que permitan crear y consolidar capacidades para la evaluación de programas y proyectos, a nivel regional y local. En este sentido pueden coordinar esfuerzos con los organismos internacionales, que han sido activos promotores de la evaluación y el monitoreo.