"Contribuciones a la Economía" es una revista académica con el
Número Internacional Normalizado de Publicaciones Seriadas
ISSN 1696-8360

 

RACIONALIDAD, COHERENCIA, SISTEMA DE GESTIÓN, SEGUIMIENTO, RESULTADOS E IMPACTOS Y TÉCNICAS PARA LA EVALUACIÓN DE POLÍTICAS PÚBLICAS

 

Geovani Alejandro Pablo Solís
Graciela Elena Ortiz Rojas
geovanips@ult.edu.cu

 

RESUMEN

Esta investigación se enmarcó en el objeto de las políticas públicas para realizar un análisis conceptual y crítico sobre las mismas, estableciendo sus características esenciales, así como sus diferentes tipos y técnicas de evaluación. Concluyendo que la Evaluación de Políticas públicas es un proceso, mediante el cual (con el empleo de técnicas científicas, la recopilación sistemática de información sobre un grupo de variables y la participación de los diferentes actores sociales) valoriza y proporciona las herramientas necesarias para continuar el proceso de reforma del gobierno hacia una gestión más eficaz, con el objetivo de facilitar y fundamentar la toma de decisiones, mejorar la calidad de las políticas, profundizar la democracia, construir ciudadanía y crear valores públicos.

Palabras claves: políticas públicas, evaluación de políticas públicas, tipos de evaluación de políticas públicas.

ABSTRACT

This research was undertaken on the subject of public policy to conduct a conceptual and critical analysis on them, establishing their essential characteristics and its various types and evaluation techniques. Concluding that the evaluation of public policies is a process through which (with the use of scientific techniques, the systematic collection of information about a group of variables and the participation of various social) values and provides the tools necessary to continue the government reform process towards a more efficient management, to facilitate and support the decision-making, improve the quality of policies, deepening democracy, building citizenship and create public value.

Keywords: public policy, assessment, types of evaluation of public policies

 

Para ver el artículo completo en formato pdf comprimido zip pulse aquí

---

Para citar este artículo puede utilizar el siguiente formato:
Pablo Solís y Ortiz Rojas: "Racionalidad, coherencia, sistema de gestión, seguimiento, resultados e impactos y técnicas para la evaluación de políticas públicas" en Contribuciones a la Economía, julio 2009 en http://www.eumed.net/ce/2009a/

---

INTRODUCCIÓN

Desde Alfred Binet , hasta los autores más recientes, las Políticas Públicas vienen siendo estudiadas, por diferentes paradigmas u orientaciones teóricas, que desarrollan disímiles opciones y enfatizan en ciertos factores, con el fin de aclarar el enorme caudal de mecanismos y procedimientos que contienen los procesos de decisión públicos.

Lo cierto es que en la literatura dedicada al estudio de las Políticas Públicas no existe un consenso explicativo que englobe la complejidad y complete la diversidad de factores implicados en el análisis de su evaluación. La multitud de estas perspectivas remiten a un posicionamiento teórico de los investigadores que se enfocan sobre esta problemática, los cuales están insertados en varios campos disciplinarios y en el interior de cada uno de ellos, subsisten diferentes tradiciones de investigación, opciones conceptuales y metodologías diversas, cada una de ellas proponiendo en su lenguaje particular, una forma de identificar, explicar y describir las políticas públicas, suscitando esto más polémicas que acuerdos.

Una Política Pública surge de un proceso de construcción permanente a través de convocatorias de actores diversos, que en últimas, son los que hacen posible su implementación y ejecución. (Lahera P, 2004) .

La necesidad de fijar un orden conceptual en torno a su evaluación, ha sido puesta de relieve por diferentes autores, por tanto, la tarea de conducir y maximizar la evaluación de políticas públicas es trascendental en la adecuación institucional que hoy exige la sociedad y aunque se realizan grandes esfuerzos para alcanzar éxito en sus procesos, no se excluyen de los problemas que permanecen vigentes.

Evaluar las políticas públicas “Es el análisis objetivo y científicos de los efectos a corto y largo plazo de las políticas, tanto sobre los grupos sociales o situaciones para los cuales se diseñó la política, como sobre la sociedad en general, y el análisis de los costes actuales y futuros sobre cualquiera de los beneficios identificados” (Dye, T.R 1995) .

En cualquiera de sus múltiples acepciones la evaluación, contribuye a mejorar la calidad de las políticas, profundizar la democracia, construir ciudadanía y crear valores públicos.

La importancia de llevar a cabo la evaluación de políticas públicas se fundamenta en el hecho de que debe considerarse un proceso mediante el cual (con el empleo de técnicas científicas, la recopilación sistemática de información sobre un grupo de variables y la participación de los diferentes actores sociales) se valorice y analice la conceptualización, el diseño, los sistema de gestión y seguimiento y los resultados e impactos de la ejecución de las políticas y programas , con el objetivo de facilitar y fundamentar la toma de decisiones, así como reconciliar los intereses de todos los implicados.

Sobradas entonces son las justificaciones que motivan a los autores a realizar esta investigación monográfica cuyo objeto de estudio esta focalizado las perspectivas de la evaluación políticas públicas, persigue como objetivo realizar un análisis conceptual y crítico sobre la evaluación de las políticas públicas y para ello constituye el campo de acción los tipos de evaluación de políticas públicas según su contenido.

La presente investigación pretende clarificar las siguientes interrogantes:

¿Qué criterios se han utilizado para establecer los tipos de evaluación?

¿Qué técnicas existen para la evaluación de las políticas públicas?

El desarrollo de este trabajo responde a las siguientes tareas investigativas:

Construir el marco teórico-referencial de la investigación, derivado de la consulta de la literatura nacional e internacional actualizada, así como de otras fuentes de referencias sobre el temático objeto de estudio.

Conocer y analizar los tipos y técnicas de evaluación de las políticas públicas.

El aporte metodológico está dado por el hecho de que, a partir de sus resultados:

Puede contribuir a complementar, a manera de apoyo bibliográfico, el estudio de las asignaturas Diseño y Evaluación de Políticas Publicas, que se impartirá en las especialidades de Licenciatura en Economía, en el nuevo Plan ´´D´´, así como en las distintas actividades de Postgrados donde se aborden estos temas. Esta investigación responde, además, a una de las tareas investigativas del doctorado curricular de desarrollo local auspiciado por la Universidad de Camaguey y otras seis Universidades, donde el tutor principal desarrolla su línea de investigación doctoral relacionado con la Evaluación de políticas pública en el desarrollo local.

El material esta reservado por “Los tipos de evaluación de políticas públicas según su contenido”. En él se describe la metodología de los distintos tipos de evaluación según su contenido (conceptual o de diseño, sistema de gestión y seguimiento) como vía para mejorar su aplicación. También se realiza una revisión de las principales técnicas de evaluación de resultados e impactos, identificando sus ventajas e inconvenientes y señalando algunas de las aplicaciones que se consideren más relevantes para los objetivos de esta compilación.

DESARROLLO.

LOS TIPOS DE EVALUACIÓN POLÍTICAS PÚBLICAS SEGÚN CONTENIDO

En el presente capítulo se muestra un análisis detallado de los distintos tipos de evaluación, mencionados en el primer capítulo. Su desarrollo atiende a la clasificación de la evaluación según su contenido; es decir, según los elementos de la política que se está evaluando, destacando los aspectos que justifican la necesidad de la intervención y el diseño de su estrategia: problemas, medios y objetivos (evaluación conceptual o de diseño). Se analizan además; los procedimientos puestos en marcha por los centros gestores para ejecutar y gestionar las actuaciones de programas públicos, como vía para mejorar su aplicación (evaluación del sistema de gestión) y los mecanismos necesarios para la recogida de información, que antes, durante y una vez finalizado el programa, será necesaria para evaluar la intervención(evaluación del sistema de seguimiento); por último se realiza una revisión de las principales técnicas usadas para la evaluación de resultados e impactos, identificando sus ventajas e inconvenientes y señalando algunas de las aplicaciones consideradas más relevantes, (para los objetivos de esta monografía).

Conocer los diferentes tipos de evaluación, facilita el proceso de análisis de las políticas públicas. A través de ellos, se constata la existencia de objetivos claramente definibles, su correspondencia con los problemas y la lógica interna de cada política evaluada y su relación con otras políticas.

Examinan la forma en que se gestiona y ejecuta la política, es decir su puesta en marcha y permiten conocer hasta qué punto la política está consiguiendo los objetivos establecidos o alcanzando los resultados definidos y a qué costos se consiguen (en términos de tiempo, recursos humanos, materiales y monetarios).

En su conjunto, constituyen un proceso integral de observación, medida e interpretación encaminado al conocimiento de una intervención pública, norma, programa, plan o política que permita alcanzar un juicio valorativo basado en evidencias respecto a su diseño, puesta en práctica y efectos (resultados e impactos) ,

Es decir, proporcionan una evidencia sobre la eficiencia y los beneficios derivados de

un programa social, fortalecen la rendición de cuentas y contribuyen a impulsar una gestión basada en resultados y a enriquecer la toma de decisiones.

Su análisis ha llevado a la construcción de numerosas técnicas diferentes, cada una de las cuales resaltan aspectos parciales del problema y agregan puntos de vista particulares. Tal diversidad de aportaciones, obliga a pretender sistematizar las ideas propuestas; con el objetivo de lograr una mejor comprensión de los supuestos, fuerzas y debilidades de los diferentes enfoques que permita discernir cuando es más recomendable y eficaz su utilización.

1 Evaluación conceptual o de diseño

La evaluación conceptual o de diseño de una política tiene como objetivo la revisión de los elementos que justifican su necesidad y la forma en que se articula. Su metodología parte de un estudio de necesidades, objetivos y estrategias de intervención definidos, analizando las relaciones que vinculan dichos elementos.

Cualquier tipo de intervención pública debe partir, de un análisis riguroso de la realidad: problemas y necesidades, causas y consecuencias de los mismos, sólo a partir de la correcta identificación de estas variables es posible proponer objetivos y medidas que contribuyan a lograrlos.

Por tanto, la política debe pasar ineludiblemente por el consenso político y la concertación con los agentes sociales afectados, para obtener una imagen de la realidad más contrastada y garantizar la colaboración y el apoyo de todos aquellos que participan en la política, aspecto central del éxito de la misma.

Cuanto más claramente estén identificados los problemas y sus causas, y mejor vinculados estén con los objetivos, más fácilmente se puede abordar el diseño de la estrategia de intervención; siendo esta la base para la evaluación conceptual o de diseño de una política.

I.1 Evaluación de racionalidad y coherencia

Racionalidad y coherencia son dos aspectos relacionados e interdependientes. Una política coherente en el sentido de una óptima correlación entre actuaciones, medios y objetivos tendrá solamente un impacto parcial y limitado si no es racional; si no existe relación clara entre problemas, causas y objetivos, por lo que son dos análisis diferentes pero complementarios.

Gráfico II.I Evaluación conceptual, muestra una metodología para la evaluación de Políticas Públicas

Fuente: Adaptado de la propuesta por la Comisión de la Unión Europea para la evaluación de programas financiados con Fondos estructurales. Bruselas. Comisión Europea. 1995 .

A) Racionalidad

Implica el análisis de la relevancia y la pertinencia del programa. Es el examen de las relaciones entre necesidades y/o problemas detectados en el ámbito espacial donde se ejecuta la política (y para una población objetivo determinada) con los objetivos establecidos para la mejora o solución de dichos problemas.

• Relevancia. Consiste en la evaluación del diagnóstico plasmado en el programa.

• Pertinencia. Consiste en la evaluación de la calidad y adecuación de la definición de los objetivos.

Relevancia

La evaluación del diagnóstico es el primer paso en la evaluación de la racionalidad de un programa o intervención pública. La acción de verificar, medir la magnitud y localización de los problemas y de su población objetivo es crucial ya que son los aspectos que justifican y dan origen a la intervención. El objetivo esencial es, por tanto, analizar le calidad y veracidad del diagnóstico, conociendo:

• Hasta qué punto se ha identificado adecuadamente el alcance del problema y las características básicas del mismo para hacerle frente, y

• La metodología y fuentes usadas para su determinación.

No obstante, la continúa modificación del entorno político social e institucional, en el que tiene lugar la toma de decisiones sobre la localización y asignación de los recursos públicos, imposibilita en numerosas ocasiones una aproximación racional al problema de dónde, cuándo y cómo intervenir. Más aún cuando la presión de los agentes socio – económicos, sectores productivos y la opinión pública, contribuyen a fomentar la toma de decisiones no sustentadas en análisis rigurosos de la realidad.

En la práctica, la evaluación de la calidad del diagnóstico depende del nivel de conocimiento que posea el equipo evaluador de la realidad sobre la que se actúa. Para evaluar la calidad del diagnóstico se debe revisar:

1. Definición y jerarquización de las necesidades que afectan a la población objetivo.

La determinación del tamaño, distribución y densidad de los problemas que afectan al ámbito de actuación de la política y de las potencialidades susceptibles de explotación son aspectos fundamentales para el posterior diseño de la estrategia.

Constituye el principal factor la delimitación correcta de la población objetivo a la que va dirigida el programa. El objeto de la evaluación del diagnóstico en relación con estos elementos es conocer hasta que punto se han identificado adecuadamente las características de los mismos: problemas, potencialidades y población objetivo.

a) El apropiado establecimiento de los problemas y fortalezas exige que los mismos sean:

• Explícitos. Deben estar claramente resaltados como tales y no incluirse en una estructura de donde resulte difícil extraerlos.

• Conceptualmente claros, no permitiendo dudas ni ambigüedades sobre el modo y la forma en que se exponen, ni sobre su contenido.

• Rigurosos, deben proporcionar una imagen de la situación de la población objetivo sobre la que se pretende intervenir.

• Completos, de manera que sirvan para caracterizar la realidad objeto e intervención.

• Medibles. Las necesidades que se presentan en la política deben aparecer, en la medida de lo posible, cuantificadas.

• Deben especificarse las fuentes de información y los trabajos de investigación realizados sobre los que se basa el diagnóstico; y si han participado agentes claves, gestores, ejecutores y afectados por el problema.

b) En relación con la delimitación de la población objetivo, el equipo planificador debe incluir cual es el grupo que reúne las características apropiadas para su participación en el programa y comprobar la motivación e interés del mismo para asegurar su colaboración en el desarrollo de la intervención. La población objetivo a la que va dirigida la política, o población diana, puede estar compuesta por un grupo de personas, organizaciones y condiciones (físicas, financiera, geográficas y políticas) sobre las que se pretende influir, bien para modificar las variables de partida, o para asegurar su estado actual ante amenazas de deterioro de situación presente.

Los aspectos a evaluar son los siguientes:

• Comprobar si se ha realizado un estudio de necesidades u, en caso afirmativo, analizar su calidad.

• Cuantificación, en términos absolutos o relativos , de la población objetivo.

• Verificar si se han determinado, las características que debe reunir la población para formar parte del programa y los criterios para su selección.

2. Análisis del contexto socioeconómico externo

Se denomina contexto socioeconómico externo, contexto operativo, a todos los elementos del entorno (económicos, políticos, legales, institucionales) de la intervención y que afectan a la misma de forma directa e indirecta. Es decir, la parte de la realidad que conforma las condiciones externas del programa, cuyas variables afectan a su ejecución y sobre las cuales los planificadores y gestores no tienen control directo, pero que necesariamente hay que analizar para garantizar el éxito de la intervención.

Gráfico II.2 Relevancia; muestra el análisis del diagnóstico de la evaluación de la relevancia

Fuente: Elaboración propia a partir de: “Guía para la Evaluación de Políticas Públicas”. Instituto de desarrollo Regional. (2000).

Pertinencia

La evaluación de la pertinencia consiste en el análisis de la calidad en la formulación de los objetivos de la política. Por tanto, la premisa fundamental para asegurar el éxito de una intervención es definir los objetivos de forma clara y medible. Sin embargo, en ocasiones “son más una expresión de buenos deseos que una formulación de objetivos, lo que no hace sino reflejar la ambigüedad de la situación” (Prior, 1993) .

Existen reglas prácticas útiles para realizar la evaluación de la calidad de los objetivos. Se trata de revisar:

• Que las expresiones y verbos utilizados indiquen claramente los compromisos asumidos por los poderes públicos sobre la base de una conducta, en principio, medible y observable. Los objetivos que se definen en términos de impulsar, fomentar, promover, son susceptibles de varias interpretaciones por lo que no indican con claridad su contenido. En contraste, aumentar, abastecer, disminuir, son acciones específicas orientadas a comportamientos mensurables.

• Que se haya establecido una sola meta o fin. Los planes o documentos pueden tener múltiples objetivos pero deben responder a una única meta, los que establezcan dos o más fines requerirán diferente estrategias de actuación, dificultando su determinación y su evaluación.

• Que los objetivos sean claros y concretos. No debe quedar ninguna duda sobre el auténtico significado, por lo que, se recomienda la alusión a una o más variables cuantificadas.

• Que se haya establecido un solo resultado o producto para cada actuación concreta. No sólo debe estar claro el propósito buscado, sino que también deben indicarse los resultados inmediatos o productos a obtener, para poder valorar la actuación.

• Que se hayan previsto las fechas de consecución de los objetivos. En cualquier planificación es conveniente especificar el tiempo esperado para el logro de los objetivos, sobre todo si lo demandan las actividades que se van a realizar.

Tabla II.I Pertinencia; refleja como debe ser la formulación para evaluar la calidad de los objetivos

Fuente: Elaboración propia a partir de: Health program Evaluation. Shorrel, S. y Richarson, W, C. (1978) .

B) Coherencia

Es la evaluación de la adecuación de la jerarquía de los objetivos establecidos en el programa y de la estrategia diseñada para su consecución. Se deben diferenciar dos niveles de análisis diferentes:

• Coherencia interna. Evaluación de la articulación de los objetivos con los instrumentos de la estrategia u su adecuación a los problemas.

• Coherencia externa. Análisis de la compatibilidad tanto e los objetivos como de la estrategia del programa como de otras políticas y programas con los que puedan tener sinergias o complementariedad, en el tiempo o en el espacio.

Coherencia Interna

a) Jerarquía de objetivos: Igual que los problemas y potencialidades, el establecimiento de objetivos debe hacerse siguiendo una jerarquía. Esto permite distinguir diferentes niveles de estrategia de intervención planificada, entendiendo por estrategia el conjunto de instrumentos y medios previstos en la política para ejecutarlos en la práctica.

El papel del evaluador es asegurar, para todos y cada uno de los niveles de programación (actuaciones, resultados, objetivos y metas), que no existan conflictos, ni al mismo nivel ni a niveles superiores o inferiores.

b) Correspondencia entre problemas y objetivos: Finalmente, la evaluación debe contemplar el análisis de la correspondencia entre los problemas y causas y los objetivos y sus efectos. La pregunta fundamental a la que debe dar respuesta esta relación causal es:

¿Responden los objetivos del programa a las necesidades y problemas de la población objetivo?

La congruencia debe darse a los distintos niveles de programación de forma que no existan saltos en su planificación y que cada objetivo tenga su reflejo en un problema o potencialidad no adecuadamente explotada. Esto asegurará que los objetivos perseguidos con la intervención se derivan del diagnóstico realizado y que, por tanto, la política está bien orientada.

Coherencia externa del diseño

El análisis de la coherencia externa permite valorar el grado de correspondencia que existe entre una política y otras intervenciones que se están ejecutando en su mismo espacio temporal y físico – territorial. Este tipo de evaluaciones es importante por dos razones fundamentales:

• La primera, porque no tiene sentido que políticas que se aplican a un mismo territorio sean contradictoria, más aún cuando lo se pretende es eliminar o, al menos reducir, los problemas existentes; y

• La segunda; porque es uno de los elementos importantes a la hora de analizar las sinergias entre los diferentes políticas que pueden reforzar o anular los impactos buscados.

Las políticas a tener en cuenta en la evaluación de coherencia externa pueden estar formalizadas en distintos grado y tener un desarrollo legislativo amplio, por lo que su evaluación implica:

• La búsqueda de compatibilidad general y coordinación entre las distintas políticas e intervenciones: objetivos, instrumentos.

• La adecuación y respeto a una normativa de orden superior.

Este tipo de evaluación requiere el análisis de los objetivos e instrumentos de intervención de forma comparada entre las políticas que convergen en un territorio o para una población determinada.

En el Gráfico II.3 Coherencia externa, se muestra la comparación de problemas y objetivos de los distintos planes con los que la política pueda presentar complementariedad o incompatibilidad.

Fuente: Elaboración propia a partir de: “Informe de racionalidad y coherencia del Programa Operativo de la provincia de Sevilla” 1996-1997. Instituto Regional de desarrollo. (2000).

2 Evaluación del sistema de gestión

La incorporación del proceso evaluatorio en las funciones de planificación, gestión, ejecución y control permite afrontar con mayores garantías de éxito el gran reto de lograr la modernización de la Administración Pública basada en criterios de responsabilidad, minimización de costes y atención al usuario. Estas funciones son interdependientes y mutuamente condicionantes, de forma que configuran un sistema de retroalimentación donde los sistemas de información juegan un papel clave.

Para que las políticas lleven al logro de la equidad y al desarrollo económico tienen que elevar su racionalidad, mejorar la forma en que se ejecutan y lograr mayor certeza respecto a sus resultados. Ello sólo puede lograrse evaluando lo que se va a hacer, lo que se está haciendo y estableciendo mecanismos permanentes de seguimiento y análisis para posteriormente conocer lo que se ha hecho realmente y cuáles han sido sus repercusiones.

Su utilidad está en función de varios elementos, pero ningún programa, por muy buenos que sean su diagnóstico y estrategias de actuación, puede lograr los efectos esperados, con un nivel de eficacia y eficiencia óptimo, si para su desarrollo no cuenta con:

• Un sistema de gestión adecuado, y

• Un correcto sistema de seguimiento.

Gestión y seguimiento son dos elementos relacionados que permiten conocer:

• Quién hace qué y cómo;

• Qué procedimientos se han institucionalizado para la puesta en marcha de las actuaciones,

• Si la política se está ejecutando de acuerdo con su diseño,

• Verificar los progresos en la ejecución de la política.

La evaluación de la gestión de una política se articula en torno a los aspectos siguientes:

• Racionalidad de los objetivos de gestión propuestos a la luz de los medios disponibles para su funcionamiento.

• División de tareas y competencias establecidas entre las distintas administraciones y organismos responsables de la gestión y ejecución de las actuaciones de la política, e incluso dentro de los propios órganos ejecutores.

• Mecanismos de coordinación entre organismos gestores y ejecutores.

• Suficiencia de los medios humanos, materiales, económicos empleados a fin de garantizar una correcta y eficaz gestión de la política.

La evaluación del sistema de gestión requiere la consideración de los siguientes elementos:

Figura II.1 Evaluación del sistema de gestión; Adaptado de: “Guía para la evaluación de políticas públicas”. Instituto de Desarrollo Regional (2000).

El éxito de una buena gestión depende de la capacidad para definir la estrategia de acción y de que tenga las adecuadas y precisas estructuras para dirigir las complejas actividades internas, Por otra parte, la estructura de una organización debe estar en consonancia con los recursos humanos, cultura organizativa y proceso de dirección adecuada.

Es necesario tener en cuenta que el análisis del sistema de gestión puede abarcar un ámbito más amplio que el del programa en sí, al incorporar elementos, comunes a la gestión y ejecución de otros proyectos o actuaciones que desarrollan los órganos gestores y ejecutores simultáneamente.

En resumen, la evaluación de gestión persigue el perfeccionamiento de los procesos de toma de decisiones para mejorar los resultados de los programas públicos y proporcionar un servicio de mayor calidad.

2.1 Enfoques Metodológicos para la evaluación del sistema de gestión

Existen diversos enfoques desde los cuales se puede aproximar a la metodología de evaluación de gestión. Estas aproximaciones se pueden establecer en un continuo que iría desde los controles de carácter financiero, de regularidad legal y contable hasta aquellos que evalúan económicamente la gestión pública atendiendo a los aspectos de la Tabla II.2 Auditoría Operativa.

• Eficacia, eficiencia y economía, las tres E, y

• Diagnóstico, diseño y desarrollo, las tres D.

Fuente: Adaptado de: “Guía para la evaluación de políticas públicas”. Instituto de Desarrollo Regional (2000).

De las principales aportaciones de los enfoques que abordan el análisis de gestión desde la perspectiva económica se señalan los siguientes: Control de gestión, Auditoría de rendimiento y ciclo de vida de un proyecto.

Control de gestión

La técnica del control de gestión procede del ámbito empresarial y tiene como fundamento la necesidad de incrementar la autonomía, flexibilidad y responsabilidad de los gestores en sus procesos de toma de decisiones y planificación de objetivos, tanto nivel estratégico como operativo (Alcalde de Hernández, 1995) .

El concepto es muy general y se inserta en el contexto de la organización y prácticas administrativas como herramientas de control al servicio de los directivos y gestores para evaluar el desempeño general de la actividad administrativa (Centelles, 1994) :

• A largo plazo, relacionado con la planificación estratégica

• A corto plazo, relacionado con la planificación operativa de carácter diario, a todos los niveles: medios, (recursos y procesos) y fines.

Auditoria de rendimiento

Se basa en dos principios generales:

• Principio de la eficacia, eficiencia y economía según el cual la administración Pública debe dirigirse de forma que puedan utilizarse los fondos públicos de la mejor manera posible, que se pueda obtener el mayor contravalor tanto en cantidad como en calidad

• Principio de responsabilidad, las personas que administran los negocios públicos deben ser responsables de una gestión prudente y eficiente de los fondos que les han sido confiados y rendir cuentas de esa gestión.

Ciclo de vida de un proyecto

El ciclo integral de la vida de un proyecto debe tener las siguientes fases:

• Programación de las actuaciones

• Diseño de los mecanismos de ejecución y gestión

• Ejecución y gestión del programa

• Evaluación.

El Gráfico II. 4 refleja la gestión integral de un proyecto

Fuente: Adaptado de: “Dictamen de evaluación externa sobre el procedimiento de gestión y ejecución del programa operativo de la Provincia de Sevilla (Fondo Europeo Desarrollo Regional; (FEDER)”. Instituto de Desarrollo Regional (2000).

3 Evaluación del sistema de seguimiento

Uno de los factores que condicionan el alcance de la evaluación de una política y la valoración de su ejecución, es la cantidad y calidad de los datos disponibles sobre el mismo, puesto que para abordar la evaluación de una política es imprescindible conocer con el mayor grado de exactitud posible que se está haciendo o lo que se ha hecho.

Pero no es la ausencia de información el principal obstáculo con el que se encuentra el equipo evaluador, sino su desagregación, falta de organización, estructura y periodificación. Esto podría resolverse sin muchas trabas cuando lo que se va a evaluar es pequeño proyecto. La dificultad surge cuando se trata de evaluar un amplio programa de intervención, debido a la información que se genera.

Estos son los problemas que el sistema de seguimiento debe resolver y que, además, justifican su importancia.

Su principal objetivo es la verificación periódica de la que se está realizando desde la perspectiva física y financiera. Frente a la evaluación, cuyo objetivo es emitir un juicio crítico acerca de la validez de la intervención, el seguimiento informa aisladamente de cada uno de los elementos de un programa. El seguimiento informa, la evaluación concluye; esto se muestra en el gráfico II.5

Fuente: Elaboración propia a partir de: “Como evaluar la capacidad de un organismo administrativo para llevar a cabo el seguimiento y evaluación de Programas Públicos”. Instituto de Desarrollo Regional (2000).

La importancia del seguimiento radica en que permite:

• Obtener toda aquella información que, al inicio, a medio camino y una vez finalizada la política, será necesaria para evaluar su impacto, su eficacia y eficiencia.

• Describir la evolución de las actividades de la política y el desarrollo de la intervención, estableciendo criterios sobre índices y relaciones de acuerdo con un esquema y secuencia predeterminados.

• Identificar los puntos críticos en la gestión y ejecución, permitiendo detectar problemas.

• Alertar a los responsables sobre los riesgos de implantar una política distinta de la diseñada.

3.1 Elementos del sistema de seguimiento

En el gráfico II.6 se recogen los elementos a evaluar en el sistema de seguimiento:

Fuente: Adaptado de:”Elaboración de un sistema de Indicadores para el seguimiento del Programa Operativo de Andalucía”. Instituto de Desarrollo Regional (1996).

Ámbitos y niveles

a) Ámbitos: La articulación del sistema de seguimiento debe ser tal que permita recopilar y sistematizar información sobre:

• La participación de la población objetivo.

• La gestión del programa.

• El cumplimiento de la normativa legal que pueda afectar a las actuaciones insertas en el programa.

• La evolución del contexto socioeconómico donde se desarrolla la intervención.

• La ejecución del programa, sus resultados directos y sus costes.

• Desvíos o atrasos respectos a los plazos previstos.

• Escenarios futuros.

b) Niveles de seguimiento:

• Proyecto.

• Acción.

• Medida.

• Programa

Responsabilidad y periodicidad

a) Responsabilidad del seguimiento: A diferencia de las evaluaciones, en las cuales el evaluador externo puede, y debe, desempeñar un papel importante, las tareas de seguimiento deberían realizarse internamente por los gestores de la política por varias razones:

• el seguimiento constituye una tarea propia e inseparable de la gestión.

• El gestor tiene la obligación, el derecho y la facilidad de acceder a la información necesaria.

• Nadie mejor que el propio gestor conoce la política, su origen, desarrollo y conclusión.

La tarea del evaluador externo en este campo es asesorar sobre la calidad de los mecanismos diseñados y sobre el grado de viabilidad y factibilidad que las evaluaciones a realizar tendrán en función de la información que se pueda suministrar a través del sistema de seguimiento que se establezca.

b) Periodicidad del seguimiento

La diversidad y especificidad de los proyectos y acciones incluidas normalmente en las políticas públicas hace difícil establecer y aún más normalizar, la periodicidad con que hay que realizar el seguimiento.

Para algunas actuaciones es necesario hacer un seguimiento casi continuo mientras que para otras, cuya realización sea más espaciada en el tiempo, el seguimiento resultará más operativo y funcional si se realiza con una mayor frecuencia temporal.

Por ejemplo, para el seguimiento del contexto socioeconómico la periodicidad viene condicionada por la disponibilidad de las estadísticas de referencia, dado que la identificación de los cambios ocurridos en el entorno de las intervenciones exige, estudios difíciles de abordar en el marco de la gestión día a día, parece más coherente realizarlo de forma menos constante.

Existen condicionantes temporales externos para el seguimiento de todas y cada una de las intervenciones; estos son:

• Las reuniones de los Comités de Seguimiento, si existen o están constituidos.

• Los plazos, generalmente, anuales, fijados en los programas para la ejecución de las acciones.

4 Evaluación de Resultados e Impactos

En este capítulo se ha visto la metodología para evaluar el diseño, la gestión y el seguimiento de una política pública. Sin embargo, no se debe olvidar que uno de los principales objetivos de su evaluación es establecer, con tanta certeza como sea posible, si la intervención produce o no los efectos que busca, es decir, determinar cuál es la repercusión del programa.

Lo primero que se debe realizar en la evaluación es determinar y cuantificar los cambios que se han producido en la población objetivo, midiendo sus características antes, durante y después de la intervención. Una vez cuantificada la magnitud del cambio hay que deslindar en qué medida éste se debe al programa y/o política llevado a cabo y no a otros factores.

La demostración de que los cambios operados en la población objetivo se deben a la intervención pública es quizá el aspecto más problemático de la evaluación. Se trata de separar el efecto provocado por el programa, efecto neto de la intervención, de otras influencias. Ello implica:

• Conocer los efectos que en la población objetivo están teniendo otras políticas y otros procesos paralelos e independientes.

• Conocer los efectos o alteraciones provocadas por la metodología seleccionada para la evaluación.

• Determinar cuál ha sido la contribución de cada acción concreta al logro de esos efectos.

• Determinar los resultados con métodos cuantitativos como son el grado de satisfacción de la población objetivo, el cambio de las expectativas y conductas de los participantes.

Algunos investigadores (entre ellos Coronado, 1997) agrupan técnicas para evaluar las políticas públicas en dos categorías:

• Metodologías no explícitas; aquellas que no incorporan los instrumentos de la política o programa.

• Metodologías explícitas; aquellas que incorporan tanto los instrumentos de la política como otras variables relevantes que pueden influir en las variables objetivo

Otros autores establecen la distinción entre:

• Técnicas de evaluación microeconómica identificada fundamentalmente con la valoración de una acción y en relación con las realizaciones y resultados.

• Técnicas de evaluación macroeconómica; centrada en la evaluación global y relacionada con el nivel de impactos.

Sin embargo, a criterio de la autora, debería establecerse un procedimiento general para realizar la evaluación de las intervenciones, sin especificar si se trata de una evaluación microeconómica o macroeconómica, al considerar que, en principio, no tiene mucho sentido hacer esa distinción ya que la aproximación micro o macro dependerá de los objetivos y alcance de la intervención. En efecto, es posible evaluar los efectos macroeconómicos de una única y significativa acción, así como medir el impacto de una intervención global en las expectativas de los agentes económicos, impacto éste de carácter macroeconómico.

También es común encontrar la distinción entre enfoques inductivos y deductivos:

• El enfoque inductivo se basa principalmente en métodos cualitativos de análisis orientados a explorar y descubrir la lógica de las relaciones causa-efecto, partiendo de lo concreto para derivar en comportamientos generales.

• El enfoque hipotético-deductivo, se identifica con la evaluación centrada en objetivos. Su fundamentación está en el empleo de técnicas cuantitativas (método experimental) para la determinación de las principales variables y establecimiento de hipótesis específicas de comportamiento antes de iniciar la recogida de datos.

En la práctica suelen combinarse ambos enfoque, identificando a través de la inducción las cuestiones y variables a estudiar y contrastando luego los resultados de forma deductiva.

Independiente del enfoque o modelo que se siga para la evaluación, el número de técnicas es muy amplio e incluye diversas posibilidades de las que se pueden elegir según los recursos con los que se cuente.

Técnicas para evaluación

El análisis de las políticas públicas ha llevado a la construcción de numerosas técnicas diferentes para su evaluación, cada una resalta aspectos parciales del problema y agrega puntos de vistas particulares. Las diversas perspectivas o marcos de referencias utilizados, indujo a que investigadores como Leontief, Campbell y Standley, Rossi y Freeman, entre otros, realizasen un esfuerzo de síntesis en un intento de proponer técnicas de evaluación, que pudieran dar cuenta de una visión más amplia e integral de las políticas públicas, ayudando a comprender mejor sus principales potencialidades y debilidades para discernir cuándo es más recomendable y eficaz su utilización.

A continuación se presenta un prototipo base de estas técnicas, las que pueden ser adecuadas a contextos específicos en correspondencia con el tipo de limitaciones relacionada con la política pública que se pretendan identificar; algunas de las técnicas recomendadas para evaluar los impactos.

4.1 Método experimental

Es un instrumento muy empleado en el impacto, su utilización, en el campo de la evaluación de políticas públicas, permite contratar una hipótesis sobre la acción de los poderes públicos . Es decir, se parte del supuesto de que una acción “X” va a producir un cambio “Y” en la dirección buscada. Ahora bien, en el efecto “Y” también inciden otras variables, exógenas al programa por lo general. La cuestión es determinar si existe una relación causal entre el programa y los impactos.

Para medir el resultado neto del programa, y aislar el efecto de las variables, se comparan, sistemática y objetivamente, dos grupos:

• El grupo experimental, que es aquel al que se le aplica el programa.

• El grupo de control, que no recibe ningún tratamiento o al que se le aplica uno alternativo.

Las fases en la aplicación del método experimental son las siguientes:

• Preparación de los dos grupos. Debe asegurarse que cada unidad de la población objetivo del estudio (no del programa) tiene la misma posibilidad de pertenecer a un grupo u otro (aleatoriedad) y que ambos grupos contienen la misma proporción de unidades.

• Observación o medición simple de la variable “X”, que el programa pretende modificar, en los dos grupos antes de su puesta en marcha.

• Aplicación de los instrumentos del programa al grupo experimental.

• Nueva observación y medición de la variable “X” en ambos grupos para cuantificar la variación producida por el programa en el grupo experimental.

• Comparación de los resultados obtenidos mediante la medida de las diferencias entre la situación final e inicial de cada uno de ellos.

Recomiendan con especial énfasis este diseño, Campbell y Standley (1966) , porque elimina los efectos de variables no controladas que puedan poner en peligro la validez interna del experimento, es decir, la validez de afirmar que fue la variable independiente , y no alguna otra variable no controlada, la que produjo el cambio en la variable dependiente .

Las variables no controladas que pueden afectar un experimento, de acuerdo con los autores mencionados, son ocho:

• Historia: efectos producidos por los eventos que ocurren durante la primera y la segunda medición

• Maduración: procesos que le ocurren a los individuos de los grupos como resultado del paso del tiempo (envejecimiento, cansancio, cambio de hábitos.)

• Aplicación de pruebas: los efectos de tomar la misma prueba dos veces

• Instrumentación: los efectos producidos por los cambios en el instrumento o en las personas que lo aplican

• Regresión estadística: efectos producidos cuando se seleccionan grupos basándose en los puntajes extremos

• Selección: efecto producido por la manera de seleccionar los grupos experimental y control

• Mortalidad experimental: pérdida de individuos en los grupos seleccionados

• Interacción selección-maduración, otras: efectos que se producen por las interacciones selección-maduración, selección-historia.

Limitaciones

• Para poder comparar el grupo de control y el experimental, ambos deben ser idénticos en composición, experiencias y predisposición en términos agregados y en aquellas características relevantes para el análisis, excepto en su participación o no en el programa. Esta es precisamente la limitación más importante, la posibilidad de encontrar dos grupos idénticos, lo que hace del método experimental una metodología difícil de aplicar en las ciencias sociales.

• Necesidad de empezar a aplicar la técnica antes de comenzar a ejecutar el programa y que éste no varíe, cosa que en la realidad no suele ocurrir ya que los programas están en continua evolución. Por otra parte, para la aplicación del método las relaciones causales deben ser sencillas, poco numerosas, unívocas y predecibles.

• Requiere una disponibilidad importante de recursos monetarios y fundamentalmente, temporales.

• La selección de los elementos que pertenecen al grupo de control discrimina negativamente a la población beneficiaria privándoles de determinadas ventajas.

• Puede que se detecten reacciones adversas de los participantes al verse en uno u otro grupo: negativa a participar, abandono, sentimiento de injusticia. Esto se conoce con el nombre de problemas de validez interna. Para que el método sea válido las variaciones detectadas deben interpretarse en sentido único.

• Otra de las limitaciones se deriva de la posibilidad de generalizar los resultados del experimento a personas, lugares o períodos temporales distintos, lo que provoca problemas de validez externa.

4.2 La encuesta

La encuesta es una de las técnicas principales de análisis en la evaluación puesto que permiten extraer de la población encuestada valoraciones cuantitativas de gran interés para el estudio que de otra forma no serían recogidas.

Pertenece al dominio cuantitativo porque cuenta y agrupa unidades. Se realiza a través del cuestionario. Consiste en un conjunto de preguntas tipificadas sobre los hechos o aspectos que interesan en el análisis. El cuestionario se considera una de las herramientas más útiles para la evaluación porque las respuestas que recoge permiten cuantificar y analizar la información con mayor facilidad que la generada por otros métodos, al poder tabularla y codificarla.

Las tareas para aplicar la técnica de encuesta son:

Delimitación de la población a encuestar: muestreo

Con frecuencia la población objetivo es de grandes dimensiones por lo que sería imposible estudiar todos sus aspectos directamente. En estas situaciones es recomendable concentrarse en una proporción de la población o muestra.

El tamaño y la definición de la muestra debe asegurara que los resultados sean generalizables al total de la población. Para ello la muestra debe ser representativa y debe reflejar las similitudes y diferencias del total. Esto significa que el conjunto de individuos estudiado debe ser un grupo típico de la población en su totalidad, existiendo varias reglas para determinar el tamaño y la naturaleza adecuadla de las muestras.

Diseño de los cuestionarios

Los cuestionarios pueden contener, fundamentalmente, preguntas cerradas (son de respuestas alternativas ya que las posibilidades de respuesta están previamente prefijadas por el investigador. Pueden ser dicotómicas (sí - no), (V - F) o politómicas (con varias alternativas); o abiertas (en estas no se preestablece o limita el modo de responder, no se definen variantes de respuestas).

La decisión de tomar unas u otras dependerá de la naturaleza del objeto de evaluación y de la necesidad de información que se requiera para su análisis. Las primeras tienen la ventaja de que las respuestas son fáciles de comparar y tabular, ya que existe un reducido número de categorías fijadas con antelación y no dan cabida a sutilezas de opinión o de expresión verbal. El inconveniente es que la información que proporciona tiene un alcance restringido.

Los cuestionarios de preguntas abiertas ofrecen a aquellos que responden la oportunidad de expresar sus ideas sin que se vean obligados a marcar opciones cerradas, y permiten al evaluador profundizar en las contestaciones para indagar lo que realmente opina el encuestado. El problema de este tipo de cuestionario es que su análisis es de mayor dificultad.

La tabla II.3 muestra la frecuente utilización de otro tipo de preguntas

Las preguntas de un cuestionario deben elaborarse de modo que un equipo de encuestadores pueda administrarlo según un orden preestablecido y recoger las respuestas siguiendo un mismo criterio. Para ello deben reunir las siguientes características:

• Deben ser exhaustiva. Las categorías o respuestas de las preguntas deben abarcar todos lo casos que puedan darse, de modo que ningún encuestado deje de responder por no encontrar la apropiada.

• Deben se excluyente, es decir, ninguno de los encuestados puede elegir válidamente dos respuestas distintas de la misma pregunta.

• Deben ser corroborativas para poder validar lo resultados de la investigación.

• Deben estar cuidadosamente planteadas para que no lleven a error su interpretación y los resultados sean fiables.

• Deben evitarse preguntas sesgadas, es decir, preguntas plantadas de tal forma que induzcan a una respuesta correcta.

Estudio piloto

La mayor parte de las encuestas van precedidas de estudios pilotos con la intención de determinar problemas no anticipados por el investigador. Un estudio piloto es un ensayo en el que un reducido número de personas responden a un cuestionario. De otra forma las dificultades que surjan, en cuanto a la redacción de las preguntas, su ordenación, duración de la encuesta, pueden subsanarse antes de comenzar la encuesta real evitando incurrir en costes innecesarios.

Administración del cuestionario: trabajo de campo

Una vez diseñado el cuestionario existen varios métodos para administrarlo: personalmente, por correo, por teléfono, fax. La elección de una determinada vía dependerá del tiempo y presupuesto disponible así como de los objetivos de la investigación. En general, cuanto más intensivo y directo sea el encuentro entre el evaluador y la población objetivo estudiada, más informativas serán las conclusiones que se deriven de él.

Análisis y tratamiento de los datos aportados por las encuestas

Una vez administrado el cuestionario hay que proceder a la tabulación de las respuestas. Para ello, se pueden utilizar distintas escalas de medición. Las más comunes son: las nominales, ordinales, por intervalos y las escalas para la clasificación de actitudes. Posteriormente hay que tratar la información y para ello normalmente, se utilizan programas informáticos de tratamiento de datos estadísticos.

Finalmente, y tras el tratamiento de los datos, hay que realizar su análisis e interpretación para la evaluación de las variables analizadas con la encuesta.

Este método, a pesar de sus limitaciones, requerimientos de tiempo para su aplicación, es útil a la hora de evaluar los impactos de un programa y/o política ya que posibilita una eficaz recogida de datos.

4.3 La Entrevista

La entrevista es una técnica de investigación cualitativa que se utiliza para obtener información mediante una conversación profesional con una o varias personas para un estudio analítico de investigación o para contribuir en los diagnósticos o tratamientos sociales. Implica siempre un proceso de comunicación, en el transcurso del cual el entrevistador y el entrevistado pueden influirse mutuamente, tanto consciente como inconscientemente.

Es un instrumentos de interrogación que permite recoger información de utilidad mediante preguntas que se formulan a las personas investigadas, esta técnicas se dirige a preguntar a los sujetos con la finalidad de obtener de forma directa, información acerca de opiniones, actitudes, puntos de vista, deseos e intenciones, conocimientos, sucesos, entre otros.

Se propone para la evaluación de muchas acciones, pero más que como una herramienta individual, como un instrumento de acompañamiento a la encuesta, sobre todo cuando la población a la que va dirigida es de grandes dimensiones puesto que utilizar sólo la entrevista sería inviable.

Taylor y Bogdan (1984) definen la entrevista en profundidad como “encuentros reiterados, cara a cara, entre el investigador y los informantes, encuentros éstos dirigidos hacia la comprensión de las perspectivas que tienen los informantes respecto de sus vidas, experiencias, situaciones, tal como las expresan con sus propias vidas”.

La estructura se va imponiendo en la conversación como una especie de marco de referencia; es una guía de conversación, flexible y sometida a cambios continuos, como resultado de la propia conversación.

El entrevistador hará bien en combinar preguntas abiertas (que conceden al entrevistado la máxima libertad de autoexpresión) con preguntas cerradas (que comprueben y verifiquen la verdad de determinadas afirmaciones y datos aportados).

Una entrevista se puede considerar adecuada cuando desarrolla acertadamente los tres procesos básicos de los que consta:

• el proceso social de interacción interpersonal,

• el proceso técnico de recogida de información, y

• el proceso complementario de observar la información; anotando, registrando o grabando la conversación.

Los tipos de entrevistas se caracterizan por:

• Estar dirigidas a un individuo.

• Ser de carácter holítisco, no monotemáticas.

• No estar dirigidas, es decir, de cuestionario flexible. La diferencia más marcada resulta el grado de “dirección- no dirección” que se puede imprimir a la misma y que oscila, desde la entrevista en la que el actor lleva la iniciativa de la conversación hasta aquella en la que el entrevistador sigue un esquema de preguntas, fijo en cuanto a orden, contenido y formulación de las mismas.

• Entrevistas efectuadas no sólo a un individuo sino simultáneamente a un grupo de personas. Son las entrevistas grupo.

• Entrevistas orientadas al esclarecimiento y compresión de un solo tema que se convierte en el foco de la conversación. Son las entrevistas enfocadas.

• Entrevistas efectuadas a varias personas por separado, sobre un mismo tema, en los que objetividad de un hecho no observable directamente por el observador es estudiado con la ayuda de testigos privilegiados. Son las entrevistas de encuesta.

• Entrevistas en las que el objeto de estudio es el desarrollo y evolución de toda la vida de una persona. Son las entrevistas de historias de vida o de biografía asistida.

CONCLUSIONES

1. Para evaluar las políticas públicas es necesario conocer y desarrollar los diferentes tipos de evaluación según su contenido, que guardan una secuencia y coherencia interna, los cuales de forma resumida son:

• Conceptual o de diseño

• Sistema de gestión

• Sistema de seguimiento

• De resultado e impactos.

En su conjunto, facilitan el proceso de análisis de las políticas públicas.

2. Constatan la existencia de objetivos claramente definibles, su correspondencia con los problemas y la lógica interna de cada política evaluada y su relación con otras políticas.

3. Examinan la forma en que se gestionan y ejecutan, es decir su puesta en marcha y permiten conocer hasta qué punto la intervención está consiguiendo los objetivos establecidos o alcanzando los resultados definidos y a qué costos se consiguen (en términos de tiempo, recursos humanos, materiales y monetarios).

4. Sólo es posible llevar a cabo todo este proceso, utilizando las técnicas de evaluación, que brindan una visión más amplia e integral de las políticas públicas, ayudando a comprender mejor sus principales potencialidades y debilidades para discernir cuándo es más recomendable y eficaz su utilización.

BIBLIOGRAFÍA

 ALBI, E; GONZÁLEZ. Gestión Pública. Fundamentos, técnicas y casos. Barcelona: Ariel. Pág. 14. 1997.

 ALCALDE DE HERNÁNDEZ. “El control de gestión en el sector público. Su aplicación en el MOPTA”, en Gestión y Análisis de Políticas Públicas n 3, pág. 68. 1995.

 ALCÁNTARA, MANUEL. Op cit. Pág. 106

 BALLART, X. ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de casos. Madrid: Ministerios para las Administraciones Públicas.1992.

 CAMPBELL, D. T y STANDLEY J.C (1966). Experimental and quasi – experimental designs for research. Skoki, Il: Rand McNally.

 CHANDLER Y PLANO. En la obra de Alcántara Manuel. Op cit. 1988.

 COLECTIVO DE AUTORES. “Fundamentos Generales del modo de producción capitalista” Carreras Económicas. Tomo: I La Habana: MES dirección Nacional Marxismo, Mayo 1999.

 COMISIÓN DE LAS COMUNIDADES EUROPEAS. Orientations méthodologiques pour le suivi et les évaluations intermédiaires des CCA, docup et interventions. Bruselas : 1995.

 COOK, T. D y CAMPBELL, D.T. Cuasi- experimentations design and Análisis issues for field setting. Il: Rand MacNally. 1979.

 CORONADO GUERRERO, D. “El proceso de evaluación de las políticas económicas regionales: revisión de métodos y experiencias”, en revista de estudios regionales n47, pp. 37-81. 1997.

 DUNN WILLIAM N. Public Policy Analysis Secom Edition. Englewood Cliff. N, J.Prentice. Hall. 1993.

 DYE, T.R (1995). Understading Public policy. Eight editions. Prentise Hall.

 EASTON; D. A system Analysis of Political Life; New York John Wiley.1965.

 ENGELS, FEDERICO. “El origen de la familia la propiedad privada y el Estado” .Obras Escogidas. Tomo único. Editorial Progreso. Moscú: 1975.

 EPSTEIN Y TRIPODI. Research techniques for program planning, monitoring and evaluation. New York: Columbia University Press.1977.

 GONZÁLES PARIS, EVELYN. Las políticas públicas, una visión desde los fundamentos teóricos de la Economía Política de la Construcción del Socialismo

 INSTITUTO DE DESARROLLO REGIONAL. Guía para la evaluación de políticas públicas. Gráficas Santa Sevilla. España: 2000.

 -------------------------”Elaboración de un sistema de Indicadores para el seguimiento del Programa Operativo de Andalucía”. 1996.

 -------------------------”Informe Preliminar del Análisis de la Encuesta en el marco de la evaluación Ex –ante del M.A.C”. 1996.

 JACINTO Y GALLART. La evaluación de programas de capacitación de jóvenes desempleados. Un análisis de los enfoques evaluativos. 1998.

 LAHERA P, EUGENIO. Un Enfoque de políticas públicas, Economía UNAM, No. 002, noviembre 2004.

 LENIN, VLADIMIR I. “El Estado y la Revolución”.Obras Escogidas en tres tomos, Tomo II Editorial Progreso. Moscú: 1981.

 LEONTIEF W. La estructura de la economía norteamericana. (1919-1939). Barcelona: Ed. Bosh. 1958.

 -----------------El análisis económico input- output. Ed. Ariel. 1973.

 LIMBLOM, CH. Inquirí and Change. The trouble attempt to Understand and Shape society. Yale University Press.1990.

 ------------ El proceso de elaboración de las políticas Públicas. Madrid: INAP. Pp. 107-120. 1992.

 Marx Carlos “El Capital” Tomo I Editorial Ciencias Sociales La Habana: 1975.

 MENY Y THOENING. Las Políticas públicas. Versión española a cargo de Francisco Morata. 1992.

 PABLO SOLÍS Y EIMYN RIZO. Evaluación Políticas Públicas con enfoque al cliente en la gestión del desarrollo local. Al I evento la Economía y la Gestión del Desarrollo Local. Asociación Nacional de Economistas y Contadores de Cuba.2009

 PALLARES, FRANCESC. “Las políticas públicas: El sistema político en acción”. Revista de Estudios Políticos. No. 62. Pág. 141.1988.

 PATTON, M.Q. Creative evaluation. Sage Publication. 1987.

 --------------How to use qualitative methods in evaluation. Sage publications. 1987.

 PETER. Recogida por Pallares, Frances. Op.cit. Pág.142. 1982.

 PLANTE, J. En Plan ENA. Outlis, pratiques et institutions pour évaluer les politiques publiques. Paris: La Documentation Fracaise. 1991.

 PONS DUARTE, HUGO. Reflexiones acerca del concepto de política pública. Centro de Estudios de Economía y Planificación. MEP. Cuba: 2000.

 ------------ El estado y la construcción del socialismo”. Centro de Estudios de Economía y Planificación. MEP. Cuba: 2001.

 PRIOR, D., VERGES, J. La evaluación de la eficacia de los sectores públicos y privados. Instituto de Estudios Fiscales. 1993.

 REAL ACADEMIA. Diccionario de la Lengua Española, Madrid, España: 1955.

 RODRÍGUEZ, JOSÉ LUIS. “Los grados de Libertad entre la economía y la política” Entrevista en la Revista Contra corrientes. 1999.

 ROSSI Y FREEMAN, H. Workbook for evaluation: a systematic approach. Sage publications. 1993.

 RUTHMAN, EN ALVIRA. Metodología de la evaluación de programas. Centro de investigaciones Sociológicas.1991.

 SALVADOR CENTELLES, C. “El Control de Gestión. Diferentes modelos. Indicadores de servicios públicos” en Temas de Gerencia Pública, Tema 79, Dirección General de la Función Pública, Madrid: 1994.

 SCRIVEN, M. The methodology of evaluation”. Chicago: Rand McNally. (Monograph series in curriculum evaluation, n1). 1967.

 SHORREL, S. y RICHARSON, W, C. Health program Evaluation. The C.V. Mosby Co., Saint Louis, citado en Rossi y Freeman (1993): Evaluation a systematic approach. Sage Publications. 1978.

 STUFFLEBEAN, D.L. Evaluación sistemática: guía teórica y práctica. Barcelona: Paidós. 1987.

 SUBIRAT HUMET, J. El papel de la burocracia en el análisis de políticas públicas y eficacia de la organización. M.A.P. Colección estudios Págs. 125-138. 1989.

 TAMAYO MANUEL. “El análisis de las políticas públicas” Editorial Alianza Universidad. Texto Madrid: 1997.

 TAYLOR, S. J y BOGDAN, R. Introducción a los métodos cualitativos de investigación. Buenos Aires: Paidós. 1984.

 WHOLEY, J.S. Evaluation: Promise and Perfomance. Washington, DC: Urban Institute. 1979.

CURRICULUM VITAE

MsC. Ing Giovani Alejandro Pablos Solís

Lugar de residencia 13 de octubre 123 entre Lico Cruz y Lucas Ortiz, Las Tunas, Cuba, CP 75100

E-mail: geovanips@ult.edu.cu

• Profesor y Jefe de la Disciplina “Gestión de Procesos Empresariales”, adscrita al Departamento de Economía Empresarial de la Facultad de Ciencias Económicas del Centro Universitario Las Tunas

• Ing Químico .Instituto Politécnico de Bucarest Rumania-1987

• Diploma Europeo en Administración y Dirección de Empresas ( ESADE- 2004)

• Diplomado Comunicación y Marketing-2005

• Gestión de la Información y las nuevas tecnologías, Centro Universitario de Las Tunas, Cuba 2006

• Especialización en Análisis Económico. Teoría y Aplicación- Universidad Complutense de Madrid 2007-2008.

• Metodología de la Investigación en las ciencias empresariales, Centro Universitario de Las Tunas, Cuba-2007

• Master en Dirección. Universidad de Camaguey, Facultad de Economía 2008

CURRICULUM VITAE

• Lic en Ciencias Económicas Graciela Elena Ortiz Rojas

• Lugar Carretera Central No 43 Reparto Aguilera .Las Tunas .Cuba, CP 75100

• E-mail: gracielaoreco@estudiantes.ult.edu.cu

• Profesora Adjunta .de Facultad de Ciencias Económicas del Centro Universitario Las Tunas

• 2006 Participa en eventos provinciales de la ANEC Centro Universitario Las Tunas, Facultad de Ciencias Económicas.

• Titulo de Oro en su graduación.

---