CAPÍTULO V

EVALUACIÓN EMPÍRICA

Diseño de la evaluación

Un diseño experimental muy utilizado, principalmente en las denominadas ciencias duras, es el de grupo control con selección aleatoria. El mismo consiste en seleccionar, de una manera aleatoria, dos grupos de individuos de una misma población y aplicarles una prueba para medir el valor de una determinada característica (variable dependiente). Posteriormente se expone un grupo (experimental) al efecto de una variable (independiente) que hipotéticamente producirá un cambio en la variable dependiente. Una vez transcurrido el tiempo suficiente para que la variable independiente haga su efecto, se vuelve a aplicar la prueba a ambos grupos, tanto el que estuvo expuesto como al que no lo estuvo (grupo control). Si la variable dependiente registra un cambio en el grupo experimental y ninguno en el grupo control, se puede entonces afirmar que el cambio fue producido por la variable independiente.

Campbell y Stanley (1966) recomiendan con especial énfasis este diseño, que lo califican como un diseño experimental, porque elimina los efectos de variables no controladas que puedan poner en peligro la validez interna del experimento, es decir, la validez de afirmar que fue la variable independiente, y no alguna otra variable no controlada, la que produjo el cambio en la variable dependiente.

Las variables no controladas que pueden afectar un experimento, de acuerdo con los autores mencionados, son ocho:

1) Historia: efectos producidos por los eventos que ocurren durante la primera y la segunda medición

2) Maduración: procesos que le ocurren a los individuos de los grupos como resultado del paso del tiempo (envejecimiento, cansancio, cambio de hábitos, etc.)

3) Aplicación de pruebas: los efectos de tomar la misma prueba dos veces

4) Instrumentación: los efectos producidos por los cambios en el instrumento o en las personas que lo aplican

5) Regresión estadística: efectos producidos cuando se seleccionan grupos basándose en los puntajes extremos

6) Selección: efecto producido por la manera de seleccionar los grupos experimental y control

7) Mortalidad experimental: pérdida de individuos en los grupos seleccionados

8) Interacción selección-maduración, otras: efectos que se producen por las interacciones selección-maduración, selección-historia, etc.

En el caso de las ciencias sociales es difícil utilizar diseños experimentales de grupo control con selección aleatoria. Usualmente los grupos que se utilizan son comunidades naturalmente conformadas, tan similares como sea posible. Al no ser seleccionados de manera aleatoria los grupos experimental y control no son equivalentes, y la validez interna del experimento sufre, principalmente en cuanto a las interacciones que se pueden producir del tipo selección-maduración o selección-historia. Por ejemplo, supongamos que se seleccionan dos comunidades rurales y a una de ellas se le aplica un programa X para mejorar la productividad. Si en esa comunidad se había aplicado previamente un programa similar, mientras que en la comunidad de control no, entonces una mejora de la productividad registrada en el grupo experimental puede ser atribuida a la aplicación del programa X, a pesar de que esa mejora se hubiera producido aún en ausencia de ese programa X.

La otra amenaza a la validez interna es el problema de regresión estadística, especialmente cuando la media del grupo experimental difiere sustancialmente de la media del grupo control.

Campbell y Stanley (1966) denominan el diseño descrito como grupo control no equivalente, y lo califican como un diseño cuasi-experimental. A pesar de los problemas de validez interna que se producen por el hecho que el grupo de control no sea equivalente, lo prefieren a un diseño similar pero sin grupo control, donde se selecciona el grupo experimental, se le aplica la prueba, luego se le expone al efecto de la variable independiente y finalmente se aplica de nuevo la prueba. Este diseño, calificado como pre-experimental, adolece de menor validez interna, permitiendo controlar solamente los problemas de selección y mortalidad. Por ejemplo, supongamos que se decide aplicar un programa para mejorar el nivel de ingreso de una comunidad rural. Al comparar el nivel de ingreso de la comunidad después de aplicado el programa con el nivel registrado antes del programa se consigue que aumentó. Es posible que ese aumento no esté relacionado con el programa, sino que sea producto de otros eventos acaecidos durante la aplicación del programa. Por ejemplo, mayores tasas de crecimiento económico en el país (historia); incorporación a la actividad productiva de miembros jóvenes de la población (maduración); la primera medición del nivel del ingreso motivó a algunas familias a esforzarse más en el trabajo para alcanzar niveles superiores en la siguiente medición (aplicación de pruebas); el instrumento utilizado para medir el ingreso después del programa estaba mejor diseñado que el de la primera medición (instrumentación); el nivel de ingreso medio de la comunidad era extremadamente bajo con respecto al promedio de la región, por lo que al efectuar la segunda medición se produjo un acercamiento hacia la media de la región (regresión estadística); la comunidad decidió utilizar mejores técnicas de riego (maduración); se seleccionó una comunidad con aptitudes extraordinarias para aprender nuevos procesos (interacción selección-maduración).

Para el presente trabajo se utilizó un diseño cuasi-experimental con grupo control no equivalente. Para ello se utilizó la data recopilada por la unidad ejecutora del PRODECOP a fines del 2000, a través de un Estudio de Línea Base (ELB) que se hizo para levantar un perfil socioeconómico de la población beneficiaria del proyecto. Parte de esta data se comparó con la recolectada en la presente investigación. Sin embargo, hay que mencionar que el diseño no es ortodoxo, en el sentido que cuando se hizo el ELB todas las comunidades estaban intervenidas, cuando lo ideal hubiera sido hacerlo antes de iniciar el programa. Esto podría subestimar la medición del impacto del programa.

En el año 2002, la unidad ejecutora del PRODECOP realizó el denominado Estudio de Efecto e Impacto (EEI) sobre una submuestra de la muestra seleccionada para el ELB. Lamentablemente se utilizó un instrumento diferente, lo que dificulta el diseño del grupo control no equivalente con la data obtenida en esas dos fechas. Parte de esta data se utilizó en la presente investigación.

Los resultados del ELB están recogidos en PRODECOP (2001). El informe es una fotografía de la situación de las familias para el 2000, fecha en que se hizo el estudio.