2.5.3 ESTRUCTURA DE LA EVALUACIÓN EX – POST

La evaluación es un proceso de diálogo, reflexión, y que mantiene propiedades que le otorgan el carácter de ser holístico, continuo, participativo, plural, preventivo, efectivo y contingente. A continuación se sintetizar la idea de evaluación en una imagen básica que no se contraponga a los principios establecidos, y con el propósito de facilitar su estudio y su empleo, se llega a conformar una estructura como la que se muestra en la siguiente Figura 2.1.6.

Por su naturaleza sistémica y debido a la ausencia de una “objetividad (neutralidad) científica absoluta”, el proceso de evaluación debe estar sujeto a una verificación constante. Con base en lo anterior, y de acuerdo con las características del nuevo sistema.

El problema de la objetividad se enfrentará de manera similar como el método de observadores al mismo nivel jerárquico, se propone que sean diferentes evaluadores a diferente nivel jerárquico y nivel de decisión. Por ello, el acto de la evaluación puede ser visto como en la figura anterior: una escena dentro de otra escena (Carvajal, 1992), y ésta a su vez como parte de otra escena. (Sánchez, 1994).

La primera escena estará dada por los impactos diversos del sistema, los cuales serán analizados en primera instancia por los involucrados directos (los empleados y trabajadores del subsistema). La segunda escena se conforma por los impactos en el suprasistema y su análisis dependerá de las intenciones y del conocimiento tanto del subsistema administrativo (las autoridades y funcionarios administrativos) como de un evaluador externo ajeno al sistema (expertos) y del ambiente que se vive durante la evaluación en el suprasistema. Ellos integrarán las valoraciones de los usuarios, proveedores y otros beneficiados y afectados directos. La tercera escena la integran las restricciones propias del contexto, los parámetros normativos que se imponen al suprasistema y subsistema, y las restricciones y sesgos de un evaluador principal, a quien el tomador de decisiones o dueño se encargará de la evaluación, y quien integrará los resultados. Estos actores (involucrados directos, administrador, evaluador externo y evaluador principal) y roles existen en la realidad y son reconocibles, pero en ocasiones algunos de ellos y sus interrelaciones, por la manera de realizar la evaluación.

La evaluación ex – post es una instancia en donde la participación de todos los involucrados es de primera necesidad y en especial, como señalan Kells, Maassen y Haan, la auto evaluación será la clave para una conducción de calidad.

En este trabajo no sólo se considera que es insustituible la participación activa de los involucrados directos del sistema, sino también de los usuarios y proveedores; ya que de otra forma, cómo se puede saber si se cumple las expectativas de los usuarios, los empleados a los proveedores.

En consecuencia, se concibe el acto de la evaluación de manera jerárquica, en la que se busca reducir las distorsiones a través de la vigilancia de los resultados a un nivel superior. En proceso, entonces, habrá más de un evaluador o sujetos de evaluación (Sánchez ,1994):

• El “evaluador interno” (El), quien “vive” en el sistema (regido) y realiza una evaluación del mismo: la auto evaluación
• El “evaluador administrador” (Ea), el responsable del sistema perteneciente al sistema (rector) y produce una evaluación administrativa
• El “evaluador externo” (Ee), que siendo ajeno al sistema, habrá una evaluación de acuerdo con su “expertise”, apoyado por la opinión de los proveedores y usuarios
• El “evaluador principal” (Ep), que tiene a su cargo la responsabilidad del proceso y la integración final de los resultados, y quien por esto posee voto de calidad.

El evaluador principal puede apoyar a los otros sujetos en el proceso de evaluación con la ayuda de promotores que faciliten el proceso. Considerando esta estructura de evaluación, a continuación se presentan los roles, las influencias y las relaciones que mantiene el sistema con el suprasistema y las relaciones entre los evaluadores y niveles de decisión durante el proceso de evaluación.

2.5.4. LA INFLUENCIA DEL SUPRASISTEMA

De acuerdo con la Figura 2.1.5. y el paradigma sistémico, un sistema (la evaluación) será definido por el rol que juega dentro del suprasistema al que pertenece (sus relaciones funcionales y estructurales con el resto de los sistemas de igual nivel con quienes mantiene contacto). De este modo, el proceso de evaluación estará integrado al subsistema de planeación y éste a su vez forma parte del subsistema de conducción o administración. (Figura 2.1.6).

Rossi y Freeman (1989) dicen que un factor importante para el éxito de las evaluaciones, es que el evaluador reconozca y valore la ecología social del terreno en el que se trabaja.

LOS SUJETOS DE LA EVALUACIÓN
Son los individuos, grupos, organizaciones o comunidades, los que realizan la evaluación de los sistemas y de ellos mismos. Cualquiera de ellos puede actuar como evaluador interno, administrador externo o principal.

 

2.5.5. LOS NIVELES DE DECISIÓN

Hasta ahora se ha puesto en evidencia la influencia del contexto de los sistemas en el proceso de evaluación, y se han expuesto las relaciones de quienes participan en la misma.

EL ROL DEL EVALUADOR
El evaluador (directivos y miembros del equipo de calidad) al intervenir en un sistema se convierte en agente de cambio, el evaluador debe desarrollar su sensibilidad para detectar y sopesar las relaciones informales de poder en el sistema (Morales, 1993).

2.5.6. FUNCIÓN DE LA EVALUACIÓN EX – POST
La función general de la evaluación ex – post es aprender y adaptarse con miras a obtener una mejora continua.

EL PROCESO DE LA EVALUACIÓN EX – POST
En esta sección se presenta un proceso general para la conducción de la evaluación ex- post, el cual responde a su finalidad y funciones antes establecidas. Por esto, la construcción del proceso que se sugiere en base a las cuatro funciones señaladas. A su vez, cada una de estas funciones se consideró como un proceso de transformación y se identificaron las subactividades requeridas para su cumplimiento. De este modo, se realizó la descomposición de cada etapa.

Preparación del Proceso

A. DISEÑO DE LINEAMIENTOS GENERALES

El proceso de evaluación se iniciará con un acto integrador que estimule la participación y promueva un clima de confianza. Además, es necesario precisar el tiempo disponible y el tipo de resultados que se esperan de la evaluación.

B. FORMULACIÓN DE FINES Y POLÍTICAS

Consiste en dos partes: Primera, responder de manera explícita a las preguntas: evaluación para qué y evaluación para quién; Segunda, diseñar la política a seguir y formular claramente objetivos que parezcan alcanzables.

C. PROMOCIÓN DEL PROCESO

Promover el proceso de evaluación requiere inducir un cambio de actitud en los involucrados, crear un ambiente de confianza y difundir los mecanismos del proceso.

VALORACIÓN DEL SISTEMA

D. IDENTIFICACIÓN DE LOS SUJETOS
Se invita a elegir a sus representantes en los consejos internos, administrativos y principal, y constituir los consejos. Por ser un ejercicio participativo y continuo habrá oportunidad de rotar las representaciones.

E. DEFINICIÓN DEL SISTEMA Y SU CONTRATO
Consiste en que los sujetos del consejo interno y administrativo, principalmente, construyan los “mapas conceptuales” o construcciones, de lo que es y debería ser el sistema. Se busca construir una imagen única que sirva para realizar el análisis y la síntesis del sistema.

F. DISEÑO DE CRITERIOS Y FORMAS DE VALORACIÓN

Consiste en diseñar participativamente y hacer explícitos a todos los involucrados, los criterios que serán utilizados y las maneras de valoración del sistema.

G. IDENTIFICACIÓN DE LOS RESULTADOS Y TRAYECTORIA

Esta actividad consiste en reunir evidencias, hechos, cambios observables y de preferencia juicios u opiniones documentados.

Su aceptación como evidencia estará en función del nivel de veracidad de la misma. En el apartado anterior se dijo que una evidencia será aceptada como veraz si es la mejor informada (en cantidad y calidad de información) y la más soportada por el consenso (con la capacidad de entender y emplear la información) en un ambiente de diálogo y reflexión.

H. ANÁLISIS Y SÍNTESIS CONTRASTACIÓN Y VALORACIÓN

Los puntos en conflicto podrán ventilarse mediante un proceso de negociación. Es un proceso de análisis y síntesis en donde habrá que hacer un balance del desempeño del sistema, apoyándose en las respuestas de las preguntas hechas al final del apartado anterior.

I. GENERACIÓN DE ESCENARIOS

La evaluación tiene que ver no sólo con las valoraciones presentes, sino también con las obstrucciones, oportunidades y aspiraciones del sistema para el mediano y largo plazo, se busca Para imprimir una dimensión estratégica a la evaluación y orientarla hacia una mejora continua.

J. VALORACIÓN DEL SISTEMA

Esta actividad tiene como propósito la emisión de juicios y recomendaciones preliminares, con las que concluye la etapa de valoración.

ALINEACIÓN DE RESULTADOS

K. NEGOCIACIÓN GENERAL Y RECOMENDACIONES FINALES
Esta actividad es independiente de las negociaciones particulares que realizan otros sujetos de la evaluación. Ésta se refiere a la que el evaluador principal realiza con base en las valoraciones anteriores.

L. SEGURIDAD DEL PROCESO E INSTRUMENTOS

La validez y confiabilidad del proceso e instrumentos debe hacerse considerando la credibilidad, transferibilidad, dependibilidad y confirmabilidad de las realidades construidas y de los juicios emitidos, así cuando sea posible y pertinente, buscarla confiabilidad y validez interna y externa como lo hace el método experimental.

DIFUSIÓN DE LOS RESULTADOS

M. ELABORACIÓN DEL INFORME FINAL

Consiste en sumar en un documento las consideraciones iniciales y los resultados de cada una de las actividades del proceso.

 

N. DISEMINACIÓN DE RESULTADOS

La comunicación de los resultados se realiza mediante una difusión amplia a toda la comunidad.

PROCEDIMIENTOS PARA EVALUACIÓN EX – POST

En este apartado se presentan dos procedimientos específicos que han sido estructurados para dar apoyo al proceso de la evaluación ex – post. Se considera que es la manera en que los sujetos de la evaluación transforman todos los aspectos relevantes del sistema en valoraciones que conduzcan a tomar acciones.
Estos son: procedimientos para la participación plural, necesarios durante todo el proceso, la definición y análisis del sistema, empleándose en la función de valoración, y la negociación, que implica lineamientos generales necesarios para cumplir con la función de afinación de resultados.

UN PROCEDIMIENTO PARA LA PARTICIPACIÓN PLURAL

Realizar la evaluación ex – post de acuerdo con su definición y propiedades establecidas, y en apego a su estructura y funciones arriba señaladas, representa un cambio de mentalidad.

Para esto, se pueden presentar muchas respuestas con sus respectivos diseños, dos de ellas son:

La primera “juntos y revueltos”, tener una participación de todos desde el inicio del proceso, reuniéndose en grupo y donde las concordancias y discrepancias sean pulidas en el debate hasta llegar a niveles de consenso apropiados, y posteriormente afinar los juicios mediante una negociación como lo plantea Guba  (1989). La segunda, la sugerida, se propone traer la estructura de la organización circular de Ackoff, adaptándola como mecanismo para la creación de una evaluación ex – post más democrática. Resulta difícil pedir conciencia y capacidad autocrítica a quien no se le ha facilitado tenerla.

Volver al índice