El desarrollo, expansión y consolidación de los Sistemas de Ciencia y Técnica, ha conllevado al surgimiento de nuevas necesidades que emergen de la sociedad y de las propias políticas científicas, y que convierten la evaluación en una herramienta clave para la asignación o distribución de recursos materiales o financieros, la definición de nuevos incentivos, y la validación de los resultados en ciertas áreas científicas en relación con las necesidades nacionales (SANZ MENÉNDEZ, 2004).

Actualmente el proceso de evaluación de programas enfocados al fomento de la I+D+i se enfrenta a retos como: las dinámicas económicas e industriales diferenciadas, los altos niveles de incertidumbre, la interacción de múltiples actores, los factores y efectos intangibles (aprendizaje, vinculaciones informales, transferencia de conocimientos), y las trayectorias científicas y tecnológicas específicas, entre otros. De ahí que los evaluadores se ven obligados a incorporar la evaluación de manera más clara dentro de un esquema de planeación estratégica, enfocado a evaluar, entre otros aspectos, la rapidez de los procesos de aprendizaje, la capacidad de construir y desarticular redes, la capacidad de las organizaciones en general y las empresas para reorientarse dentro de trayectorias con mayores oportunidades, la capacidad para anticipar e incidir en la orientación del cambio tecnológico, la movilidad interinstitucional del capital humano y los consecuentes flujos de conocimiento, e incorporar nuevos actores en el diseño de evaluaciones más democráticas y transparentes. (JASO SANCHEZ, 2007)

Los sistemas de ciencia, tecnología e innovación de cada país son extremadamente complejos y heterogéneos, lo que determina que el desarrollo y la difusión de la ciencia y la tecnología sean procesos complicados y muy difíciles de cuantificar…. Los resultados o beneficios de la ciencia, son intangibles, multidimensionales y, prácticamente, imposibles de cuantificar en términos económicos pues se trata de medir la producción y el aumento del conocimiento y éste es un concepto intangible y acumulativo. Además, los resultados de la ciencia se revelan sólo indirectamente y, a menudo, con mucho retraso. Por lo que las actividades científicas y técnicas se cuantifican desde una perspectiva aproximada o estimada basada en indicadores o parámetros evaluativos. Dichos indicadores permiten, entre otras estimaciones, comparar los niveles científicos relativos de los países y el reconocimiento de las áreas fuertes y débiles en ciencia. (SANCHO LOZANO, 2002)

La evaluación debe generar insumos para proponer otras formas en que el conocimiento científico y sus aplicaciones apoyen las políticas y programas de los gobiernos, así como detectar carencias en cuanto a indicadores de CT que sean necesarios diseñar e incluir. (SPINAK, 2001) Para que los resultados de las evaluaciones tengan una utilidad social real y su implementación sea más factible, deben de incorporar desde su diseño a los actores sociales para los cuales es relevante este proceso, sean estos investigadores, empresarios, funcionarios públicos, organizaciones ciudadanas o representantes de comunidades rurales organizadas.

Como se había observado anteriormente, los resultados científicos, el conocimiento generado, su impacto y los beneficios a la sociedad no son fácilmente cuantificables, pero el estudio de la literatura científica (libros, artículos, informes, patentes, nuevos productos, etc) dan una medida aproximada de los resultados obtenidos. Comúnmente se evalúa el desempeño y la productividad a través del número de publicaciones y citas en revistas especializadas, internacionales, arbitradas e indexadas; pero aunque esto pudiera reflejar adecuadamente el trabajo y la calidad de ciertas áreas o disciplinas como la física, la química y las biomédicas, hay otras disciplinas, especialidades y campos de aplicación que presentan productos diferenciados diseminados por canales que no siempre son la revistas internacionales.

Los evaluadores de políticas y actividades de I+D+i utilizan la bibliometría como herramienta para la obtención de indicadores, pero los diferentes tipos de productos, canales de difusión y hábitos de publicación de las distintas disciplinas, campos y países, dificulta el análisis bibliométrico. En ocasiones se observa un problema de subrepresentación en las bases de datos, las cuales subrepresentan regiones y publicaciones de acuerdo a su idioma.

OBJETIVOS

Ofrecer una panorámica de los indicadores para medir la actividad de ciencia y tecnología a nivel internacional. Además de definir el papel de la Cienciometría y la Bibliometría en la evaluación científica; la normalización de las estadísticas de Ciencia y Técnica a nivel global; los sistemas de evaluación de la ciencia y la técnica en Cuba.

MATERIALES Y MÉTODOS

Para la realización de este artículo se utilizó el método de análisis documental clásico a fin de conocer los referentes teóricos del tema e identificar los principales enfoques sobre la evaluación de la actividad científica y sus indicadores. Análisis y síntesis de la información obtenida; Sistémico-estructural para abordar todos los procesos involucrados en la temática estudiada.

RESULTADOS

Normalización de las Estadísticas para evaluar los resultados de la Ciencia y la Tecnología

En relación con la normalización de las estadísticas para la Ciencia y la Técnica, la Organización para la Colaboración y el Desarrollo Económico (OCDE), formada por 25 países, es el líder mundial en el desarrollo de manuales que ofrecen directrices tendentes a homogeneizar, a nivel internacional, los procedimientos para la selección y recogida de datos estadísticos de ciencia y tecnología y los subsiguientes indicadores. Dicha organización en 1963, como resultado de la primera reunión de expertos en estadísticas de I+D de sus países miembros, redactó una propuesta de metodología normalizada para las encuestas sobre investigación y desarrollo experimental, que se denominó Manual de Frascati, el cual se ha convertido en la única guía internacional que existe sobre la normalización de la toma de datos estadísticos para la medida de inversiones en I+D. Aporta las definiciones básicas de los conceptos empleados en la actividades de I+D, así como la distinción entre I+D y otras actividades conexas, y determina las directrices sobre las normas y métodos para diseñar las encuestas que recogen los datos estadísticos, e incluía la medición de los recursos humanos y financieros dedicados a la investigación y al desarrollo experimental.

En los Manuales de Frascati se incluyen definiciones como INVESTIGACIÓN: trabajos creativos llevados a cabo de forma sistemática para incrementar el volumen de conocimientos, incluido el conocimiento del hombre, la cultura y la sociedad. La investigación se clasifica en básica y aplicada. DESARROLLO EXPERIMENTAL: trabajos sistemáticos que aprovechan los conocimientos existentes obtenidos de la investigación y/o la experiencia práctica, y está dirigido a la producción de materiales, productos o servicios; a la puesta en marcha de nuevos procesos, sistemas y servicios o a la mejora sustancial de los ya existentes. INNOVACIÓN: La implementación de un producto (bien o servicio) o proceso nuevo o con un alto grado de mejora, o un método de comercialización u organización nuevo aplicado a las prácticas de negocio, al lugar de trabajo o a las relaciones externas. (SANCHO LOZADO, 2002)

En 1992, se publicó el Manual de Oslo, con las directrices sobre definiciones y metodología para diseñar las encuestas que recojan e interpreten los datos sobre fuentes de ideas innovadoras, inversiones e impacto de la innovación, así como los obstáculos para la misma. Su objetivo fundamental era la medición de las actividades de innovación en las empresas. Posteriormente en 1994, la OCDE, publicó la primera versión del Manual de Patentes, sobre la utilización de los datos de patentes como indicadores de la actividad tecnológica, en el que se aportan las directrices para utilizar los datos incluidos en las bases de datos de patentes suministrados por las respectivas oficinas de patentes de cada país. Su objetivo fue el uso de las estadísticas de patentes para la construcción de indicadores de ciencia y tecnología. Actualmente, los manuales sobre patentes e innovación están siendo revisados, y se estudia la posibilidad de creación de nuevos manuales sobre productos e industrias de alta tecnología y biotecnología.

En 1995 se publicó el Manual de Canberra OCDE, con el objetivo de la Medición de los recursos humanos dedicados a actividades de ciencia y tecnología. Contempla los efectivos de personal, tanto real como potencial, dedicados a I+D, así como los stocks y flujos de personal. Más recientemente la OCDE ha desarrollado instrucciones para la utilización de la Bibliometría como indicador de ciencia y tecnología, que cubre tanto literatura científica como patentes.

Los países de América Latina, a través de la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), que celebra anualmente un Taller de Ciencia y Tecnología y presenta un informe anual denominado El estado de la Ciencia: principales indicadores de ciencia y tecnología iberoamericanos e interamericanos, ha marcado pautas en el reconocimiento e impacto del quehacer científico de los países de la región y ha adaptado dicho Manual a las particulares características de sus industrias, creando así el Manual de Bogotá, de normas y definiciones para la medición de la actividad innovadora en Iberoamérica. (RICYT, 2006).

La mayoría de los países que disponen de un sistema de ciencia consolidado publican anualmente series temporales de los indicadores de ciencia y tecnología más representativos. Por ejemplo en España. El Instituto Nacional de Estadística (INE) publica cada dos años el compendio: estadísticas sobre las actividades de investigación científica y desarrollo tecnológico. I+D, y en años alternos, publica la encuesta sobre innovación tecnológica en las empresas, como resultado de las encuestas enviadas a las empresas innovadoras. El Ministerio de Ciencia y Tecnología publica anualmente (desde 1998) una recopilación de series temporales de los indicadores básicos de I+D: indicadores del sistema español de ciencia y tecnología. También la OCDE elabora y publica repertorios y bases de datos de series temporales de indicadores de ciencia y tecnología, donde se recogen los datos de inversiones, personal y gastos en I+D, suministrados por todos sus países miembros; los más importantes son: Main Science and Tecnology Indicators (se publica dos veces al año) y Basic Science and Technology Statistics, (se edita cada dos años).

Eurostat publica estadísticas anuales de I+D en los quince estados miembros de la Unión Europea, «Research and Development Annual Statistics», los cuales proporcionan series cronológicas de datos sobre financiación pública de I+D distribuida por objetivos socioeconómicos, personal de I+D, gastos en I+D y patentes concedidas. Incluye también estadísticas de innovación.

En otros países como Estados Unidos, la National Science Foundation, publica «Science and Engineering Indicators». En Francia, el Observatorio de la Ciencia y la Técnica (OST), publica el Science&Technologie Indicateurs. También la UNESCO, edita el Manual for Statistics on Scientific and Technological Activities.

La Red de Indicadores Iberoamericanos de Ciencia y Tecnología (RICYT), edita, Indicadores de Ciencia y Tecnología Iberoamericanos/ Interamericanos, con datos de todos los países de América Latina. Este repertorio es el único compendio que ofrece indicadores de producción científica recogidos de una serie de prestigiosas bases de datos internacionales de temas científicos específicos, además del Science Citation Index, con el objetivo de que se puedan realizar mejores comparaciones entre los países iberoamericanos, por medio de indicadores de producción científica.

Los Indicadores de ciencia y técnica

Los indicadores representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución (MARTÍNEZ y ALBORNOZ, 1998). La Ciencia es un proceso social, y las acciones y conductas de los científicos dependen del contexto (MACÍAS CHAPULA, 2001). Los indicadores de Ciencia y Técnica, como constructor sociales, miden aquellas acciones sistemáticas relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos. Así mismo, los indicadores bibliométricos constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica, ya que la documentación (independientemente del tipo de soporte) es el vehículo más prolífico y exitoso para la transferencia del conocimiento científico, conjuntamente con su transferencia oral por medio de conferencias y comunicaciones personales (RUSSELL, 2004).

Los indicadores para medir los resultados de la Ciencia y la Técnica a nivel internacional aparecieron en los años 50-60 bajo la denominación de Inversiones y gastos en I+D. En los años 70 además de este se incluyeron las Patentes y la Balanza de pagos tecnológicos. En los años 80, a estos tres se le adicionaron los Productos de alta tecnología, la Bibliometría, los Recursos Humanos y la Innovación (Encuestas). Para los años 90 se incluyeron otros como la Innovación mencionada en literatura científica, el Soporte público a tecnologías industriales, las Inversiones intangibles, y los Indicadores de tecnología e información y comunicaciones.

Los indicadores de CT reconocidos, expresan valores sobre la actividad CT de un país. Los centros científicos y académicos los adaptan para cuantificar sus logros institucionales de manera general, por disciplina, por centros de investigación, etc. Los indicadores CT nacionales y los propios que genera cada institución científica nos señalan los logros que se tiene en CT, mas no así nos reflejan si tales beneficios están siendo incorporados y aprovechados por la población, así sea sólo por la población mas cercana a la universidad que señala en sus indicadores, cuantos proyectos de investigación está realizando y cuanto dinero ha invertido en ellos. (RONDON LEÖN, 2004)

Los indicadores CT permiten a los países comparar entre sí la inversión y producción científica, así como buscar diferencias en los años de gestión, con la finalidad de tener información que sea útil al momento de evaluar la relevancia y cuantía de la investigación científica. Los indicadores de CT también son considerados un reflejo del desarrollo de un país; en general, un país con valores altos en sus índices e indicadores sociales y económicos, también cuenta con altas inversiones en CT, adecuadas capacidades y recursos humanos formados, así como un sector industrial que aprovecha tales capacidades y que obtiene beneficios de la derivación de los conocimientos en productos y servicios. Los indicadores que miden el reconocimiento del trabajo científico, tanto si se hace a través del número de artículos o mediante el número de citas y el factor de impacto acumulado por las revistas donde publican sus resultados, presentan comportamientos muy diferentes dependiendo de las áreas de conocimiento y no siempre apuntan al mismo colectivo cuando se atiende a su «excelencia». (JASO SANCHEZ, 2007)

Tipos de Indicadores para medir la calidad en la Evaluación Científica

Uno de los países que más ha trabajado en el establecimiento de criterios de calidad en la evaluación científica en área de las Humanidades es España, donde a través de la Fundación Española para la Ciencia y la Tecnología y la Agencia Nacional de Evaluación y Prospectiva, constituyó un grupo de trabajo con el objetivo de establecer criterios de valoración que incentivaran a los investigadores a mejorar la calidad y visibilidad de sus contribuciones científicas. Dichos criterios fueron elaborados a partir del consenso de un conjunto de investigadores españoles y extranjeros, confeccionando una serie de informes a partir de los comentarios y sugerencias aportados por otros científicos consultados y por entidades relevantes para la evaluación. Este grupo en enero de 2007, estableció las guías básicas para la evaluación de las diferentes actividades investigadoras en el ámbito de las Ciencias Sociales, estableciendo 4 dimensiones básicas de la investigación y desarrollo: publicaciones; programas de doctorado; proyectos; actividades relacionadas con la I+D en la evaluación de curricula, constituyendo las pautas hacia la competitividad internacional de los investigadores en Ciencias Sociales, las cuales aparecen a continuación: (CABRALES, A. et al, 2007)

• Evaluación de publicaciones. Se hace una distinción especial entre publicaciones de I+D, y otros tipos de publicaciones, como las que poseen contenido docente o los informes y dictámenes profesionales. La aceptación de un artículo en una revista de prestigio, o de una monografía que cumpla los requisitos de calidad y visibilidad internacionales, constituye una garantía de que el trabajo ha sido evaluado por expertos seleccionados con criterios de calidad y/o por un equipo editorial de reconocido nivel científico.

Se considerarán Publicaciones de investigación aquellas que aportan un resultado novedoso en un campo del saber, deben estar al alcance de la comunidad científica, haber sido difundida por un medio que incluya la evaluación por pares y los resultados de la investigación deben ser susceptibles de réplica y verificación. Las publicaciones de desarrollo (transferencia) Deben promoverse la publicación de resultados de investigación y desarrollo en los foros garantizados por su calidad y difusión, y conseguir que estos resultados tengan el mayor impacto posible dentro y fuera del país. Las publicaciones docentes, los informes, dictámenes o trabajos de consultoría no son publicaciones de transferencia, y no deben ser consideradas como tales.

Publicaciones periódicas, el listado de referencia es el elaborado por el ISI para cada una de las áreas y los criterios de valoración incluirán el índice de impacto de la revista y las citas que el artículo haya recibido, teniendo en cuenta la productividad media, a nivel mundial, de las diferentes áreas y especialidades científicas. Publicaciones no periódicas de investigación (monografías y capítulos de libros), se considerará la calidad de la editorial, sus procesos de evaluación y selección de manuscritos, y, los indicaciones sobre su impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos.

• Evaluación de doctorados. Historial del equipo ya sea un departamento, instituto, o grupo de departamentos, responsables del programa. Historial de los estudiantes, y Estructura del programa.

• Evaluación de grupos y de proyectos. Financiación de grupos basada en los resultados previos y en la confianza. Financiación basada en la evaluación de proyectos.

• Evaluación de curriculum investigador. Publicaciones científicas, Reconocimiento externo a la labor investigadora, Actividades de formación de investigación, Participación en proyectos de investigación competitivos con resultados publicados

• Paneles o comisiones de expertos. Los expertos deben ser investigadores de calidad y activos, de reconocido prestigio en su área, con proyección internacional y nacional, que debe estar acreditada por el impacto de sus publicaciones, y por poseer una cierta trayectoria, suficiente como para poder aplicar índices más sofisticados, (índice h ) por encima de la mediana de su área. Los expertos deben firmar un compromiso ético, de confidencialidad y de ausencia de conflicto de intereses y evaluarán en base a los resultados y/o a la calidad y riesgo de las propuestas, sin considerar las escuelas u otras condiciones personales o particulares.

Indicadores Cienciométricos

La Cienciometría y la Informetría juegan un importante rol en la evaluación de la producción y la actividad científica. La Cienciometría no es más que la aplicación de técnicas bibliométricas al estudio de la actividad científica. Su alcance va más allá de las técnicas bibliométricas, pues se emplea para examinar el desarrollo y las políticas científicas. Los análisis cuantitativos de la Cienciometría consideran a la ciencia como una disciplina o actividad económica, por lo que pueden establecerse comparaciones entre las políticas de investigación, sus aspectos económicos y sociales, y la producción científica, ya sea entre países, sectores o instituciones (SPINAK, 1996).

La Bibliometría estudia la organización de los sectores científicos y tecnológicos a partir de las fuentes bibliográficas para identificar a los autores, sus relaciones, y sus tendencias; mientras que la cienciometría se encarga de la evaluación de la producción científica mediante indicadores numéricos de esas fuentes bibliográficas. La Bibliometría trata con las varias mediciones de la literatura, de los documentos y otros medios de comunicación, mientras que la cienciometría tiene que ver con la productividad y utilidad científica (SPINAK, 2001).

Los temáticas que abarca la Cienciometría incluyen el crecimiento cuantitativo de la ciencia, el desarrollo de las disciplinas y subdisciplinas, la relación entre ciencia y tecnología, la obsolescencia de los paradigmas científicos, la estructura de comunicación entre los científicos, la productividad y creatividad de los investigadores, las relaciones entre el desarrollo científico y el crecimiento económico, entre otras (MACÍAS CHAPULA, 2001; SPINAK, 1996). Los indicadores cienciométricos pueden dividirse en dos grandes grupos: los que miden la calidad y el impacto de las publicaciones científicas (indicadores de publicación), y aquellos que miden la cantidad y el impacto de las vinculaciones o relaciones entre las publicaciones científicas (indicadores de citación) (SPINAK, 2001; VINKLER, 1987).

Otros autores los clasifican en indicadores de actividad e indicadores relacionales de primera, segunda y tercera generación. Mientras los indicadores de actividad proporcionan datos sobre el volumen y el impacto de las actividades de investigación mediante simples recuentos de elementos bibliográficos (tales como autores, artículos, palabras clave, patentes, citaciones, entre otros), los indicadores relacionales se proponen conocer los vínculos y las interacciones entre los diferentes elementos bibliográficos mediante los conceptos de cocitación y coocurrencia, intentando describir el contenido de las actividades y su evolución (BAILON-MORENO et al., 2005; GUZMÁN SÁNCHEZ y SOTOLONGO AGUILAR, 2002).

Los indicadores bibliométricos derivados del análisis de las publicaciones científicas y de las patentes se emplean con éxito en política científica y tecnológica y pueden aplicarse para evaluar unidades de diferente tamaño. Atendiendo a ese criterio, se denomina macro-análisis al estudio de grandes unidades, como regiones, países, sectores institucionales o temas determinados; el meso-analisis, se refiere a unidades más pequeñas de investigación, al análisis de centros de investigación o a una determinada facultad universitaria; el micro-análisis se aplica a grupos de trabajo y a individuos concretos. En función del tipo de medida, se pueden considerar los siguientes indicadores:

1. Indicadores de actividad científica, basados en el recuento de publicaciones científicas o patentes de la unidad objeto del estudio. Permiten la realización de series temporales, distribución geográfica, por tipo de institución o por temas de investigación.

2. Indicadores de impacto o influencia. Se trata de encontrar medidas indirectas de la calidad intrínseca de los trabajos, como puede ser el uso que la comunidad científica hace de un determinado documento, su impacto o influencia.

- Impacto de los trabajos, a través del recuento de citas recibidas por los mismos, esto da la medida del impacto de ese trabajo en la comunidad científica, de la comunicación entre autores, de su visibilidad, pero no es una medida directa de calidad. Además los hábitos de citación son diferentes de unas disciplinas a otras, por lo que los indicadores basados en citas no son válidos para comparar distintas disciplinas entre sí.

- Impacto de las fuentes utilizadas, basados en su visibilidad en bibliotecas, repertorios, bases de datos o en el factor de impacto de las revistas de publicación (citas medias recibidas por los artículos de una revista en un determinado período de tiempo, introducido en la base de datos Science Citation Index).

- El factor de impacto medio PI de las revistas de publicación utilizadas por una institución o país se utiliza como "factor de impacto esperado" para dichas publicaciones. Se puede comparar con el "factor de impacto observado" (citas reales recibidas). También se puede comparar el FI de una institución en una disciplina con el PI del total del país en la misma disciplina, tornado como patrón.

- Recientemente han aparecido otros indicadores como: Factor de impacto normalizado; Factor de impacto normalizado ponderado; Números de trabajos de alta calidad; Índice de calidad relativa; Número de documentos citados; Porcentaje de documentos citados; Cantidad de citas recibidas y Promedio de citas por artículo, entre otros.

3. Indicadores de tipo de investigación

- tipo de documento: artículo, revisión, presentación a congreso, libro, informe, patente. En cada caso las características de los trabajos y su difusión sería diferente y su uso difiere de unas áreas a otras.

- carácter básico o aplicado de la investigación.

- carácter teórico, metodológico o experimental, información que facilitan algunas bases de datos.

- si pertenece a una disciplina científica o es interdisciplinar.

4. Indicadores basados en co-autorla

- índice de firmas por trabajo,

- colaboración entre departamentos de una institución, entre distintas instituciones, o entre varias ciudades de un país o entre diversos países. A través de las bases de datos en las que figuran las direcciones de todos los autores se pueden determinar redes de colaboración que pueden ser indicativas de la madurez de un sistema investigador, favorecen los intercambios de conocimiento y aumentan la visibilidad.

Actualmente se llevan a cabo diversos estudios desde el enfoque métrico de la colaboración científica y su significado dentro de los procesos de I+D+I. Este a su vez es uno de los aspectos más complejos de tratar metodológicamente, pues requiere un arduo trabajo de normalización y el establecimiento de un criterio para determinar la importancia relativa de cada entidad coautora de un artículo. Entre los nuevos indicadores que analizan la coautoría están los siguientes:

- Índice de Co-autoría: Promedio de autores por artículo.

- Tasas de colaboración: Porcentaje de documentos firmados conjuntamente por distintos agentes del sistema de producción de conocimiento.

- Proporción de artículos en colaboración internacional. Mide el porcentaje de trabajos publicados con respecto al la producción total del nivel señalado.

- Índice de Internacionalización (II): Indicador que brinda información sobre el mayor o menor grado de participación internacional en el total de la producción

4. Indicadores basados en asociaciones temáticas: mediante un complejo tratamiento matemático se logra una reducción de los datos y una visualización de la estructura de la ciencia y la tecnología y su evolución a través de mapas. Estos pueden ser:

- de referencias bibliográficas comunes (enlace bibliográfico) permite seleccionar artículos de temática coherente.

- de citas comunes relacionan temas con una base intelectual común, la constituida por esos artículos fuente que forman el "frente de investigación". Los clusters pueden identificar especialidades, aunque con una demora temporal.

- de palabras comunes a través de los términos de indización o lenguaje libre, reflejan la red de relaciones conceptuales; los mapas muestran las interrelaciones de la investigación actual y se pueden aplicar a artículos o patentes.

- de clasificaciones comunes, la co-ocurrencia de clasificaciones de artículos o patentes define interrrelaciones similares a las de las palabras clave.

5. Indicadores de innovación tecnológica basados en recuentos de las patentes solicitadas o concedidas a través de bases de datos especializadas o de las citas en patentes a la literatura científica. Los tipos de análisis que emplean indicadores basados en patentes se pueden estructurar en:

- Cuantificaci6n de la actividad tecnológica internacional, de un país, sector industrial o empresa y la apertura de nuevos mercados

- Evaluación de resultados de los programas de investigación tecnológica,

- Estudio de la interfaz entre ciencia y tecnología a través de las citas en primera pagina de patentes americanas o European Search Report de EPO

- Análisis de cluster mediante co-ocurrencia de citas, palabras o clasificaciones a través de mapas que descubren estructuras de las actividades tecnológicas.

Cada día surgen nuevos indicadores debido al desarrollo de las técnicas de análisis y visualización de la información, provocando una revolución en el campo de la Bibliotecología y la Ciencia de la Información y facilitando la cuantificación de áreas como las Ciencias Sociales, enfocados a medir no solo la cantidad sino la calidad de los resultados de la actividad científica.

Evaluación de la Ciencia y la Tecnología en Cuba

El impacto social de la ciencia y la tecnología en Cuba, constituye un tema de particular interés, pues es un aspecto poco tratado en la literatura especializada y en el que los organismos internacionales, con excepción de la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), poco han incursionado. De hecho, entre los campos de aplicación de la investigación científica, sólo una minoría responde a cuestiones sociales. En el caso de la Organización para la Cooperación y el Desarrollo Económico (OCDE), únicamente se incluyen en esta área los objetivos “Desarrollo social y servicios sociales” y “Salud”, de entre los once propuestos. En adición, el nivel de agregación de éstos es demasiado alto, por lo que se hace imposible diferenciar con detalle en qué medida se pretende responder a necesidades sociales concretas (FERNÁNDEZ POLCUCH, 2001).

En Cuba el Sistema de Ciencia e Innovación Tecnológica (SCIT) es la forma organizativa que permite la implantación participativa de la política científica y tecnológica que el estado cubano y su sistema de instituciones establecen para un período determinado, de conformidad con la estrategia de desarrollo económico y social del país y de la estrategia de ciencia y tecnología que es parte consustancial de la anterior. El sistema cubre un espacio muy amplio que va desde la asimilación, generación y acumulación de conocimientos hasta la producción de bienes y servicios y su comercialización, pasando, entre otras, por actividades tales como las investigaciones básicas, investigaciones aplicadas, los trabajos de desarrollo tecnológico, desarrollo social y de gestión, las actividades de interfase, etc.

Este SCIT tiene la misión fundamental de potenciar el papel de la ciencia y la tecnología en función del desarrollo económico y la elevación de la calidad de vida de la población, está integrado por los órganos gubernamentales que ejercen su dirección, planificación y organización (unos 30 ministerios u organismos centrales del estado), las entidades que ejecutan actividades científicas, tecnológicas y de innovación (154 entidades de ciencia e innovación tecnológica, 65 universidades y más de 4 000 empresas productoras de bienes y servicios) y las organizaciones que actúan en la cooperación, integración e interfase entre las diversas instituciones que participan del ciclo científico-productivo.

Las actividades científicas y tecnológicas que forman parte del SCIT, se concentran fundamentalmente en las áreas agrícola y pecuaria; biotecnología y desarrollo de fármacos y vacunas; medicina; actividad industrial (azucarera y no azucarera); biodiversidad y medio ambiente, y la problemática nacional de carácter económico y sociocultural. Todas estas actividades, son lideradas por el Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA), organismo encargado de dirigir, ejecutar y controlar la política del estado y del gobierno en materia de ciencia, tecnología, medio ambiente y uso de la energía nuclear; así como de influir, viabilizar, conectar y actuar como interlocutor con distintos sectores para en el impulso a la actividad innovadora, no sólo ofrecer resultados, sino conocer necesidades y estimular demandas. (SÁENZ, 1997) en este sentido la planificación de la ciencia y la innovación tecnológica se realiza a partir de un Sistema de Programas y Proyectos, que incluye la conformación de Programas Nacionales, Ramales y Territoriales. Paralelamente, se conciben proyectos mayoritariamente institucionales, que no están asociados a ninguno de los programas mencionados. En promedio, en el país se ejecutan anualmente más de 3.000 proyectos y alrededor de 300 programas en los niveles señalados. El financiamiento público a este sector se otorga por medio de la aprobación del Plan Nacional de Ciencia e Innovación Tecnológica, por medio de la Asamblea Nacional del Poder Popular, como parte del Presupuesto del País, y se refleja como Ley de la Nación.

Sistema de indicadores para evaluar el desempeño de las entidades de ciencia e innovación tecnológica del CITMA

Este sistema tiene como objetivo fundamental, evaluar la eficiencia, eficacia y excelencia en el desempeño de las entidades del CITMA, que desarrollan actividades de ciencia e innovación tecnológica. Además, le permitirán a la entidad realizar autoevaluaciones comparativas con otras etapas anteriores de su propio desarrollo. Está conformado por una serie de indicadores entre ellos:

1. Indicadores de Ciencia y Tecnología.

1.1 Cantidad de proyectos de investigación en los que participa la institución.

1.2 Cantidad universitarios, técnicos medios y personal/apoyo que participan.

1.3 Cantidad de másters que participan.

1.4 Investigadores / proyecto (agregado).

1.5 Ejecución de cada proyecto. Plan y Real

1.6 Resultados / Investigador.

1.7 Resultados introducidos / Resultados totales

1.8 Proyectos de innovación / Total de proyectos.

1.9 Cantidad de nuevos o mejorados / proyecto:

o Productos, resultado de la actividad científica

o Servicios científicos y tecnológicos de alto valor agregado

o Procesos y tecnologías

1.10 Publicaciones científicas realizadas

1.11 Publicaciones / Investigador

1.12 % de investigadores con publicación

1.13 Publicaciones de impacto / Investigador

1.14 Publicaciones de impacto / Total de publicaciones

1.15 Premios y reconocimientos recibidos de carácter Nac. e Internac.

o Premio Exposición BTJ

o Sello Forjadores del Futuro

o Premio OCPI

o Premio relevante del Fórum de Ciencia y Técnica

o Premios instituidos por OACEs y otras instituciones

1.16 Ponencias en eventos nacionales e internacionales

1.17 % aplicación de normas ISO y otras.

2.0 Propiedad Intelectual.

2.1 . Modelos y Dibujos Industriales

 Solicitudes. Nacionales y Extranjeras

 Concesiones. Nacionales y Extranjeras

2.2 Marcas y Otros signos distintivos

 Solicitudes. Nacionales y Extranjeras

 Concesiones. Nacionales y Extranjeras

2.3 Registros de derecho de autor en CENDA

3.0 Indicadores de Economía.

3.1 Ejecución del fondo de salario. Plan y Real

• Ahorro de Combustible. Plan y Real

3.2 Consumo de Materiales. Plan y Real

3.3 Consumo de Electricidad. Plan y Real

3.5 Ejecución Financiera de los Proyectos. Plan y Real

4.0 Indicadores de colaboración Internacional.

4.1 Proyectos internacionales en ejecución e implementándose / Total de Proyectos.

4.2 Acuerdos de colaboración firmados con instituciones extranjeras

4.3 Proyectos de colaboración que apoyan el plan de ciencia e innovación tecnológica / Total de Proyectos.

5.0 Indicadores de Recursos Humanos.

5.1 Precisar si existe un plan institucional de superación del potencial científico

5.2 % de trabajadores en capacitación / Categoría ocupacional

5.3 Investigadores / total de profesionales

5.4 Investigadores (Titulares + Auxiliares) / total de investigadores

5.5 Investigadores (Titulares + Auxiliares) Doctores / total de Doctores

5.6 Trabajadores que entraron (+) y salieron (-) en el período evaluado / Categoría ocupacional Altas. Bajas

5.7 Alumnos de pregrado vinculados a la ECIT

5.8 Profesionales que obtienen el Grado Científico en la etapa evaluada

5.9 Profesionales que concluyen Maestrías en la etapa evaluada

5.10 Salarial medio sin estimulación /Salario medio con estimulación X 100

5.11 Índice de ausentismo

5.12 % de cumplimiento de las medidas de reducción de riesgos

6.0 Indicadores de Información

6.1 Acceso a bases de datos internacionales

6.2 Paquetes informativos en función de las prioridades

6.3 % de las actividades y procesos objeto de Informatización

6.4 Gastos en información/ Gastos en actividades científicas y tecnológicas.

En la actualidad se trabaja en un proyecto para el perfeccionamiento del sistema de indicadores de ciencia y tecnología, con el objetivo de ir incorporando de forma paulatina nuevas temáticas de la taxonomía internacional actual de los indicadores de ciencia y tecnología, que permita ampliar las bases de comparabilidad del sistema cubano de ciencia e innovación tecnológica con el resto del mundo.

Sistema de Indicadores para evaluar el resultado científico en los centros del Ministerio de Educación Superior (MES).

El sector universitario, productor y diseminador principal del conocimiento dentro de una sociedad, juega un papel protagónico dentro de la actividad científica de cualquier nación, aspecto que se pone de manifiesto en la mayor parte de los países de América Latina (MIGUEL et al., 2006). Por tanto, la construcción de indicadores bibliométricos y cienciométricos con fines evaluativos, que puedan hacer frente al reto de impulsar la producción científica de las instituciones adscritas al MES, así como de todas las instituciones del SCIT, es una tarea ardua y difícil que requiere de atenciones, y fundamentalmente de acciones, por parte de los organismos rectores de la política científica del país. (ARENCIBIA JORGE y MOYA ANEGÓN, 2008)

El modelo cubano de universidad científica y tecnológica, en el siglo XXI, paralelamente al proceso de universalización que ha revolucionado su estructura docente-educativa, está orientado a la investigación para la solución de problemas con pertinencia, impacto y consecuencia tecnológica en función de los intereses del desarrollo socioeconómico del país, utilizando como estrategias clave la flexibilidad organizativa, la cooperación nacional e internacional, y la búsqueda de recursos materiales y financieros por las más diversas vías (MARTÍN SABINA et al., 2003). Por tanto, constituyen pilares para la consecución de esos objetivos la proyección científica de sus instituciones, la generación de registros y patentes de nuevos productos y tecnologías, y la producción científica en revistas nacionales e internacionales, específicamente aquellas de mayor visibilidad internacional que forman parte de la llamada .corriente principal de la Ciencia. (ARENCIBIA JORGE y MOYA ANEGÖN, 2008)

En este sentido, el Ministerio de Educación Superior de Cuba (MES) para cada uno de sus centros utiliza el siguiente sistema de de indicadores:

1. Indicadores de impacto económico social

1.1 Premios nacionales y provinciales de innovación tecnológica (otorgados por el CITMA).

1.2 Premios provinciales del Forum de ciencia y técnica.

1.3 Sedes universitarias municipales destacadas en el Forum de ciencia y técnica.

1.4 Premios internacionales.

2. Indicadores de impacto científico tecnológico

2.1 Participación en premios de la Academia de Ciencias de Cuba.

2.2 Participación en premios CITMA provinciales.

2.3 Total de publicaciones por profesor equivalente en Cuba y el extranjero.

2.4 De las anteriores, las publicadas en bases de datos internacionales.

2.5 De las anteriores, las que se incluyen en la corriente principal.

2.6 Publicaciones de libros y monografías.

2.7 Patentes de invención obtenidas.

3. Indicadores de pertinencia

3.1 Porcentaje de proyectos vinculados a proyectos nacionales, ramales, territoriales, empresariales y universitarios de ciencia y tecnología.

3.2 Proyectos en planes de generalización ramales y provinciales.

3.3 Estado de ejecución de los proyectos.

3.4 Financiamiento de los proyectos de investigación en peso cubano convertible (CUC).

A pesar de su abarcador alcance, la implementación y evaluación sistemática de estos indicadores de impacto científico tecnológico aún no logra convertirse en herramienta estratégica para impulsar la producción científica con la misma dinámica para todas las instituciones del Ministerio, por lo que se hace necesario la revisión crítica de algunos de ellos y su reajuste, en aras de crear un instrumento evaluativo que permita impulsar realmente la producción científica de los centros adscritos al MES. (ARENCIBIA JORGE y MOYA ANEGÖN, 2008). Es insuficiente en el marco de las universidades la evaluación de la producción científica de los investigadores y de su actividad, lo que influye significativamente en el impacto y visibilidad de los resultados científicos y tecnológicos alcanzados por el MES, cuando se comparan con los alcanzados por el sector universitario en los países industrializados y en numerosos países de la región que han desarrollado políticas de evaluación de manera sostenida. (KRAUSKOPF, 1995; ORTIZ RIVERA, 2000)

CONSIDERACIONES FINALES

Bajo las circunstancias actuales y el rápido y complejo desarrollo de las investigaciones, el proceso de evaluación de la investigación científica se enfrenta a diferentes retos, entre ellos: Desarrollar indicadores que incorporen elementos cualitativos sobre el comportamiento, el aprendizaje, la adaptación, las vinculaciones informales y el desarrollo de capacidades de innovación en general. Lograr un acuerdo unánime sobre los aspectos que determinan la calidad y el impacto social de los resultados científicos, no obstante la creciente interdisciplinariedad de la actividad investigadora.

A pesar de que la medición del impacto social de la ciencia y la tecnología forma parte de las políticas de ciencia y tecnología en la mayoría de los países latinoamericanos, aun esto representa un desafío, pues no se han estandarizado los indicadores para su medición.

Se requiere utilizar las técnicas de evaluación de la investigación como elemento para el asesoramiento de la toma de decisiones, en la dirección y gestión del sistema de investigación.

España es uno de los países que más ha trabajado en la estandarización de la medición de los resultados científicos a través de la Fundación Española para la Ciencia y la Tecnología y la Agencia Nacional de Evaluación y Prospectiva.

En Cuba no hay un tratamiento uniforme en lo referido a los indicadores a medir el resultado de la ciencia y la Innovación tecnológica dentro de los diferentes Ministerios y Organismos del estado y aún queda mucho por hacer en la actividad de ciencia, tecnología e innovación fundamentalmente en el sector empresarial.

REFERENCIAS BIBLIOGRÁFICAS

Arencibia JR, Moya Anegón F de. Visibilidad internacional de la Educación Superior cubana en el período 2004/06: Análisis relacional de indicadores de producción, impacto y colaboración científica en revistas de corriente principal. Ciudad de La Habana: Editorial Universitaria, 2008. 158 p.

Arencibia JR, Moya Anegón F. La evaluación de la investigación científica: una aproximación teórica desde la Cienciometría. [Artículo en línea]. Acimed 2008; 17(4) <MailScanner has detected a possible fraud attempt from "www.sld.cu" claiming to be http://www.sld.cu>. [Consulta: 12 ago 2008].

Bailon Moreno R, Jurado Alameda E. Analysis of the field of physical chemistry of surfactants with the Unified Scienctometric Model. Fit of relational and activity indicators. Scientometrics 2005; 63(2): 259-276.

Cabrales A. Criterios de evaluación de la I+D en Ciencias Sociales. ANEP: FECYT, 2007. 15 p.

Fernandez Polcuch E. “La medición del impacto social de la ciencia y la tecnología”, En: Albornoz M. Temas actuales de indicadores de ciencia y tecnología en América Latina y el Caribe. [en línea]. Buenos Aires: Ricyt < http://www.science. MailScanner has detected a possible fraud attempt from "www.science.oas.org" claiming to be oas.org/ricyt/Biblioteca/Documentos/polcuch.rtf [Consulta: 11 jul 2008]

Guzmán Sánchez MV, Sotolongo Aguilar G. Mapas tecnológicos para la estrategia empresarial. Situación tecnológica de la neisseria meningitidis. Acimed 2002; 10(4): < http://bvs.sld.cu/revista/aci/vol10¬_4_02/aci010402.htm.>[Consulta: 12 ago 2008]

Jaso Sánchez MA. Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad latinoamericana. Gaceta 2007; 2(28)Lfaltan las pag)

Krauskopf M, Vera MI, Krauskopf V, Welljamsdorof A. A Citationist Perspective on Science in Latin-America and the Caribbean, 1981 - 1993. Scientometrics 1995; 34(1): 3-25.

Macías Chapula C. Papel de de informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed 2001; 9(Suppl ): 35-41

Martín Sabina E, Balmaseda Neyra O. Estructura y funcionamiento de la educación superior. En: Martín Sabina E. Informe nacional sobre educación superior en Cuba. Caracas: IESALC/UNESCO, 2003. p: 15-38.

Martinez E, Albornoz M. Indicadores de Ciencia y Tecnología: Estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO, 1998.

Miiguel S, Moya Anegón FD. Aproximación metodológica para la identificación del perfil y patrones de colaboración de dominios científicos universitarios. Rev Esp Docum Científ 2006; 29(1): 36-55.

Ortiz Rivera LA, Sanz Casado E, Suarez Balseiro CA. Scientific production in Puerto Rico in science and technology during the period 1990 to 1998. Scientometrics 2000; 49(3): 403-18.

Rondón León L. Indicadores del impacto de la ciencia y la tecnología (CT) en la sociedad: Reflexiones y avances. Espacios 2004; 25(2)

RICYT. El estado de la ciencia 2006 [en línea] http://www.ricyt.edu.ar/interior/interior.asp?Nivel1=6&Nivel2=5&IdDifusion=20 [Consultado: 7 nov 2008].

Russell J. Obtención de indicadores bibliométricos a partir de la utilización de las herramientas tradicionales de información. En: VIII Congreso internacional de la Información INFO´2004. Ciudad de La Habana, 12 al 16 de abril, 2004.

Sáenz T W. Reflexiones sobre la ciencia y la innovación tecnológica en cuba. [en línea]. Interciencia 1997; 22(4): 173-183 <http://www.interciencia.org.ve> [Consulta: 12 ago 2008].

Sancho Lozano R. Indicadores de los Sistemas de Ciencia, Tecnología e Innovación. Economía Industrial No 343, 2002.

Sanz Menéndez L. Evaluación de la investigación y sistema de ciencia [en línea] Consejo Superior de Investigaciones Científicas (CSIC) <www.iesam.csic.es/doctrab2/dt-0407.pdf> [Consulta: 7 nov 2008]

Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: UNESCO, 1996.

Spinak E. Indicadores cienciométricos. Acimed 2001; 9(Suppl): 42-49.

Vinkler PA. Quasi-quantitative citation model. Scientometrics. 1987; 12(1-2): 47-72.