REVISTAS CIENTÍFICAS, DIFUSIÓN Y MÉTRICAS.
ENTREVISTA A RAFAEL REPISO

La revista Arte y Sociedad tiene el placer de entrevistar en esta oportunidad a Rafael Repiso, quien es Doctor en Comunicación por la Universidad de Granada y profesor de la UNIR (Universidad Internacional de la Rioja, España). Además, es Socio Fundador de EC3metrics (compañía especializada en evaluación científica), y uno de los gestores de la base de datos de referencia CIRC (Clasificación Integrada de Revistas Científicas).
* * * * *
Buenos días Rafael. Ante todo muchas gracias por concedernos esta entrevista. Sabemos que con el grupo de investigación EC3 (Evaluación de la Ciencia y de la Comunicación Científica) de la Universidad de Granada has puesto en marcha algunos proyectos sobre indicadores bibliométricos de resonancia internacional. Uno de los más  notorios es sin duda CIRC (Clasificación Integrada de Revistas Científicas). ¿Con qué finalidad se creó este índice?
El objetivo en origen fue simplificar los diferentes criterios para evaluar revistas que desde las agencias de evaluación del gobierno español se estaban utilizando, basados principalmente en la indexación en bases de datos de prestigio. Esta simplificación ayudaría a los gestores y responsables de políticas científicas a tomar decisiones y realizar análisis comparados entre diferentes especialidades con diferentes criterios. Además, es una variable de estudio interesante cuando se analiza la producción de una universidad o una región y agrupamos los resultados por categorías. No obstante, con el tiempo, nos dimos cuenta que habíamos conseguido otro fin también muy interesante; al agrupar todos los criterios en una sola base de datos creábamos el Big Picture de la evaluación de revistas españolas, es decir, las agencias de evaluación apuntan criterios por áreas que definen la calidad de las revistas y nosotros con esos criterios creamos un gran cuadro, por lo que se puede hacer un estudio comparativo de la lógica de estas decisiones evaluativas desde la visión del conjunto.
¿Consideras que reviste una velada trascendencia el hecho de que existan en un determinado país organizaciones como EC3, dedicadas a valorar con clasificaciones y métricas a las plataformas de difusión de la investigación? ¿Los índices estimulan a las publicaciones a competir y tratar de mejorar realmente su calidad?
Los grupos de investigación que se preocupan por la Comunicación Científica son fundamentales, porque ellos permiten resolver problemas locales con soluciones adaptadas, en lugar de utilizar soluciones de otros contextos que no se adecúan. Esto es fundamental en las áreas de Ciencias Sociales, donde los contextos socioculturales determinan los problemas y las soluciones; así en Educación, Política o Comunicación no se pueden extrapolar los problemas y mucho menos las soluciones. Viendo los actuales problemas que hay en Colombia con la evaluación de revistas de Publindex me ha dado por reflexionar. Hace años tuvimos en España los mismos problemas, la misma naturaleza. Nos integramos en un sistema de evaluación de la ciencia basado en revistas y en un producto Web of Science que se estaba utilizando en otros países de Europa, modelo al que nos integrábamos, pero había un problema fundamental: ni las revistas españolas del Ciencias Sociales estaban en esta base de datos ni la mayor parte de artículos del área se publicaba en WOS. Y los responsables querían evaluar la ciencia social española basándose en un producto en el que sólo unos pocos, los más internacionales, estaban representados. Por esos días mi grupo creo un producto similar a los informes de citas de Web of Science (JCR), llamado IN-RECS, que medía el impacto de las revistas españolas para el área de Ciencias Sociales, Humanidades e In-RECJ, para Ciencias Jurídicas. Paralelamente se crearon otros productos como DICE o ERIH que estudiaban la calidad formal de las revistas (algo así como Latindex). Estos productos, junto al uso de Web of Science y Scopus no sólo permitieron evaluar mucho mejor el sistema, pues aportaban una mayor cantidad de datos sobre el mismo, sino que además permitieron la mejorar y profesionalizar las revistas españolas de tal forma que muchas entraron en Web of Science. En la actualidad estos productos ya no se usan (ni se actualizan), pero en una primera fase fueron fundamentales.
Otro proyecto de gran interés del grupo EC3 es el documento anual "Índice H de las revistas científicas españolas según Google Scholar Metrics". ¿Piensas que Google Scholar Metrics continúa siendo una herramienta confiable para realizar informes bibliométricos?
El equipo de Emilio Delgado (EC3) no sólo lo piensa, sino que lo demuestra científicamente. Están haciendo una labor de testeo y análisis de la herramienta muy importante. Partimos de la base de que son completamente objetivos, no tienen ninguna relación e interés en el producto e incluso no sólo estudian y anuncian sus posibilidades, sino que también alertan sobre sus limitaciones y riesgos. Además, están creando herramientas que reflejan las múltiples aplicaciones en el campo de la evaluación científica que pueden tener los datos de Google.
Pero hay algo fundamental al trabajar con Google y es que los datos no pueden ser estudiados tal como el sistema los ofrece, sino que requiere de un tratamiento algo más sofisticado al objeto de depurar los datos que no están del todo normalizados, especialmente fuera de las revistas anglosajonas.
La velocidad de la información que caracteriza a la sociedad actual se evidencia en la fase de explosión que experimentan las publicaciones electrónicas. ¿El hecho de que en la actualidad cualquier persona pueda producir una e-revista científica sin tener que invertir mucho tiempo ni capital para difundirla, e incluso obtener indexaciones, es una ventaja o un obstáculo para la credibilidad de la investigación en revistas indexadas?
Las e-revistas se han sofisticado tanto que ahora requieren unas inversiones moderadas, no es tan fácil hacer una revista (al menos decente) como hace unos años en los que una web era lo único que se necesitaba. Ahora se requiere especialmente la colaboración de personal cualificado en procesos de edición científica y por supuesto una base académica sólida. Las revistas científicas no son simples web, son una extensión de la universidad y los institutos de investigación donde lo fundamental no son los muebles y elementos tangibles, sino los intangibles, es decir la calidad de los recursos informativos y de los recursos humanos. La función del equipo editorial no es la maquetación o difusión de trabajos, sino la gestión de recursos humanos y la evaluación científica.
Pero claro, bajo este nuevo enfoque están surgiendo muchas revistas mediocres de cualquiera que sin ningún conocimiento o por la simple cuestión de verse incapaz de publicar en otros medios están creando sus propias revistas. De hecho, esta reducción de costes ha hecho que haya revistas fraudulentas que engañan a los autores para cobrarles dinero, en CIRC hemos identificado hasta 17.000.
Desde finales de 2015 , la empresa de información Thomson Reuters, a través de su plataforma Web of Science, lanzó una base de datos llamada ESCI (Emerging Sources Citation Index) donde se han incluido hasta ahora cerca de 5000 revistas de todo el mundo, en especial latinoamericanas. ¿Estar presentes en ESCI es estar en Web of Science? ¿Qué piensas que sucederá con esta colección? ¿Empezarán a depurarse contenidos o las revistas seleccionadas se mantendrán en la base indefinidamente?
Estar presente en ESCI o en SciELO Citation Index es estar en Web of Science, pero me temo que esto significa que ser Web of Science ya no puede considerarse un criterio de calidad, pues se ha demostrado que en ESCI hay revistas muy buenas y muy malas. De hecho, para eso están, para ser evaluadas… Parece que el grupo elitista de WOS revistas se reduce a las bases de datos Science Citation Index, Social Science Citation Index y Arts & Humanities Citation Index.
Esta colección surge con la idea de competir con Scopus. La presencia en Scopus no tiene que ver con motivos de impacto, sino que hay motivos comerciales y de representación de áreas geográficas (que en el fondo son comerciales), que permiten la indexación de revistas con impacto muy bajo. Es por ello que se mantendrá y me imagino que en un futuro próximo comenzarán a hacerse métricas y utilizarse sus datos en otros productos de WOS como InCites, e incluso generarán algún informe periférico. Pero no nos perdamos, estas revistas no son de referentes científicos y de hecho las que lo sean dejarán ESCI para integrarse en Science Citation Index, Social Science Citation Index y Arts & Humanities Citation Index. Ha sido la forma de WOS de aumentar su cobertura sin sacrificar el prestigio de sus bases de datos tradicionales.
¿No te parece que la gran generalización que experimentan tanto el uso del software gestor de revistas OJS (Open Journal Systems) como el cumplimiento de los criterios de Latindex tiene como consecuencia que las e-revistas científicas actuales den la sensación de estar igualadas e uniformadas? Resulta ser esto algo especialmente discordante en revistas de arquitectura y arte, donde la imagen es de especial importancia, y en estos formatos curiosamente la imagen pasa a segundo plano.
Bueno, el cumplimiento de la mayoría de criterios Latindex pone la base de lo que debe ser una revista. Son unos criterios mínimos que debería cumplir cualquier revista. Es como la masa y la salsa de tomate en la pizza: a partir de ahí se construye. El OJS uniformiza a las revistas si no se invierte en él, ya que es altamente modificable y personalizable. Una buena forma de detectar el interés de los editores por una revista es consultar los cambios y la inversión que ha hecho la revista en su plataforma web. En la revista Comunicar incluso hemos programado un módulo propio para ayudarnos en la evaluación. Por otra parte, ya ha salido el OJS 3 que supone un cambio radical, visualmente, en la forma de trabajar e incluso en la concepción de las revistas digitales. Desde ahora vamos a comprobar cómo van a pasar años hasta que todas las revistas hagan su adaptación, lógicamente las más proactivas comenzarán a principios de 2017 con el nuevo sistema y las menos no lo cambiarán nunca, pese a los beneficios.
Muchas gracias por tu amabilidad y mucha suerte para los futuros proyectos.

______
Para saber más:
Blog personal de Rafael Repiso: http://rafaelrepiso.com/

Clasificación CIRC: http://www.clasificacioncirc.es