24/10/15

Evaluación de la ciencia necesita nuevas mediciones

libreria con libros nerdilandia
Crédito de la imagen: Nerdilandia.com

De un vistazo

  • Índices bibliométricos se vuelven fundamentales para evaluación científica y medición del impacto
  • Pero poner peso de la evaluación en cuantificación de publicaciones y citaciones no es suficiente
  • Urge idear nuevas medidas de evaluación y concebir fines no bibliográficos para actividad científica

Enviar a un amigo

Los detalles proporcionados en esta página no serán usados para enviar correo electrónico no solicitado y no se venderán a terceros. Ver política de privacidad.

A pesar de que no siempre la ciencia ofrece soluciones inmediatas para problemas relevantes de las sociedades humanas, actualmente, incluso en los países en desarrollo, crece la comprensión de su importancia en el mundo contemporáneo.
 
Las razones para ello son variadas: mientras que los más pragmáticos ven en la ciencia posibilidades de generar riqueza, hay también quienes la ven como una estrategia fundamental para enfrentar los grandes problemas de la humanidad y sentar las bases para su sostenibilidad.
 
Pero a menudo el trabajo diario del investigador —incluyendo cómo se selecciona y evalúa posteriormente su trabajo—  está más relacionado con las actividades de investigación y docencia, o a los esfuerzos para, junto a las agencias de cooperación, obtener recursos para sus proyectos de investigación, y tiene poco que ver con estos grandes dilemas.
 
Los investigadores muchas veces viven en una misma universidad o centro de investigación y tienen aspiraciones comunes, siendo la principal producir conocimientos (y eventualmente tecnologías) innovadoras y útiles. Pero con inmensas diferencias en cuanto al contenido del trabajo —sea en la forma o conocimiento que se produce en cada campo científico— y en las expectativas, posibilidades y formas en las que se utilizará dicho conocimiento.
 
La ciencia está hecha por individuos capacitados que trabajan en instituciones diversas: universidades, centros de investigación, industrias, etc. y que por la afinidad de sus áreas y temas de investigación (también diversos) se reúnen en comunidades. Estas comunidades tienen similitudes y también diferencias importantes en sus aspiraciones, lo que hacen o producen.
 
Una de las semejanzas más marcadas es que la transmisión de los estudios o investigaciones se realiza mediante informes escritos que incluyen una síntesis del trabajo realizado, los métodos usados, los resultados y sus  implicancias. Estas publicaciones se presentan como informes, libros o capítulos de libros y muy frecuentemente en artículos publicados en revistas científicas que antes se publicaban en papel, pero que están migrando rápidamente a la forma digital. Para facilitar su organización y localización, estos artículos se han indexado en sistemas bibliográficos (recientemente se han añadido motores de búsqueda como Google Académico).

“La cuestión central radica en cambiar la lógica de lo que queremos, lo que se hace y lo que podemos hacer con la ciencia que producimos”.

Mauricio L. Barreto

 
Como otra característica de los informes científicos es citar otros artículos para construir relaciones con los conocimientos precedentes, posteriormente apareció la posibilidad de registrar no solamente los artículos originales sino también aquellos artículos que fueron citados. Con excepción de los sistemas de registros de patentes —restringidos a áreas aplicadas de la ciencia que generan productos plausibles de ser patentados, y que eventualmente son utilizados en la evaluación científica— no existe nada más, aparte de los registros bibliográficos, para el registro sistemático de los posibles efectos de las actividades de las diferentes áreas de la ciencia.
En las últimas décadas, financiadores y gestores científicos, en búsqueda constante de mecanismos de evaluación de los resultados de la inversión en la investigación científica, o del desempeño individual o en equipos de los investigadores, se han volcado ávidamente, y no siempre de manera bien pensada, a estos sistemas.
 
Tal vez debido a que se extienden por todos los campos científicos (todos publican y citan) y por existir las bases bibliográficas que proporcionan los datos primarios para los índices propuestos, los programas de evaluación científica toman esta métrica como su principal referencia. Los índices pasan a ser derivados, como soporte de una nueva disciplina: la cienciometría.
 
Los diferentes índices bibliométricos se vuelven fundamentales para la evaluación científica y constituyen la medida “objetiva” del impacto científico de un individuo, institución o revista. Una cita se convierte en equivalente de calidad, dejando de lado los diversos factores que interfieren en esta relación cita-calidad, como por ejemplo si es un artículo de revisión, de varios autores, el idioma, la ubicación geográfica, el alcance disciplinario y el género de los autores (la evidencia demuestra que las autoras mujeres son menos citadas), entre otros.
 
El uso intensivo de estos índices estimula su desarrollo, pero también pone en evidencia sus limitaciones y deficiencias. Por ejemplo, los patrones de publicaciones y de citaciones varían entre las diversas áreas de la ciencia, haciendo necesaria una gran cautela en la interpretación de los resultados de las comparaciones hechas entre los investigadores, revistas o instituciones de campos científicos diferentes.
 
El control de estas fuentes bibliográficas por empresas privadas, no siempre con mecanismos transparentes de control, también es una preocupación de muchos que investigan el tema, quienes enfatizan en las posibilidades de manipulación de estos índices.
 
En estos tiempos de crecimiento de las expectativas de la sociedad para con la ciencia, se hace más clara la percepción de la actividad científica como un proyecto de conocimiento y transformación del mundo en el que vivimos. En este nuevo contexto, se comprueba también que usar esta forma de evaluación limitada al modus operandi  —escribir y citar—  y las mediciones de ella derivadas, dejan fuera los potenciales y variados efectos no bibliográficos de la ciencia, es decir sus efectos sobre el mundo real. No hay duda de que las publicaciones son una etapa importante del trabajo de cualquier investigador o de cualquier programa científico, pero no deben ser su fin.
 
No es casual que, especialmente en muchos círculos académicos, la discusión de la evaluación científica esté centrada en los indicadores bibliométricos relacionados con los números de artículos y citaciones y mucho menos en la importancia y los efectos potenciales de la actividad científica. A consecuencia de la centralidad excesiva en las mediciones de las publicaciones y citaciones, entre los investigadores ha surgido una discusión interesante e intensa sobre el productivismo (con sus pro y contras) relacionado con el volumen de las publicaciones.
 
Colocar todo el peso de la evaluación —sea individual o colectiva— en la cuantificación de las publicaciones y citaciones es una estrategia que se está agotando. Añadir los efectos y beneficios que el conocimiento pueda tener, o que de hecho tiene en la vida de las personas y de las sociedades, cambiaría el énfasis de estas evaluaciones. La cuestión central radica en cambiar la lógica de lo que queremos, lo que se hace y lo que podemos hacer con la ciencia que producimos. Creo que es la forma de cambiar la dirección del debate sobre el productivismo y convertirlo en un debate útil sobre los significados del trabajo científico.
 
Cambiar la forma de evaluar la actividad científica sería una valiosa contribución a la búsqueda de sentido y utilidad del conocimiento que producimos. Sin embargo, hay que decir que esta no es una tarea fácil ni rápida, que requiere desarrollar nuevas formas de concebir fines no bibliográficos para la actividad científica y a continuación idear nuevas medidas de evaluación.


Un aspecto importante a tener en cuenta es que los diversos campos de la ciencia son bastante diferentes respecto de sus efectos. Y, en lo que concierne a la evaluación, esto se convierte en un problema: ¿cómo comparar campos científicos que generan efectos tan diferentes?
 
Los esfuerzos para elaborar nuevos modelos de evaluación científica son parte de una empresa más grande que, para muchos, se necesita con urgencia. Sin embargo hasta el momento apenas si se ha propuesto, y requiere desarrollarse y probarse.
 
La misión de la investigación y de los investigadores debe ser ayudar a cambiar el medio (sea social, económico, cultural o ambiental) en el cual vivimos, y la evaluación científica debe constituirse en un instrumento que nos ayude a entender cómo contribuye a esa misión el trabajo científico.
 
Mauricio Barreto es investigador principal de la Fundación Oswaldo Cruz de Bahia, Brasil. Se le puede escribir a [email protected]