14/01/11

Es necesario ‘revaluar’ la evaluación de la ciencia

El número de publicaciones es una manera de evaluar la ciencia Crédito de la imagen: SciDev.Net

Enviar a un amigo

Los detalles proporcionados en esta página no serán usados para enviar correo electrónico no solicitado y no se venderán a terceros. Ver política de privacidad.

Tradicionalmente la ciencia se evalúa de acuerdo con la producción científica de los investigadores, es decir, el número de artículos publicados en revistas científicas o las patentes registradas, por ejemplo. 

Pero el valor real podría estar en cómo dichos productos o resultados benefician a la sociedad o al ambiente. La velocidad con que el nuevo conocimiento llega a los ciudadanos también importa. 

Evaluar el impacto de la ciencia puede sonar simple, pero no lo es. La experiencia en América Latina demuestra que incluso los científicos no están de acuerdo en la manera como se evalúa, y que los países miden su producción científica de diferentes maneras. 

¿Qué debe medirse? 

Colombia evalúa a su comunidad científica de acuerdo con la información del nuevo conocimiento producido por los grupos de investigación anualmente, lo que se manifiesta en el número de publicaciones, los libros o capítulos de libros escritos, o el software registrados. Esto se hace a través de una aplicación informática desarrollada en Brasil. 

En general, los científicos de ambos países están de acuerdo en que esta evaluación provee información útil para caracterizar las tendencias nacionales, pero también coinciden en que el sistema de evaluación es débil. Cada comunidad científica tiene sus propias ideas de cómo mejorar el sistema. 

Los investigadores de Brasil sugieren (ver Científicos de Brasil objetan criterios de evaluación) que la publicación en revistas nacionales y la presentación de trabajos en conferencias debería dar más puntaje del que se asigna hoy en día. 

Los científicos colombianos (ver Colombia: controversia por medición de grupos de ciencia) no están de acuerdo con dar el mismo puntaje a un artículo publicado en una revista nacional que a uno en una publicación internacional de renombre, como Science o Nature

Algunos investigadores mexicanos también objetan la manera como su Sistema Nacional de Investigadores, SNI, mide la producción de los individuos. Dicen por ejemplo, que las patentes deben ser medidas no solamente por el número que se registra, sino por la manera como impactan para mejorar la economía nacional. Eso, argumentan, haría que los científicos mexicanos se preocuparan más por proteger los derechos del conocimiento que producen. 

Ahora se suma la innovación 

El criterio utilizado para evaluar la ciencia se vuelve aun más problemático a medida que las políticas de América Latina dejan de ver a la ciencia y la tecnología como fines en sí mismos, y añaden un nuevo ingrediente a su fórmula, viéndolas como la forma de lograr la innovación, tan necesaria para una sociedad y una economía basadas en el conocimiento. 

La innovación no puede medirse simplemente por el número de artículos en las publicaciones científicas. Tampoco el número de patentes registradas puede ser el indicador de la innovación. Y aun si así lo fuera, ¿tendría una patente el mismo puntaje que la publicación de un artículo? Incluso, ¿serían comparables? 

Tomemos otro ejemplo: si un grupo de investigación que está buscando soluciones a un problema de la industria firma un contrato de un millón de dólares con ella, ¿se consideraría un indicador de éxito? Y si ese mismo grupo genera una idea que incentive la creación de un spin-off rentable, ¿cómo debe medirse este impacto? 

A medida que transcurre éste, que algunos han llamado el siglo de la innovación, los sistemas de evaluación tienen que actualizarse y responder a criterios que reflejen los objetivos de la ciencia, la tecnología y la innovación: generar productos para las economías y los mercados nacionales, crear soluciones prácticas a los retos sociales y agregar valor al conocimiento existente. 

Deben además proveer incentivos a los propios científicos nacionales para que desarrollen la innovación. En la mayoría de los países en desarrollo quienes solicitan patentes son más las compañías internacionales que los propios investigadores o innovadores nacionales. 

Repensar la evaluación 

Los sistemas de evaluación de ciencia y tecnología, y ahora de innovación, están constantemente siendo evaluados ellos mismos en América Latina. 

Una crítica frecuente es que los criterios diseñados para evaluar han sido definidos principalmente por académicos, que no están en las ligas del sector productivo y poco peso le dan al valor del trabajo que producen los grupos que no se dedican a la investigación básica. 

Los criterios de evaluación deben ser lo suficientemente flexibles como para diferenciar entre una y otra disciplina, como sucede en México. 

¿Y qué decir de aquellas publicaciones dirigidas al ciudadano —y no a la comunidad científica—, a aquellos que participaron en una investigación como pacientes o respondieron a una encuesta, o a los miembros de comunidades afectadas por la contaminación de un río? En general, aquellos ‘productos sociales’ no tienen un puntaje alto, y los científicos no se empeñan en producirlos. 

Pero el impacto de una adecuada estrategia de comunicación puede ser mucho mayor que una publicación en una revista científica. 

Hace un par de años un epidemiólogo me comentó que a los investigadores se les debería medir por el impacto social que causan sus investigaciones, en muchas ocasiones salvando vidas, y no por sus publicaciones internacionales. 

Este punto de vista encaja perfectamente cuando se refiere a investigaciones en salud pública. Pero no sería adecuado para otras disciplinas. Es tiempo entonces de pensar en diferentes tipos de evaluación para diferentes tipos de investigación. Me atrevería a decir, además, que los criterios deberían organizarse por los resultados que persigue —y logra— la investigación, y no por los diferentes campos científicos. 

Un buen comienzo sería conformar un grupo consultor interdisciplinario, actualizado, que estimule un debate innovador y amplio. 

Lisbeth Fog es consultora regional de SciDev.Net, con base en Colombia.