Cómo evaluar proyectos de comunicación de la ciencia

La evaluación puede ser una de las partes más temidas de un proyecto de comunicación de la ciencia. El truco, dice Marina Joubert, es analizar el logro de objetivos, pedir retroalimentación y sacar lecciones para futuros proyectos.

Comunicar la ciencia al público comprende diversas estrategias, tales como charlas públicas, debates, exhibiciones, publicaciones, teatro científico, documentales de televisión y proyectos ciudadanos como conferencias de consenso. Con frecuencia estas actividades forman parte de campañas más amplias que buscan comprometer a más personas con la ciencia.

Las audiencias van desde niños pequeños y adolescentes, hasta padres y miembros de la comunidad, líderes políticos y de negocios. La formulación de programas requiere un esfuerzo colectivo entre científicos y comunicadores de la ciencia, así como entre comunicadores de la ciencia de diferentes países, y podría durar muchos años o extenderse a distintos países.

La lógica detrás de la inversión en comunicación de la ciencia a menudo incluye alentar a los jóvenes a considerar las carreras científicas, apoyar el diálogo y la toma de decisiones informadas sobre asuntos de ciencia y sociedad, promover la aceptación pública de nuevas tecnologías, cambiar actitudes o conductas, o simplemente fomentar una ‘cultura’ de la ciencia.

El logro de tales metas sólo puede medirse con amplias encuestas que se repitan regularmente para monitorizar tendencias. Por lo tanto, aunque un proyecto pueda contribuir a ampliar objetivos para la sociedad, su evaluación debe planearse en función de sus propios objetivos específicos y medibles.

La evaluación de proyectos de comunicación de la ciencia no sólo proporciona retroalimentación a quienes han invertido en ellos. También permite:

• Mejorar el proyecto a medida que se desarrolla;
• Documentar qué funciona (y qué no) y;
• Evaluar con cuánta efectividad el proyecto ha logrado sus objetivos.

Planear la evaluación

La evaluación no debe obviarse porque sea costosa o difícil, o porque se pueda ser juzgado en forma negativa. Tampoco se puede dejar para cuando el proyecto haya finalizado. A menos que se haya planificado la evaluación desde el principio, no necesariamente se tendrán disponibles las personas, los instrumentos y los recursos para hacerlo. Podrían perderse oportunidades críticas de reunir información y terminar con evidencia insuficiente sobre el impacto del proyecto.

En una propuesta competitiva, un plan de evaluación creíble inspirará confianza en los inversionistas. Hay que considerar cuidadosamente qué se quiere evaluar y por qué, cómo se implementará la estrategia de evaluación y cómo se usará la información. Hay que averiguar, por ejemplo, si el patrocinador está planeando una evaluación independiente, lo que permitiría optimizar la cooperación entre las evaluaciones interna y externa.

Se debe involucrar a los compañeros de labores en el plan de evaluación, de manera que sientan una pertenencia compartida y, por ende, una responsabilidad. El compromiso que tengan con el proceso de evaluación es esencial para su éxito.

Lo más importante es establecer objetivos claros y medibles y no ser demasiado ambicioso.

Los informes de evaluación de otros comunicadores de la ciencia pueden ayudar a diseñar los propios (ver, por ejemplo, el informe Graphic Science at the University of West England).

Tipos de evaluación

La evaluación puede ser cuantitativa –por ejemplo, monitorizar el número de personas en un evento o el número de visitantes a un sitio web- o puede ser cualitativa, usando entrevistas y cuestionarios. Ambas son importantes para determinar el impacto de un proyecto.

La evaluación debe hacerse antes, durante y después de un proyecto. La evaluación ‘formativa’ se hace al inicio para poner a prueba prototipos, mensajes e ideas ante individuos y grupos de la audiencia a la que se apunta. Los miembros del equipo también pueden probar previamente los instrumentos de evaluación. Una retroalimentación temprana puede evitar que se cometan errores costosos. Se debe usar para ajustar el proyecto antes de que comience.

Una vez se empieza a desarrollar, el monitoreo continuo asegurará que se tenga información amplia y relevante para evaluar su impacto.

La verificación periódica del cumplimiento de los objetivos originales demuestra la necesidad de hacer ajustes. Las evaluaciones a mitad del proyecto, en particular, permiten usar las lecciones aprendidas hasta entonces para mejorar su impacto y el desarrollo del resto del proyecto.

Al final, una evaluación que incluya las anteriores, pero basada en los resultados del proyecto, puede determinar cuán efectivo ha sido éste en el logro de sus objetivos.

Instrumentos de evaluación

En la evaluación se pueden emplear distintos instrumentos, dependiendo de la naturaleza y el contexto del proyecto. En general, los instrumentos de evaluación pueden ayudar a observar la respuesta de las personas hacia un proyecto, obtener retroalimentación o estimar su alcance.

Los instrumentos de observación incluyen el uso de fotografías y video para ver cómo interactúan las personas con la exhibición o cómo responden durante un debate público. Observar la conducta de los visitantes en centros de ciencia y museos puede documentar cómo se relacionan las personas con las exhibiciones.

Si el proyecto se apoya en una página web, es necesario monitorear cómo navegan en ella las personas y cuánto tiempo dedican a secciones específicas, de manera de medir el atractivo de las páginas individuales. Se pueden incorporar opciones de respuesta fáciles de usar para recibir retroalimentación en línea.

En el caso de eventos, el uso de cuestionarios sencillos permitirá obtener retroalimentación, documentar lo que ha funcionado particularmente bien e identificar aquello que debiera ser reconsiderado. No hay que olvidar obtener también retroalimentación de los participantes del proyecto (conferencistas, actores, educadores y otros), cuya experiencia puede ser valiosa.

Se puede emplear un registro de asistencia si se necesita un perfil demográfico de la audiencia. Un libro de visitas es una buena forma de capturar las impresiones y recomendaciones de la audiencia de una muestra, obra de teatro, evento o exhibición. De manera alternativa, se pueden hacer entrevistas en persona durante el evento o encuestas telefónicas o por correo electrónico tan pronto éste haya concluido. Es importante solicitar a los participantes sus datos de contacto para comunicarse con ellos más tarde.

Los grupos focales (pequeños grupos de participantes que son entrevistados en profundidad) pueden proporcionar retroalimentación definida sobre la relevancia del proyecto.

Una autoevaluación, donde líderes y colaboradores del proyecto entreguen su opinión sobre los éxitos y fracasos de éste, puede complementar las evaluaciones externas objetivas.

Estimar el alcance del proyecto es más difícil. Rastrear los cambios en las actitudes del público o en sus opiniones requiere encuestas caras a gran escala, que a menudo son complicadas y se hacen mejor en colaboración con investigadores experimentados del área de las ciencias sociales.

Analizar los recortes de prensa y la cobertura de radio o televisión de un evento o de un programa de comunicación de la ciencia, también puede ayudar a juzgar la amplitud del impacto que haya tenido el proyecto. Hay que asegurarse de ver la cantidad y calidad de la cobertura (posición, tono, etc.) y obtener ayuda de expertos si es necesario.

Evaluación en la práctica

La evaluación debe ser simple, práctica y de uso amigable. Se deben elegir instrumentos fáciles de implementar. Las entrevistas telefónicas, por ejemplo, podrían ser más económicas que las realizadas personalmente. Formularios de encuesta demasiado largos o complejos podrían alejar a la gente. Es aconsejable probar previamente los instrumentos para asegurarse de que proporcionan información relevante y fácil de procesar.

Hay que considerar cuidadosamente el lenguaje y el estilo de los materiales de evaluación y asegurarse de que sean apropiados, especialmente si se está apuntando a ‘nichos’ de audiencia, tales como comunidades rurales en países en desarrollo. Si, por ejemplo, se está trabajando con adolescentes, se pueden usar entrevistadores jóvenes y evitar un abordaje demasiado formal.

La evaluación debiera estar adaptada a los desafíos propios del proyecto. Por ejemplo, es fácil conocer lo que opina el público sobre un evento como un festival de ciencia, pero es difícil demostrar sus efectos a largo plazo. Para evidenciar una tendencia, se necesita haber recolectado información de base, que muestre cómo era la situación antes de que se implementara el proyecto de comunicación de la ciencia. Podría ser difícil reclamar, y mucho más probar, que un solo proyecto contribuyó a un cambio a nivel nacional o internacional.

Un proyecto en medios impresos requiere un enfoque diferente, dado que podría no haber contacto directo con los lectores. En este caso, podría haber incentivos que atraigan a las personas a proporcionar retroalimentación.

Uso de los resultados de la evaluación

Hay que asegurarse de que quienes colaboran con la evaluación sepan cómo se planea usar sus resultados. Esto evitará que las personas sean sorprendidas al verse citadas en un artículo público o en un informe, cuando en realidad tenían la impresión de que se trataba de una entrevista confidencial.

La evaluación se puede posicionar como un instrumento poderoso. Es más probable que las personas colaboren si saben que apunta a aumentar la confianza y mejorar el rendimiento futuro, más que a encontrar fallas e identificar defectos.

Los resultados de la evaluación se pueden aplicar a futuros eventos. Tanto los éxitos como los fracasos pueden enseñar cómo mejorar el impacto y el costo-efectividad de nuevos proyectos.

Compartir los resultados, incluyendo los errores cometidos y las soluciones desarrolladas para superarlos, podría ser una valiosa información para otros. Difundirlos en una revista o en una conferencia permite también compartir las buenas prácticas y aprender de otros.

Finalmente, no hay que olvidar comunicar los resultados de la evaluación a los miembros del equipo, a los socios, colaboradores y patrocinadores.

Más información

1. Gascoigne, T. and Metcalfe, J. Report: the evaluation of national programs of science awareness. Science Communication, 23 66-76 (2001)
2. Metcalfe, J. and Perry, D. The evaluation of science-based organisations’ communication programs. Australian Science Communicators conference, Sydney (2001)