Q&R : Une nouvelle technique pour évaluer la recherche

Un article publié dans la revue Nature, le 5 juillet dernier, propose une nouvelle technique d’évaluation de la recherche pour le développement, qui se démarque complètement des approches habituelles que les auteurs de l’article jugent peu efficaces.
 
Ces auteurs sont Jean Lebel, président du Centre de recherches pour le développement international (CRDI) [1] et Robert McLean, spécialiste principal des programmes dans la même institution.
 
Baptisée QR+ (Qualité de la recherche plus), cette nouvelle méthode d’évaluation de la recherche pour le développement accorde une place centrale aux aspects contextuels, aux connaissances locales ou encore à l’avis des populations dont le quotidien est censé être amélioré par la recherche.
 
Pour mieux comprendre cette nouvelle technique d’évaluation, SciDev.Net s’est entretenu avec Jean Lebel, qui en énumère ici les grandes lignes.
 

Pourquoi avez-vous entrepris cette étude visant la mise au point d'une nouvelle technique d’évaluation de la recherche pour le développement ?

Nous cherchions une méthode de mesure de la qualité de la recherche plus adaptée au type de recherche que nous finançons. Parmi les caractéristiques d’une recherche pour le développement réussie, on retrouve notamment sa capacité de façonner des politiques et d’améliorer la qualité de vie des gens. Il était donc important pour nous de définir, élaborer et d'offrir un nouveau cadre d’évaluation plus large qui inclut des aspects contextuels et qui mesure de quelle façon le projet de recherche s’est positionné pour avoir un impact sur les populations. Mais nous sommes loin d’être les seuls à nous questionner. Les chercheurs débattent des meilleurs moyens d'évaluer la qualité de la recherche depuis longtemps. L’article qui vient de paraître dans la revue scientifique Nature contribuera, je l’espère, à faire progresser la discussion sur la qualité de la recherche et à faire connaître un outil pouvant se révéler utile à ceux qui se voient confier la tâche exigeante d’évaluer la recherche.
 

En quoi consiste alors cette nouvelle approche d’évaluation de la recherche pour le développement que vous proposez ?

Qualité de la Recherche Plus (QR+) est une nouvelle approche souple et globale pour évaluer la qualité et la valeur de la recherche au service du développement. L’outil, élaboré par le Centre de recherches pour le développement international (CRDI), propose une solution dont pourraient bénéficier les bailleurs de fonds et institutions de recherches en développement international, ainsi que la communauté scientifique dans son ensemble.
 

Qu’est-ce qui la démarque fondamentalement des systèmes d’évaluation existants ?

Les méthodes traditionnelles d’évaluation de la science présentent certaines contraintes. Elles priorisent, par exemple, l’évaluation par les pairs ou la bibliométrie, mais n’évaluent pas explicitement l’originalité, l’utilité de la recherche, ou encore le respect des connaissances locales. L’approche QR+ va au-delà de l’évaluation du seul mérite scientifique des extrants de la recherche et inclut d'autres dimensions essentielles pour juger de la valeur et de la qualité de la recherche. Pour le CRDI, ces dimensions comprennent la légitimité, l’importance et le positionnement aux fins d’utilisation, qui sont à notre avis cruciales lorsqu’il s’agit de travaux de recherche visant à amener un changement dans le monde. Ces dimensions additionnelles peuvent varier selon l’institution. L’outil se veut adaptable et rend possible l’analyse de différentes dimensions de la qualité jugées importantes pour l’institution qui en fait l’usage.

“Nous proposons un outil qui vient combler les lacunes des façons de faire traditionnelles.”

Jean Lebel

Concrètement, qu’est-ce que votre méthode ajoute à l’approche traditionnelle et qu’est-ce qu’elle en retire ?

Nous proposons un outil qui vient combler les lacunes des façons de faire traditionnelles. QR+ rejette l’idée reçue selon laquelle la qualité de la recherche dépend exclusivement de l’excellence méthodologique. L’outil tient compte du mérite scientifique comme le font les méthodes traditionnelles, mais ne s’y limite pas, et utilise des dimensions additionnelles de la qualité qui sont importantes pour certains types de recherche. L’approche QR+ incite par exemple à examiner systématiquement le contexte dans lequel s’effectuent les travaux et à prendre en compte ce contexte pour évaluer la qualité de la recherche. QR+ s’attarde en outre sur les efforts déployés en vue d’avoir un impact sur la société en mesurant par exemple l’accessibilité de leurs résultats de recherche.
 

Vous dénoncez la place prépondérante de l’opinion des évaluateurs et des citations dans l’approche habituelle d’évaluation de la recherche. Pourquoi ?

L’opinion des évaluateurs et la quantification des citations, utilisées seules, permettent de mesurer la popularité des travaux scientifiques, mais renseignent peu sur l’originalité ou même l’utilité des travaux et ses répercussions potentielles sur la société. Résultat : certains travaux de recherche sur le développement ne sont pas jugés à leur juste valeur, même s’ils sont de grande qualité et ont des effets positifs sur les populations du Sud. QR+ tient compte de l’opinion des évaluateurs, mais ce jugement doit être fondé sur des preuves et ne doit pas constituer simplement un avis. Les évaluateurs doivent recueillir les points de vue externes, comme celui des utilisateurs visés par la recherche, celui des collectivités bénéficiaires, ainsi que l’opinion d’autres chercheurs dans le domaine.

“L’opinion des évaluateurs et la quantification des citations, utilisées seules, permettent de mesurer la popularité des travaux scientifiques, mais renseignent peu sur l’originalité ou même l’utilité des travaux et ses répercussions potentielles sur la société.”

Jean Lebel

QR+ propose aussi une autre façon de prendre en charge le facteur genre dans la recherche. Comment ?

Le facteur genre est un aspect important de la qualité de la recherche que nous soutenons. Nous l’avons donc intégré à notre outil QR+. L’évaluateur doit spécifiquement examiner dans quelle mesure la recherche prend en compte des questions sensibles au genre. De plus, on évalue dans quelle mesure les résultats de recherche ont été produits en tenant compte des préoccupations et de l’avis des personnes concernées, dont les femmes.
L’examen de 170 de nos travaux de recherche avec l’outil QR+ nous a permis de tirer certaines leçons, entre autres, le fait que nous devrions prioriser le facteur genre dans tous les travaux que nous finançons, et nous déployons déjà des efforts en ce sens.
 

Vous estimez en outre qu’il faut encourager les doctorants africains à faire leurs thèses dans leurs universités d’origine. Quel en est l’intérêt concret pour la qualité de la recherche ?

Il est effectivement question d’un programme de bourses destinées aux doctorants africains que nous avons soutenus pendant de nombreuses années dans l’article de la revue Nature. Ce que nous disons dans l’article est que les évaluateurs qui ont jugé de la qualité de ce programme avec l’outil QR+ ont indiqué qu’il s’agissait ici d’un programme exemplaire sur le plan de l’égalité entre les hommes et les femmes. En effet, ce programme prenait en considération l’aspect genre dans le processus de sélection, ce qui a mené à une plus grande adhésion de doctorantes au programme, et a permis de former et maintenir en poste une masse critique de chercheuses dans la région. L’un des résultats de notre méta-analyse souligne l’importance du savoir local. Le renforcement des capacités des jeunes chercheurs dans les pays du Sud qui valorisent le savoir local tend à apporter des solutions novatrices. Ce sont ceux et celles qui sont les plus directement concernés par un problème qui y trouvent une solution novatrice.

“La recherche pour le développement effectuée entièrement dans le Sud est de meilleure qualité que la recherche effectuée dans les pays du Nord. Elle est aussi de meilleure qualité que celle effectuée dans le cadre d’une collaboration Nord-Sud.”

Jean Lebel

QR+ remet également en question l’hypothèse admise selon laquelle les chercheurs du Nord renforcent les capacités de leurs partenaires du Sud. Que proposez-vous à la place ?

Ce que nous remettons en question est l’hypothèse selon laquelle la recherche qui met l’emphase sur la formation et le renforcement des capacités (par qui que ce soit) sera une recherche de moins bonne qualité. Ce que nous disons – notamment aux autres bailleurs de fonds de la recherche pour le développement – est qu’il ne faut pas écarter la recherche qui accorde une attention au renforcement des capacités sous prétexte que l’on vise l’excellence. Bien au contraire, il faut prendre en considération ce type de recherche, car renforcement des capacités et qualité de la recherche vont de pair.
Lorsque nous élargissons notre définition de ce que représente la qualité de la recherche, notamment en examinant des aspects autres que la qualité technique de la recherche et en intégrant des dimensions comme l’inclusion ou le respect des connaissances locales, cela nous permet de valoriser les perspectives et la contribution des chercheurs du Sud, essentielles à notre avis dans le domaine de la recherche au service du développement.
 

Comment avez-vous testé votre méthode et quels en ont été les résultats ?

 L’examen de 170 études financées par le CRDI dans sept domaines de recherche, menées à travers le monde, a mis en lumière plusieurs conclusions intéressantes au sujet de la recherche pour le développement. Par exemple, en tenant compte de dimensions additionnelles de qualité importantes à nos yeux, nous avons appris que la recherche effectuée entièrement dans le Sud tend à être plus solide sur le plan scientifique et qu’elle est plus importante pour le développement. Plus précisément, la recherche pour le développement effectuée entièrement dans le Sud est de meilleure qualité que la recherche effectuée dans les pays du Nord. Elle est aussi de meilleure qualité que celle effectuée dans le cadre d’une collaboration Nord-Sud. Notre examen a également révélé que le renforcement des capacités et l’excellence vont de pair, ce qui vient contredire l’hypothèse selon laquelle la recherche qui mise sur la formation et le développement des compétences sera une recherche de moins bonne qualité. Il y aurait donc un lien entre rigueur scientifique et renforcement des capacités. Plus encore, le renforcement des capacités des jeunes chercheurs dans les pays du Sud qui misent sur le savoir local tend à offrir des solutions novatrices.

Parmi les résultats, votre article relate l’exemple d’une étude sur les changements climatiques au Pérou en montrant qu’elle a été crédible et utile, même sans avoir été publiée dans les grandes revues de référence. Quel message voulez-vous faire passer à travers cet exemple ?

Nous voulons transmettre le message qu’il faut justement aller au-delà des méthodes traditionnelles pour évaluer la qualité de la recherche au service du développement. La recherche sur les changements climatiques au Pérou a permis de mieux comprendre la façon dont le climat change dans le centre du pays et a contribué à orienter les politiques et les actions en matière d’adaptation dans la région. Elle a obtenu une note élevée par le biais d’une évaluation plus holistique comme QR+, notamment sur le plan de l’intégrité, de la légitimité et du positionnement aux fins d’utilisation. En évaluant d’autres dimensions de la qualité et en offrant un cadre plus large, le cadre QR+ permet de valoriser ces travaux de recherche, même si ceux-ci ne sont pas publiés dans les grandes revues de référence, mais plutôt diffusés dans des publications en langue locale pouvant immédiatement être utilisées par les acteurs locaux pour résoudre des problèmes urgents.
 

Vous avez évalué le QR+ sur des études financées ou réalisées par votre institution, le CRDI. Pensez-vous que cette nouvelle méthode peut produire les mêmes résultats sur des recherches menées en dehors du CRDI ?

Nous croyons que QR+ représente une solution pour mesurer la qualité de la recherche pour le développement en général, mais aussi des travaux de recherche menés dans d’autres contextes. Nous avons bâti le cadre QR+ afin qu’il puisse être adapté, notamment grâce à l’intégration de rubriques d’évaluation personnalisables. 
Nous souhaitons vivement que QR+ soit répliquée et utilisée par d’autres bailleurs de fonds et institutions pour démontrer la richesse et la diversité de son application, et ses bénéfices pour la communauté scientifique en général.

Vous relevez vous-même quelques problèmes que soulève QR+, parmi lesquels son coût et le temps qu’il prend pour être mis en œuvre. N’est-ce pas suffisant pour le discréditer ?

Pour nous, c’est de l’argent bien dépensé, car c’est une façon de mieux planifier ce que nous finançons et de soutenir une recherche qui a des répercussions positives importantes dans les pays en développement. En investissant dans des travaux de recherche qui améliorent réellement la vie des gens, cela permet au CRDI d’être encore plus stratégique dans ses investissements et de mener à bien sa mission.