À propos du système d’évaluation par les pairs du programme de subventions à la découverte du CRNSG

> English

SSCarmsCet article est écrit par David Stephens pour SSC Liaison, volume 25, numéro 3, août 2011.

Le Comité de la recherche de la SSC a rencontré le personnel du CRSNG dans le cadre du congrès de la Société récemment tenu à Wolfville. À l’issue de cette rencontre, on m’a demandé, en tant que président de la section d’évaluation des subventions en statistique du CRSNG, d’écrire quelques mots dans Liaison afin de répondre à certaines questions qui préoccupent actuellement les membres de notre communauté. Je vais donc faire de mon mieux pour clarifier ici le processus d’évaluation des demandes de subvention, dans l’espoir de contribuer ainsi à maintenir la confiance que les chercheurs ont envers le système. Je voudrais aussi saisir l’occasion pour insister sur le fait que le CRSNG et tous ceux qui contribuent au processus d’évaluation des demandes de subvention à la découverte ont à cœur de bien servir la collectivité.

Avant de commencer, il me semble important de vous dire quelques mots à mon sujet. Je suis professeur au Département de mathématiques et de statistique de l’Université McGill. Je suis venu au Canada en 2006, après avoir enseigné à Londres pendant onze ans. Ma première (et jusqu’ici unique) demande de subvention à la découverte a été soumise en 2007 ; mon niveau de financement actuel s’élève à 22 000 $ par an. J’ai également reçu un supplément d’accélération à la découverte cette année-là. Si je mentionne ces faits, c’est qu’ils permettent de mieux comprendre mon point de vue à l’égard du programme de subventions à la découverte : je suis relativement nouveau dans le système et j’ai eu la chance d’être bien soutenu jusqu’à présent. Ces trois dernières années, j’ai été membre du Groupe d’évaluation des subventions en mathématiques et en statistique. J’ai aussi été président de la section statistique en 2011 et occuperai à nouveau cette fonction en 2012. Ma nomination au sein du Groupe d’évaluation ayant coïncidé avec l’introduction des nouvelles procédures d’évaluation, je n’ai pas eu l’occasion d’observer directement la façon dont les évaluations étaient effectuées sous l’ancien régime.

On m’a spécifiquement demandé d’aborder la question de la recherche collaborative. Je me considère avant tout comme un statisticien appliqué et je collabore régulièrement avec des chercheurs d’autres disciplines (en biologie, en génétique et en sciences de la santé, entre autres) ; ceci m’amène parfois à faire de la recherche méthodologique et dans d’autres cas, à effectuer des analyses. Je suis donc sensible à la problématique de la recherche interdisciplinaire. Les politiques du programme de subventions à la découverte à l’égard de la recherche collaborative sont précisées dans les divers guides que le CRSNG met à la disposition des chercheurs. Je vais tenter d’en récapituler ici les points saillants. Vous voudrez bien me pardonner si ce que j’écris vous semble trop générique, mais il est difficile de couvrir le sujet de façon exhaustive en quelques lignes.

Je vais commencer par donner un bref résumé du processus d’évaluation des demandes. Je traiterai ensuite des aspects de l’évaluation concernant la recherche collaborative. Je conclurai avec quelques commentaires sur un des aspects du processus d’évaluation qui génère souvent des questions : l’évaluation de la formation.

L’évaluation des demandes de subvention à la découverte

L’évaluation des demandes de subvention à la découverte en mathématiques et en statistique est effectuée par le Groupe d’évaluation (GE) 1508 ; il s’agit d’un des douze GE couvrant l’ensemble des disciplines des sciences naturelles et du génie (SNG), qui tombent sous le mandat du CRSNG. L’évaluation se fait en trois parties : on juge l’excellence du chercheur sur le plan des sciences ou du génie (EdC), le mérite de sa proposition et sa contribution à la formation de personnel hautement qualifié (PHQ). Chaque demande est évaluée indépendamment par cinq membres du comité ; après discussion, chacune des composantes est évaluée sur une échelle de 1 à 6 en prenant le score médian des cinq membres. Le score total (entre 3 et 18) est la somme des scores des trois composantes. Il est ensuite converti en cote (18 devient A, 17 devient B, etc.). Le niveau de financement correspondant à chacun des échelons est débattu et déterminé à la fin du concours par le Comité exécutif (formé du président du GE et les présidents de sections), en consultation avec le CRSNG. Le financement recommandé pour chacun des échelons est transmis au CRSNG par le Comité exécutif, une fois l’équilibre atteint entre les niveaux de financement et le taux de réussite.

Le manuel d’évaluation par les pairs du CRSNG conseille les membres de comité sur la façon d’évaluer les demandes. Je recommande vivement que tous ceux qui songent à soumettre une demande de subvention à la découverte lisent attentivement ce manuel. Les membres du comité font appel à leurs propres connaissances du sujet de recherche du requérant pour évaluer sa demande. Ils peuvent considérer les aspects techniques du projet de recherche et l’état des recherches actuelles dans le domaine, mais se fier aussi, par exemple, à leur connaissance des procédures d’évaluation de diverses revues scientifiques, notamment pour l’évaluation de la qualité d’une publication (voir le manuel d’examen, section 6.8.1.1, p. 5, chapitre 6). Le principe fondamental est que l’évaluation ne doit être fondée que sur le matériel fourni dans la demande, ainsi que sur les rapports d’évaluation externe ; il incombe donc au requérant de fournir les renseignements nécessaires. Les membres du comité ne sont pas autorisés à combler les trous ou à accorder le bénéfice du doute. J’insiste sur ces points car ils sont cruciaux pour l’évaluation de la composante EdC des demandes et, en particulier, les contributions du chercheur au plan de la recherche collaborative.

En plus de la qualité des travaux du chercheur, l’impact de la recherche proposée joue un rôle important dans l’évaluation de l’ensemble des composantes de la demande. Les membres du comité sont chargés d’évaluer l’impact des travaux antérieurs d’un requérant, le potentiel d’impact futur de la recherche proposée, ainsi que les plans de formation de PHQ. Le manuel d’évaluation par les pairs conseille les membres du comité quant aux critères d’impact dans la section 6.8.1, mais le requérant est libre d’utiliser n’importe quel indicateur d’impact qu’il juge approprié. C’est au requérant qu’il incombe de faire ses preuves et de faire valoir ses arguments. La question de l’impact est également pertinente pour la recherche collaborative.

Recherche collaborative

Pour la plupart d’entre nous, la recherche en statistique se fait en collaboration, bien que sous différentes formes. On peut distinguer trois types de collaboration : (i) la recherche statistique théorique ou méthodologique, en collaboration avec d’autres statisticiens ; (ii) la collaboration avec des chercheurs d’autres disciplines scientifiques ou du génie ; et (iii) la collaboration dans les domaines non couverts par le mandat du CRSNG. En termes d’évaluation d’excellence, le manuel d’évaluation est tout à fait clair : ce que l’on doit évaluer, c’est l’excellence sur le plan des sciences et du génie, c’est-à-dire l’excellence dans les disciplines couvertes par le CRSNG. Ceci implique que toutes les contributions issues des sciences naturelles et du génie doivent être considérées sur le même pied. Le modèle de conférence adopté par le CRSNG permet d’atteindre cet objectif : même si une demande est examinée par un groupe, on dispose de l’expertise appropriée pour examiner les demandes SNG interdisciplinaires puisque l’on peut toujours faire appel à des membres d’autres GE.

Selon mon expérience, le modèle de conférence fonctionne bien à cet égard. Ainsi, selon le manuel d’évaluation, des collaborations dans les classes (i) et (ii) doivent être traitées sur le même pied. En pratique, bien sûr, notre GE est composé de mathématiciens et de statisticiens ; il est donc impératif que pour toute application couvrant une autre discipline des SNG, le requérant décrive clairement ses contributions et l’impact de son travail, de façon à ce que les membres du comité soient en mesure de donner à ses travaux tout le crédit qu’ils méritent. Par exemple, les membres du comité sont familiers avec les pratiques, les normes et la réputation des revues statistiques à fort impact, mais ils peuvent ne pas être conscients de ces aspects pour des revues relevant d’autres disciplines. Dans de tels cas, les requérants doivent donc prendre soin de préciser la réputation des revues dans lesquelles ils publient.

Pour la classe (iii), la situation est quelque peu différente. On reconnaît d’emblée que la « recherche admissible » puisse avoir un impact dans les domaines non couverts par le CRSNG (voir le manuel d’évaluation, section 6.8.1.1.1, pp. 7-9, chapitre 6) et que cet impact devrait être pris en compte dans l’évaluation de l’EdC. Cependant, c’est d’abord et avant tout l’impact spécifique de ces travaux en sciences naturelles et en génie que les membres du comité doivent évaluer. Il n’est donc pas toujours évident qu’un travail collaboratif en statistique soit considéré comme de la recherche. Par exemple, l’emploi de méthodes statistiques bien établies dans le cadre d’une collaboration n’est généralement pas considéré comme de la recherche admissible, mais les requérants sont libres de faire valoir leurs arguments, qui sont évalués au cas par cas. Il peut également arriver qu’un requérant contribue de façon notable à un travail méthodologique de collaboration, dans lequel cas il doit expliquer le contexte et l’impact précis de sa contribution.

Il est également important pour l’évaluation appropriée de la recherche collaborative que les requérants délimitent clairement leur rôle dans des articles cosignés ou dans la formation de PHQ en codirection. Les détails peuvent varier selon le cas : dans un article à deux ou trois auteurs, par exemple, il peut suffire de dire que tout le monde a contribué à part égale, mais pour des papiers ayant un grand nombre d’auteurs, il est dans l’intérêt du requérant d’établir clairement sa contribution spécifique. Je pense que cela est particulièrement pertinent pour les statisticiens qui contribuent souvent à des publications « grand public » en sciences de la santé ou dans des domaines connexes. Dans de tels cas, il est très important que les requérants indiquent clairement leur rôle dans la recherche et plus précisément la façon dont leur propre travail a eu un impact. Par ailleurs, certains croient que la participation de statisticiens à des travaux de collaboration à plusieurs auteurs a un impact négatif auprès des membres du comité. Ce n’est pas le cas, quoiqu’en l’absence d’explications supplémentaires, de tels papiers ne peuvent pas fournir la preuve de l’excellence du requérant en SNG.

Finalement, la recherche et la formation proposée dans la demande du requérant doivent se situer dans le domaine des SNG. Si la recherche ou la formation proposée est interdisciplinaire au sein des SNG, le requérant doit présenter clairement son impact dans les divers domaines ; si l’impact dépasse le domaine des SNG, il faut aussi l’expliquer. Le CRSNG est sensible aux défis liés à la recherche interdisciplinaire et les instructions spécifiques portant sur l’évaluation des demandes interdisciplinaires (manuel d’évaluation, p. 7, chapitre 6) sont prises en considération.

La formation de PHQ

La formation de PHQ à tous les niveaux (du premier cycle au stage postdoctoral) est essentielle pour assurer que le succès du Canada dans le domaine de la recherche ; la formation est considérée comme un facteur essentiel pour l’attribution d’une subvention à la découverte. Dans le processus d’évaluation, les membres du comité sont chargés d’évaluer l’étendue, la qualité et l’impact de la formation passée, ainsi que l’impact probable et la faisabilité du plan de formation proposé. Par conséquent, les requérants doivent traiter de ces questions en détail. Pour le concours 2012, une nouvelle section du formulaire F101 de demande a été prévue afin de faciliter ce processus. En termes d’évaluation proprement dite, le nombre d’étudiants formés témoigne certes de l’engagement du requérant au plan de la formation, mais il ne renseigne pas quant à la qualité ou à l’impact de la formation dispensée. L’évaluation ne dépend donc pas uniquement des chiffres bruts (un nombre élevé d’étudiants n’est ni nécessaire ni suffisant pour obtenir une note élevée). En p. 13 du chapitre 6 du manuel d’évaluation, on trouve des exemples spécifiques d’indices de qualité et d’impact de la formation, tels que la participation des étudiants à des articles, leur cheminement professionnel, etc.

Dans certains établissements, les requérants n’ont pas l’occasion de former des étudiants à tous les cycles. Il peut ne pas y avoir de programme de doctorat en statistique, par exemple, ou le recrutement d’étudiants de premier cycle peut être limité. Les membres du comité ont été instruits sur la façon d’évaluer les dossiers des requérants dans de telles situations et, encore une fois, l’accent est mis sur l’impact. Prenons un exemple concret sur la façon dont de tels cas pourraient être traités : pour la catégorie « modéré », la grille de notation contient la phrase suivante :

Le dossier de formation est acceptable mais peut être modeste relativement à d’autres demandeurs.

Si un requérant n’a pas la possibilité de former des étudiants aux cycles supérieurs, son dossier de formation peut alors sembler modeste par rapport à d’autres requérants. Toutefois, le manuel d’évaluation précise (p. 14, chapitre 6) :

Un chercheur travaillant dans une université qui   n’offre pas un programme d’études supérieures ne doit   pas recevoir automatiquement une cote plus faible parcequ’il a une expérience limitée, voire nulle, de la supervision d’étudiants aux cycles supérieurs. Si un demandeur possède un solide dossier en matière de supervision de stagiaires à d’autres niveaux, les évaluateurs doivent en tenir compte dans l’évaluation de la formation de PHQ, tel qu’on le décrit dans les       indicateurs de mérite.

Cette mesure vise à assurer que les chercheurs de tels établissements ne sont pas systématiquement défavorisés. Comme précédemment, toute information pertinente relative au « contexte institutionnel » doit être mentionnée par le requérant dans sa demande, car les membres du comité ne peuvent pas le faire eux-mêmes. En outre, la demande doit préciser la contribution particulière du requérant.

L’évaluation de la composante PHQ porte principalement sur la formation à la recherche. L’enseignement des cours de niveau supérieur ne constitue donc pas une contribution à des fins d’évaluation de subventions de découverte. Le fait que le requérant ait accepté une charge d’enseignement supplémentaire au sein de son département n’est pas, en soi, considéré non plus comme une contribution dans ce contexte. Exceptionnellement, il peut arriver que l’enseignement de tels cours soit considéré comme une contribution notable. Par exemple, si le cours a eu un impact tangible pour un étudiant ou un groupe d’étudiants, le requérant peut le mentionner dans la partie « Contributions » du formulaire F100 (toutefois, ces étudiants ne devraient pas figurer dans la liste des étudiants formés, car le formulaire F100 est réservé aux étudiants encadrés de façon formelle). Encore une fois, il revient au requérant de faire valoir ses arguments pour convaincre les membres du comité à cet égard.

Commentaires finals

Les sujets que j’ai abordés ci-dessus ne sont certainement pas les seuls qui préoccupent la communauté. On s’inquiète beaucoup, par exemple, des résultats du concours en 2010 et 2011, de nos rapports avec les mathématiciens et du niveau des subventions en général. Je ne suis pas en mesure d’aborder ces questions ici, mais j’aimerais au moins dire que toutes les personnes concernées par le processus d’évaluation prennent leurs responsabilités au sérieux et considèrent l’efficacité du processus de financement comme une priorité absolue. Les préparatifs pour le concours 2012 ont déjà commencé et, au moment d’écrire ces lignes, nous sommes en attente d’un nouveau lot de formulaires F180. Au cours des six prochains mois, les membres du GE et le personnel du CRSNG continueront à améliorer le système pour qu’il réponde le mieux possible aux besoins de la collectivité.

Récemment, des membres des communautés mathématique et statistique ont exprimé de sérieuses réserves à propos du fonctionnement du système d’évaluation par les pairs du programme de subventions à la découverte. Les membres du GE, son Comité exécutif et le personnel du CRSNG sont conscients que le processus d’évaluation pourrait être amélioré et plus efficace ; ils travailleront ensemble pour apporter ces améliorations. Le programme de subventions à la découverte est un élément essentiel du succès de la recherche faite au Canada, non seulement en sciences et de génie, mais aussi en raison de son influence dans les domaines de la santé et des sciences sociales et humaines. Toutes les personnes qui participent à sa mise en œuvre en sont conscientes et s’appliquent à en assurer la réussite.

DavidStephens

David Stephens

Comments are closed.