Calibrage de l’examen des demandes de subvention à la découverte du CRSNG

> English

Cet article est écrit par Duncan Murdoch pour SSC Liaison, volume 29, numéro 4, novembre 2015.

L’année dernière à cette même époque (Liaison 28.4, pp. 41-43), j’ai publié un article contenant des conseils sur la meilleure façon de rédiger un rapport d’examen externe pour une demande de subvention à la découverte du CRSNG. Comme je le disais alors :
« Si vous recevez une telle invitation, on vous demandera de confirmer que vous n’avez pas de conflit d’intérêts qui vous empêcherait de compléter cet examen. Si tel est le cas et que vous pensez avoir suffisamment d’expertise pour effectuer l’examen, j’espère que vous accepterez de le faire. Le groupe d’évaluation (GE) ne compte qu’une dizaine de membres ayant une expertise en statistique, probabilité et domaines connexes, si bien qu’ils ont besoin de votre aide pour garantir un examen approfondi. »

Dans cet article, j’ai proposé des conseils généraux sur la rédaction d’un examen utile; cette année, je serai plus spécifique quant à la manière de « calibrer » votre examen afin que le comité puisse le coter correctement. Il semble que les statisticiens soient trop durs les uns avec les autres, mais je pense que nous savons comment calibrer un système
de mesure : voici ce à quoi je m’emploierai ici.

Rappelons que le GE cote les demandes selon trois critères : excellence du chercheur (EC, fondé sur son dossier), mérite de la proposition (MP, une prédiction des résultats futurs) et formation de personnel hautement qualifié (PHQ, qui tient compte à la fois des réalisations passées et des plans d’avenir).

Chacun de ces critères est coté selon une échelle de six points. Le CRSNG utilise des indicateurs plutôt que des chiffres pour les scores, mais les traite exactement comme s’il s’agissait de scores numériques régulièrement espacés : 1=Insuffisant, 2=Modéré, 3=Élevé, 4=Très élevé, 5=Remarquable, 6=Exceptionnel. Les valeurs numériques sont additionnées pour donner un score de 3 à 18, ou « catégorie ». La valeur de la subvention est déterminée par la catégorie. Le score maximum est de 18 (catégorie A); cette année quelqu’un en catégorie A aurait obtenu une subvention de 52 000 $. Les scores les plus fréquents dans le GE Mathématiques et statistique sont 9 et 10 (catégories J et I); ils correspondent à des subventions de 11 000 $ et 14 000 $, respectivement. Les chercheurs établis ayant obtenu un score inférieur à 9 n’ont reçu aucun financement. (Il est également possible de se voir refuser un financement pour un score de 1 pour l’un des critères ou pour un score de 2 en EC.)

Bien que la valeur de la catégorie détermine le niveau de financement, il est important de réfléchir à chaque score individuel lorsque vous rédigez votre examen, puisque c’est ce qui influence la discussion lors de l’évaluation de chaque demande. Les membres du GE travaillent dur pour trouver une cote appropriée pour chaque critère, sans savoir toutefois (sauf en termes généraux) quelle sera la subvention qui en découle, car le financement n’est établi qu’une fois toutes les évaluations complétées. Alors comment, à titre d’évaluateur externe, pouvez-vous les aider à déterminer ces cotes ?

L’année dernière, j’ai décrit les critères d’évaluation utilisés pour déterminer les trois scores. Cette année, je vais m’attarder sur la répartition des cotes pour vous aider à mieux calibrer votre examen, en vous fondant sur les dernières données publiées par le CRSNG.

Ces deux dernières années, le groupe d’évaluation Mathématiques et statistique a évalué 501 demandes. (Certains membres de la SSC soumettent leurs demandes à d’autres groupes d’évaluation; je n’ai pas vu les données correspondantes.) Le Tableau 1 présente la répartition globale des cotes.

Avant de discuter du calibrage, une remarque concernant l’objectif.
Les demandes sont affectées à l’un de trois sous-groupes : Statistique (n=208), Mathématiques pures (n=181) et Mathématiques appliquées (n=112). Il existe une certaine variation au niveau de la cotation d’un sous-groupe à l’autre et d’une année à l’autre; je n’ai pas cherché à analyser les sources de cette variation, mais dans l’intérêt de l’équité, il semble souhaitable de la réduire. J’espère que le fait de publier cette répartition des cotes nous aidera, évaluateurs externes, à mieux calibrer nos examens : nous ne pouvons pas imposer une cote au GE, mais nous pouvons employer des termes descriptifs qui correspondent à la cote la mieux adaptée, selon nous, à la demande.

Passons maintenant à la discussion.
La cote ER dépend du dossier et de l’impact du chercheur au cours des six dernières années. Le candidat que vous évaluez compte-t-il parmi les meilleurs 2 % des chercheurs dans son domaine ? Si oui, l’indicateur « Exceptionnel » est justifié. Ce jugement ne doit pas être basé uniquement sur la réputation du candidat : vous devez décrire précisément votre évaluation de ses contributions passées, y compris des échantillons
de contributions. À la lecture de la grille des indicateurs de
mérite du CRSNG : www.nserc-crsng.gc.ca/_doc/Professors-Professeurs/DG_Merit_Indicators_fra.pdf, nous voyons que ce qui distingue « Exceptionnel » de « Remarquable », c’est que le chercheur est un chef de file qui a effectué des réalisations de premier ordre. Utilisez des termes comme ceux-là et il sera plus facile pour le GE de coter la demande correctement. De même, les candidats qui comptent parmi les meilleurs 15 % quant à leur dossier et à leur impact méritent un indicateur « Remarquable ». Employez les termes « de beaucoup supérieur » et « incidence pour une vaste communauté » pour communiquer cette intention au GE.

Dans les autres critères, il y a en moyenne moins de cotes élevées. Moins d’un pour cent des chercheurs voient leur proposition cotée « Exceptionnelle » en MP. Rappelons que ce critère prédit les résultats futurs : l’approche désirée est-elle proche du maximum d’innovation et d’incidence potentielles ? Le CRSNG ne voit qu’une centaine de telles demandes par an en statistique : demandez-vous donc si la proposition est si bonne que l’ensemble de la communauté n’en produira qu’une de la sorte par an; voilà ce qui est « Exceptionnel ». Le CRSNG ne voit que 7 ou 8 propositions chaque année en statistique qui méritent une cote « Remarquable » en MP.

Ces deux dernières années, pas même 1 % des cotes en PHQ n’ont été « Exceptionnel ». Cette cote indique donc un statisticien dont le dossier et les plans d’avenir pour les étudiants sont sans doute les meilleurs du pays, l’année de leur demande. Chaque année, environ 7 statisticiens au Canada devraient obtenir une cote « Remarquable » en PHQ.

Dans les trois critères, les valeurs médianes et modales des cotes sont « Élevé ». Employez des termes qui indiquent cette cote si vous la jugez appropriée. Très peu de demandes devraient être jugées « Insuffisantes » dans un critère ou un autre, mais il s’agit là d’une cote appropriée dans certains cas chaque année.

J’espère que cet article aidera les évaluateurs à peaufiner la formulation de leur rapport d’examen afin que le GE puisse coter les candidats selon le niveau qu’ils méritent.

Duncan Murdoch

Comments are closed.