Facteurs liés à la concordance des corrections d'une épreuve de lecture critique d’article

Contexte : Une epreuve de lecture critique d'article (LCA) sera introduite en 2008 dans l'examen classant national (ECN). Les rares travaux consacres a cette epreuve suggerent une concordance mediocre des corrections. But : Identifier certains facteurs lies a la concordance des corrections d’une epreuve de LCA. Sujets et methodes : 59 etudiants volontaires de DCEM 2 et DCEM 3 ont ete soumis a une epreuve de LCA dans les conditions prevues pour l'ECN. Trois correcteurs ayant prepare l’epreuve (choix d’article, questions et reponses attendues selon 16 questions, grilles de correction (s), ponderations), ont corrige chaque copie de facon independante, sans grille puis avec une grille. L'accord entre les 3 couples de correcteurs, avec ou sans grille, pour les 16 questions, soit 96 couples, a ete mesure par les coefficients de correlation intraclasse (CCI). La valeur mediane du CCI pour chaque facteur (questions, grille ou non, questions ou resume, couples de correcteurs) a ete comparee aux autres CCI par le test de Mann-Whitney ; les facteurs independants de variations du CCI ont ete determines par une analyse de regression multiple. Resultats : 6 questions sur 16, l’usage de la grille, et l’un des couples de correcteurs etaient lies de facon independante aux CCI. Conclusion : La concordance des corrections d'une epreuve de LCA semble dependre fortement de la qualite de l’epreuve et des correcteurs ; le recours a une grille de correction pourrait representer un facteur d’amelioration d’impact modeste de cette concordance.