Que vaut vraiment un 58%

À la lecture des nombreuses réactions et des commentaires autour de l’ajustement des notes des élèves quand elles avoisinent la note de passage, et de la fermeture du dossier par le ministre de l’Éducation, j’aurais souhaité que la réflexion porte aussi sur l’enjeu de l’évaluation des apprentissages dans son ensemble, le principal talon d’Achille, à mon avis, de tous les systèmes éducatifs.

L’évaluation, beaucoup plus qu’une note

Au départ, évaluer c’est porter un jugement et pas seulement dans le domaine de l’enseignement.  Ce jugement se doit d’être le plus objectif possible, exempt de subjectivité, et il ne doit pas être arbitraire (Durand et Chouinard, 2012). Malgré tout le bon vouloir, il n’en reste pas moins que l’évaluation, particulièrement en éducation, n’est pas une science exacte et qu’elle repose en bonne partie sur le jugement professionnel du correcteur.

Certaines matières sont plus faciles à évaluer que d’autres, certains contenus aussi. Évaluer des connaissances est relativement simple et évaluer des habiletés aussi. Tous connaissent les fameux tests à choix multiples, qu’on appelait aussi « objectifs », ce qui est très ironique, puisque la seule chose objective dans ce type de test c’est la façon de le corriger.  On peut aussi parler des questions d’association où il n’y a aussi qu’une seule bonne réponse et qui permet en quelque sorte d’avoir l’impression d’assurer une certaine subjectivité. Il n’en demeure pas moins qu’il peut y avoir de la subjectivité dans la formulation même de ces types de questions.  Ce genre d’évaluation a été largement utilisé dans les programmes par objectifs qui ont marqué l’ensemble des systèmes éducatifs, menant à un cumul de notes qui donnait une certaine apparence de « légitimité » scientifique à une note finale pour rendre compte des apprentissages des élèves. Bon nombre de gens attribuent donc encore aujourd’hui une valeur importante à cette façon de faire qu’ils croient être fiable pour évaluer un élève. Ce type d’examen permet certes de conclure que l’élève connait des choses (ou a tout le moins qu’il donne la bonne réponse), mais pas nécessairement qu’il est en mesure de les appliquer dans un contexte donné.

On s’entend qu’il est beaucoup plus facile d’évaluer des connaissances que des compétences, d’où le risque d’évaluer ce qui est facilement mesurable au détriment de ce qui est important.

Comme le programme de formation de l’école québécoise, ainsi que beaucoup d’autres dans le monde, repose sur le développement de compétences,  il faut jeter un regard sur les outils qui permettent de porter un jugement dans ce contexte précis.

 

Et on évalue ça comment une compétence ?

La démarche d’évaluation d’une compétence nécessite que l’élève soit mis en situation complexe où il devra mobiliser un ensemble de ressources, de connaissances et d’habiletés pour réaliser une tâche. Là où ça devient compliqué, c’est de déterminer les critères d’évaluation et les éléments observables sur lesquels on se basera pour porter un jugement sur cette tâche. Là où c’est encore plus complexe, c’est d’arriver à ce que cette correction soit univoque, c’est-à-dire que deux enseignants différents arrivent à mettre une note semblable en regard aux critères d’évaluation identifiés. Une différence de quelques points, c’est peut-être la différence entre un 58 % et une 60 %.

Cumuler des notes pour évaluer une compétence ?

Dans le concept même de compétence, il n’est absolument pas cohérent d’additionner  une série de notes, obtenues en cours de développement, dans le but de faire foi de l’acquisition ou non de cette compétence au terme du processus. On peut certainement évaluer la progression de l’acquisition de la compétence, mais certainement pas intégrer cette « trace » à un résultat final.

Une compétence ça se développe, il est donc normal qu’on soit moins compétent au début qu’à la fin du processus … donc en quoi la note en cours de développement est-elle importante pour statuer de l’acquisition de la compétence à la fin ?  Les notes en cours de développement ne devraient pas être comptabilisées, comme il était initialement prévu dans le programme, mais simplement faire foi de la progression de l’élève de façon formative.  La compétence devrait plutôt faire l’objet d’une évaluation globale, et non seulement d’un examen, à la fin de la période prévue pour en valider ou non son acquisition.

Pour illustrer le tout, est-il important qu’un apprenti mécanicien ne sache pas changer un pneu au début de sa formation ? Certainement pas. Par contre, en fin de formation, si ce même étudiant démontre qu’il a acquis la compétence de changer n’importe quel type de pneu sur n’importe quelle type de voiture, en quoi le fait qu’il n’y arrivait pas au début doit-il avoir un impact sur une note finale ? On pourrait faire la même comparaison avec des notions d’organisation d’un texte, de résolution de problèmes ou de démarche historique … ce qui prime dans la note finale c’est l’acquisition de sa compétence et non pas l’évolution de son cheminement.

Le système actuel fait en sorte que les notes finales aux examens ministériels comptent entre 20 % et 50 % de la note finale de l’élève. Le reste provient des 3 étapes de son année scolaire, dont les deux premières étapes qui ont un poids variant entre 20 % et 40 % (selon le niveau) dans la note finale, une aberration dans un système de développement de compétence.

Et les examens ministériels

Dans un billet récent, j’ai abordé la question des épreuves ministérielles. Ces examens reposent en bonne partie  sur des situations de compétences corrigées majoritairement par les enseignants qui doivent suivre des directives précises, mais où il reste une grande place au jugement professionnel. Les guides de corrections font parfois plus de 40 pages (tableau 1), souvent l’enseignant doit s’en tenir à des barèmes de notes prescrits (8 points, 16 points ou 24 points) (tableau 2) sans marge de manoeuvre ou, encore une fois, quelques points de différence risquent de faire pencher la balance entre la réussite et l’échec.

Tableau 1 : Exemple de table des matières d’un guide d’administration et de correction d’une épreuve

 

Tableau 2 : Exemple de pondération provenant du ministère

Dans tout ce contexte, et sans mettre en doute le jugement professionnel des correcteurs, on peut peut-être comprendre la tendance du ministère à donner le bénéfice du doute à l’élève pour deux points en deçà de la note de passage, surtout s’il n’est pas possible de valider directement la correction avec le correcteur.  Par contre, une bonne pratique éthique nécessiterait, si la validation auprès de l’enseignant n’est pas possible, sans aucun doute la recorrection de la copie de l’élève par un tiers afin d‘en valider la correction. D’ailleurs de nombreux enseignants partagent ensemble la correction des copies d’élèves de façon collective afin de valider leur correction entre eux. Ultimement, dans un contexte de majoration de notes, pour éviter qu’il y ait un doute sur la note attribuée à un élève, il y aurait sans doute intérêt pour l’enseignant d’appliquer son jugement professionnel au moment d’inscrire la note et octroyer un 55 % plutôt qu’un 58 % à un élève qui n’a pas atteint les acquis. Dans le cas d’une note finale et dans un contexte de compétence qui ne se résume pas à un cumul de note, il y a certainement lieu de se questionner, si au terme de 180 jours de classe, l’élève est à deux point de réussir ou non son année scolaire.

Et s’il n’y avait pas de note ?

Mais au-delà de toutes ces considérations, si les notes finales au bulletin se résumaient plutôt à une indication du type : l’élève dépasse les attentes, l’élève atteint les attentes, l’élève atteint les attentes minimales et l’élève n’atteint pas les attentes ? Cette façon de procéder s’appuierait ainsi sur le jugement professionnel de l’enseignant, rendrait bien compte de l’acquisition des compétences et on n’en serait peut-être pas à discuter d’un ajustement de 2 points sur une année scolaire. Mais on entre ici dans un autre débat, celui de l’utilité des notes dans un contexte de sanction des études et d’un bulletin politisé dont je ne suis pas certain qu’il serve l’intérêt de l’élève … et des enseignants.

Sébastien Stasse

 

Évaluation et sanction une nuance importante

Depuis plusieurs mois je lis certains commentaires sur les épreuves ministérielles et un récent article de Marc-André Girard, jumelé aux commentaires de Jocelyn Dagenais du GRMS et Mario Asselin à propos de l’usage des calculatrices aux examens ministériels me mènent à étendre cette réflexion, au-delà des outils eux-mêmes, autour des notions d’évaluation et de sanction qui me semble être confondue. Je porterai donc mon chapeau (et mes lunettes) hérités de ma formation en évaluation pour aborder les épreuves ministérielles.

La raison d’être des épreuves

Que visent exactement les examens ministériels ? La loi sur l’instruction publique(LIP) et le régime pédagogique confirment la responsabilité du ministère de fournir des épreuves afin de sanctionner la réussite des élèves.  On trouvera la raison d’être de ces épreuves en termes précis, sur le site du ministère :

 «les résultats à ces épreuves préparées par le ministère de l’Éducation et de l’Enseignement supérieur (MEES) […]  assurent la reconnaissance de la valeur du diplôme […] Ainsi, le diplôme délivré a la même valeur pour tous les élèves du Québec, quelle que soit l’année de son obtention ou l’emplacement de l’école fréquentée.

Bref, ces épreuves ont comme objectif de conférer au diplôme une forme de standardisation nécessaire au système scolaire pour la suite du cheminement de l’élève, particulièrement pour son entrée au CEGEP où une sélection doit se faire, on le comprendra, en fonction d’un standard permettant  une discrimination dans l’accès aux programmes contingentés. L’autre aspect, c’est bien évidemment la valeur du diplôme qui doit être une base fiable pour une société, témoignant (en principe) de l’atteinte d’objectifs attendus. On parle donc d’évaluation dans un but de sanction et dans ce contexte, la notion même de différenciation ne peut s’appliquer, si ce n’est pour tenir compte de certaines difficultés d’apprentissage précises (dyslexie par exemple) nécessitant l’usage d’outils d’aide pour réaliser l’évaluation sans toutefois modifier l’épreuve. Des mesures pour ces cas particuliers sont d’ailleurs déjà prévues par le ministère.

On pourrait s’en remettre à l’unique jugement des enseignants pour statuer de l’atteinte des objectifs ministériels, et c’est en bonne partie ce qui se fait tout au long du cheminement scolaire des élèves québécois. Les épreuves ministérielles de 4e année (français) et 6e année du primaire (français et mathématiques), de même que celle de 2e secondaire (français) comptent pour 20% de l’année scolaire, sont corrigées par les enseignants et laissent une large part à leur jugement professionnel pour le 80% de la partie restante.  Par contre, dans un contexte de sanction nécessitant une forme de standardisation, il faut impérativement passer par un processus commun afin qu’il soit équitable, fiable (dans la définition du concept lié à l’évaluation)  et valide ce qui n’a rien à voir (et n’enlève rien) à l’autonomie des enseignants, cette dernière étant applicable dans un contexte d’évaluation des apprentissages et pour l’apprentissage. Ceci dit, les examens ministériels sont rédigés par des enseignants et des conseillers pédagogiques et les épreuves sont validées avant leur passation, ce qui est un processus complexe visant la fiabilité des épreuves.  Malgré tout ce processus, des ajustements sont parfois nécessaires menant même, après coup, à l’annulation de questions. Imaginez le coût de la mise en oeuvre de ce genre de démarche à l’échelle de la province pour chaque milieu, mais surtout les risques que les épreuves soient inéquitables à l’échelle provinciale et que l’obtention du diplôme soit plus facile selon les écoles.

Un outil imparfait

Les épreuves ministérielles, sous forme d’examen, semblent donc être l’outil le mieux adapté au système puisque le système scolaire postsecondaire se base actuellement sur des données quantitatives qui se doivent d’avoir une référence commune de façon à être juste et équitable pour l’ensemble d’élèves afin de donner un portrait sur une base commune servant à un classement des élèves. Évaluer, c’est porter un jugement et le défi est donc de rendre ce jugement le moins subjectif ou arbitraire possible, ce que tente, tant bien que mal, de faire l’épreuve ministérielle menant à la sanction.

Malheureusement, nous sommes confrontés à des limites évidentes de l’outil qui met l’accent sur ce qui est facilement « mesurable ». Ainsi les examens ministériels, visent largement l’évaluation de connaissances et d’habiletés, au détriment des compétences, principalement à cause de la durée limitée de l’épreuve et de l’administration simultanée à un grand groupe dans un contexte de standardisation.

On peut donc peut-être comprendre que le ministère souhaite encadrer le plus possible la passation de ces épreuves en limitant les éléments susceptibles d’entacher les valeurs fondamentales en évaluation à savoir l’égalité et l’équité, d’où la présence de règles strictes pour tenter de respecter ces valeurs. C’est donc ici que le bât blesse et qu’on se retrouve avec l’interdiction de certains types d’outils lors de la passation de l’épreuve (type de calculatrice, aide à l’écriture, dictionnaires numériques, etc …) afin d’assurer (ou de tendre à ce que) la passation ait lieu dans les mêmes conditions pour tous … on parle d’équité dans un contexte de sanction, concept qu’il faut aborder différemment dans un contexte d’apprentissage.

S’attaquer à l’outil qu’est l’épreuve ministérielle me semble très loin du réel enjeu qui en est plutôt un lié à l’absence d’une autre méthode éprouvée afin de standardiser la sanction et d’assurer la qualité du diplôme.

 

L’usage des technologies en évaluation

Même dans la mouvance des nouvelles technologies, comment assurer la validité d’une épreuve appliquée à un grand groupe et d’un territoire à l’échelle d’une province ? En ce sens, un groupe de travail (dans lequel je ne suis pas impliqué) est en place depuis plusieurs années au ministère de l’Éducation pour évaluer la possibilité de numériser les épreuves. Les défis sont de taille, ne serait-ce que pour s’assurer que les élèves aient accès simultanément à un appareil numérique pour réaliser l’épreuve. Vient ensuite la plateforme numérique qui devra supporter le tout incluant la correction par les différents enseignants et le branchement simultané de milliers d’élèves. Finalement l’aspect limitant la diffusion éventuelle du contenu, maintenant si facile par fichier numérique. Les infrastructures à mettre en place sont colossales  surtout quand on sait que certaines écoles actuelles n’ont même pas un accès à un réseau sans-fil.

Les épreuves ministérielles sont donc loin d’être  parfaites, mais faute de ne pas disposer d’outil plus efficace pour les objectifs visés par ces épreuves, soit la recherche d’un standard visant la sanction, elles sont utilisées au mieux de leurs limites, qui se font de plus en plus sentir.  Quant à l’aspect numérique de l’évaluation, il serait intéressant de recenser les écoles qui utilisent actuellement des plateformes numériques pour la passation d’épreuves finales, je pense particulièrement aux institutions où tous les élèves ont leur propre appareil numérique … ont-elles toutes fait le passage à l’évaluation numérique ? Si oui, ces institutions pourraient  peut-être nous fournir leur expertise sur une alternative au format papier/crayon.

Sébastien Stasse

 

 

 

Intégration d’outils d’évaluation dans des dispositifs de formation numériques (DFN) accessibles avec des iPad.

Voici les principaux liens vers cette communication d’une recherche exploratoire présentée au Sommet du iPad au printemps 2015.

Diaporama de la présentation

Résumé de la recherche exploratoire sur Éducation Canada.

Document complet de la recherche exploratoire.

Présentation de la problématique,

Présentation du concept de DFN,

Bibliographie

 

Exemples mentionnés :

How do I Plan a Trip?

Rencontre avec une entreprise locale

Situation d’évaluation mathématiques

Vox Pop

Recherche de Karsenti-Fievez  L’iPad à l’école: usages, avantages et défis : résultats d’une enquête auprès de 6057 élèves et 302 enseignants du Québec (Canada).

L’évaluation des apprentissages, de la planification de la démarche à la communication des résultats (2e édition) de Durand, M-J., Chouinard, R. et al (2014)

 

Résumé de la recherche exploratoire

L’arrivée récente des appareils mobiles, plus précisément des tablettes électroniques, a pour conséquence de considérablement redéfinir le portrait des parcs informatique dans les établissements d’éducation. Lorsqu’utilisés en salle de classe, dans quelle mesure les appareils mobiles peuvent-ils jouer un rôle pour supporter une démarche d’apprentissage et d’évaluation?. Pour que ces appareils puissent être utilisés à leur plein potentiel par les apprenants, les enseignants doivent pouvoir rendre accessible du contenu au travers d’une plateforme numérique. Quelles sont donc les façons d’intégrer des outils d’évaluation à l’intérieur de dispositifs de formation numérique (DFN) à l’aide des iPad. ?

Dans le cadre d’un travail dirigé d’une maîtrise en éducation, ces questions m’ont mené à réaliser une étude exploratoire visant à valider une démarche de recherche appliquée de type collaborative.  À l’été 2013, en collaboration avec  Micheline-Joanne Durand (professeure agrégée),  les étudiants inscrits au cours de 2e cycle Évaluation et TIC,  ont eu à concevoir une situation de compétence intégrant des outils d’évaluation et pouvant être entièrement réalisée à l’aide d’un appareil mobile (iPad). Par la suite, à l’aide de grilles analytiques, il a été possible d’évaluer la pertinence des situations de compétence et des DFN utilisés.

Nos premiers résultats indiquent que, bien qu’il soit possible d’intégrer des outils d’évaluation à des DFN, cette intégration ne peut actuellement reposer uniquement sur les fonctions inhérentes aux plateformes numériques actuelles, mais nécessite des ressources externes variées (fichiers numériques, applications, services en ligne).

Cette recherche exploratoire et ses résultats sont disponibles ici.

Il est possible de consulter en ligne : une présentation de la problématique, la présentation du concept de DFN, de même que la bibliographie associée au travail.

Sébastien Stasse