La rétroaction a des vertus que nul enseignant ne saurait nier. Mais qu’en est-il de la rétroaction automatisée grâce à l’intelligence artificielle (IA) ? À travers l’étude de cas d’un cours de programmation en ligne, j’explore ici différents aspects de la rétroaction automatisée et tente de repousser les limites de la réflexion.
L’importance de la rétroaction
On dit que la correction équitable d’un devoir nécessiterait au moins l’intervention de 2 personnes. Pour ma part, j’applique ce précieux conseil pédagogique en puisant dans mes compétences d’enseignante pour une 1re intervention et, pour la 2e intervention, je laisse l’élève examiner soigneusement son évaluation et signaler toute erreur ou incohérence.
Au final, au-delà de la note tant attendue, que cherche-t-on à faire en évaluant un apprenant ou une apprenante si ce n’est de l’accompagner dans le développement d’une compétence ou d’un savoir?
Après avoir consulté leur note, certains apprenants ou certaines apprenantes demanderont à recevoir une rétroaction dans le but de mieux faire la prochaine fois. D’autres se contenteront de la note et passeront à autre chose. Pourtant, la rétroaction est incontournable pour mener à bien la tâche d’enseignement. Celle-ci implique de connaitre l’élève et de lui faire une critique constructive de son apprentissage qui soulignera ses forces, ses réussites et des pistes d’amélioration.
Le facteur temps
Lorsqu’on enseigne et qu’on a de grands groupes d’étudiants et d’étudiantes, la rétroaction peut occasionner certains enjeux, notamment en matière de temps. Nous savons tous que le facteur temps est un véritable bloquant en enseignement, car nous avons besoin de temps pour mieux connaitre nos étudiants et étudiantes. Nous avons besoin de temps pour développer des parcours d’apprentissage pertinents. Nous avons besoin de temps pour réfléchir au concept de l’évaluation. Nous avons besoin de temps pour faire un retour adapté et individualisé qui permettra à ces élèves de réussir.
Les 4 dimensions de la rétroaction
Et le facteur temps est à considérer, surtout que la rétroaction dans sa forme optimale propose des pistes d’approfondissement sur 4 dimensions du travail (Rodet, 2000):
- La dimension cognitive (correction des erreurs, précisions sur ce qu’il manque, etc.)
- La dimension métacognitive (proposition pour trouver des pistes de solution)
- La dimension méthodologique (organisation du contenu)
- La dimension affective (confirmation de la progression et des apprentissages acquis, encouragements, etc.)
L’automatisation de la rétroaction permettrait à la personne enseignante d’optimiser son temps, de prendre en considération toutes les dimensions dont il ou elle n’a pas le temps de s’occuper et de prendre plus de temps pour connaitre l’élève.
Étude de cas : Philips Pham, étudiant à l’Université Stanford
L’étude de cas que je vous propose donne un exemple de l’usage de l’évaluation automatisée dans le cadre d’un cours de programmation en ligne et permet d’illustrer les possibilités que nous offre cette technologie. Au printemps 2021, Philips Pham, un jeune Suédois de 23 ans, suivait un cours en ligne intitulé Code in Place. Géré par l’Université Stanford, le cours permet de développer des compétences en programmation informatique. Après quelques semaines de cours et des évaluations formatives validées avec succès, Philips tente la dernière évaluation qui consiste à développer un générateur d’images. L’étudiant livre un programme capable de dessiner des vagues de petits diamants bleus sur une grille en noir et blanc.
Quelques jours plus tard, il reçoit une rétroaction détaillée de son code. Ce système fait l’éloge du travail de l’étudiant et pointe subtilement l’erreur qu’il a commise: «Il semble que vous ayez fait une petite erreur, peut-être que vous vous heurterez au mur après avoir dessiné la 3e vague.»
C’est exactement le type de rétroaction dont Philips avait besoin pour améliorer son code. En effet, l’étudiant aime être mis au défi, et cette petite rétroaction lui a permis de cibler lui-même le problème et d’y remédier.
Cette intervention vient d’une machine. Tout au long du cours en ligne, une intelligence artificielle d’un nouveau genre a analysé, évalué et donné des rétroactions à des milliers d’autres élèves qui ont passé le même test. Construit par une équipe de recherche de Stanford, ce système automatisé laisse entrevoir de grandes améliorations dans le suivi de l’apprenant. C’est particulièrement vrai pour les cours en ligne qui peuvent réunir des milliers de personnes, mais dans lesquels il n’est pas toujours possible de fournir aux élèves les conseils dont ils et elles ont besoin pour se motiver.
Le réseau neuronal de Stanford
La docteure Chelsea Finn et son équipe ont construit ce réseau neuronal qui est un système algorithmique capable d’acquérir des compétences à partir de grandes quantités de données. En repérant des modèles dans des milliers de photos de chats, un réseau neuronal peut apprendre à identifier un chat. En analysant des centaines de vieux appels téléphoniques, il peut apprendre à reconnaître les mots prononcés. En examinant la manière dont les assistants et assistantes d’enseignement évaluent les tests de codage, il peut apprendre à évaluer ces tests par lui-même.
Le système de Stanford a passé des heures à analyser des exemples d’anciens examens de mi-session, tirant parti d’une décennie de possibilités. Il était ensuite prêt à en apprendre davantage. Il a fourni 16000 retours d’information, et les élèves ont approuvé ces retours dans 97,9% des cas, selon une évaluation du système par l’équipe de Stanford. En comparaison, les élèves étaient d’accord avec les commentaires des humains instructeurs dans 96,7% des cas.
L’IA pour aider les personnes enseignantes… pas pour les remplacer !
La technologie a été efficace parce que son rôle a été défini avec précision. En passant le test, Philips Pham a écrit un code avec des objectifs très précis, et il n’y avait qu’un nombre limité de façons dont lui et les autres élèves pouvaient se tromper. Depuis les années 1970, les chercheurs et chercheuses mettent au point des outils d’enseignement automatisés, notamment des robots-tuteurs et des correcteurs d’épreuves informatisés.
Récemment, les chercheurs ont mis au point une technologie capable d’analyser le langage naturel de la même manière que le système de Stanford analyse le code informatique. On connait cette technologie sous le nom de ChatGPT, propulsé par Open AI.
Bien que le système de Stanford fournisse des commentaires précis, il est inutile si les élèves ont des questions sur ce qu’ils ont fait de mal. Mais pour Chris Piech, professeur de Stanford qui a aidé à superviser le cours, le but n’est pas de remplacer les enseignants et les enseignantes dans la rétroaction, bien au contraire. C’est un moyen d’atteindre plus d’élèves que les personnes enseignantes ne pourraient le faire elles-mêmes, mais aussi de gagner du temps qui sera destiné à une approche plus individualisée. Si la machine peut clairement identifier les problèmes commis, en pointant les erreurs, elle pourrait aider les enseignants à mieux cibler les élèves qui ont besoin d’aide. Selon Chris Piech, «L’avenir est symbiotique: les enseignants et l’IA travaillent ensemble».
