Intégrer ChatGPT dans des devoirs d’anglais

Mes élèves au Collège Marianopolis ont entamé la session d’hiver 2023 en étant très au fait de l’existence de ChatGPT et de son impact potentiel en éducation. Moi aussi. J’ai réagi à l’arrivée de cet outil en réalisant une expérience: laisser les élèves utiliser ChatGPT pour 1 devoir (un travail à faire à la maison). J’ai conclu qu’il était possible que l’utilisation de ChatGPT par les élèves ne soit pas problématique et contribue même à leur apprentissage.

Les cours que j’ai donnés et l’expérience que j’ai réalisée

Cette session-ci (hiver 2023), j’ai donné un cours de communication d’entreprise (Bloc B) (2 groupes) et un cours intitulé Literary Survey (Enquête littéraire) (1 groupe).

J’ai décidé d’autoriser les étudiants et les étudiantes à utiliser ChatGPT pour un devoir d’écriture analytique évalué de façon sommative dans chaque cours:

• la rédaction d’un CV et d’une lettre de présentation dans le cours de communication d’entreprise
• un essai littéraire pour Literary Survey

Conséquemment, j’ai fourni aux élèves des conseils sur la façon d’utiliser efficacement ChatGPT.

Le sondage de début de session

Avant le début des cours, j’ai transmis un questionnaire à mes élèves pour leur demander de partager leurs impressions au sujet de l’impact de ChatGPT en éducation.

Les réponses ont montré que les attitudes des élèves à l’égard de ChatGPT variaient énormément:

• Certains élèves estimaient que ChatGPT devrait être pleinement intégré à l’enseignement, pour embrasser l’avenir.
• D’autres ont exprimé des préoccupations à propos des impacts négatifs de ChatGPT sur l’apprentissage et l’intégrité intellectuelle et ont donc proposé son interdiction complète.
• Certaines personnes ont indiqué qu’une interdiction était futile et ont plutôt proposé une approche équilibrée et réfléchie pour l’intégration de ChatGPT en éducation.
• Plusieurs personnes ont exprimé de la confusion au sujet de la façon dont l’utilisation de ChatGPT pouvait être conciliée avec l’intégrité intellectuelle et les objectifs d’apprentissage.

Le travail de rédaction d’un CV et d’une lettre de présentation

Le cours de communication d’entreprise que je donne est un cours de 4^e session. Pour le devoir sur le CV et la lettre de motivation, les étudiants et les étudiantes doivent répondre à une offre d’emploi fictive pour un stage estival. Ils et elles doivent créer un curriculum vitae et une lettre de motivation spécifiquement adaptés à l’emploi offert, en fonction de leurs expériences personnelles. Ce travail devrait amener les élèves à comprendre les caractéristiques d’un CV et d’une lettre de motivation et à être capables de les mettre en application.

Un exemple d’une offre d’emploi, l’une des 8 qui pouvaient être assignées à l’élève (en anglais)

Adapter le contenu du cours et le devoir

Je craignais que l’utilisation de ChatGPT change la moyenne et l’écart-type des notes, augmente la tricherie et nuise à l’apprentissage des élèves. En conséquence, j’ai transformé ce qui était auparavant l’autre devoir que les élèves devaient faire à la maison en un travail fait en classe. Ainsi, j’étais certain que les élèves ne pourraient pas recevoir d’assistance de ChatGPT pour ce travail-là.

J’ai aussi diminué la pondération du devoir sur le CV et la lettre de présentation (de 25% à 20%), pour minimiser l’impact indésirable de ChatGPT sur la moyenne et l’écart-type des notes du cours.

De plus, j’ai apporté 2 changements majeurs au devoir sur le CV et la lettre de motivation:

1. J’ai modifié les consignes concernant l’intégrité intellectuelle pour encourager les élèves à demander de l’aide à d’autres personnes ou à ChatGPT, tant au sujet du contenu, que de la rédaction ou de la mise en forme. J’ai également précisé que «la seule façon dont un étudiant ou une étudiante pourrait tricher est si il ou elle soumet un CV ou une lettre de motivation qui ne reflète pas son véritable parcours».
2. J’ai ajouté dans les consignes une section intitulée «Utiliser ChatGPT» dans laquelle je:
   • mets en garde les élèves au sujet des limites de ChatGPT
   • fournis aux élèves des liens vers 3 articles à propos de l’utilisation de ChatGPT pour créer des CV et des lettres de présentation
   • décris des cas d’utilisation de ChatGPT ainsi que des exemples d’invites (prompts) et de réponses

Consignes et critères d’évaluation pour le devoir sur le CV et la lettre de présentation (en anglais)

Raisons des adaptations

Dans la mesure où le travail sur le CV et la lettre de motivation était un devoir à faire à la maison, je trouvais qu’autoriser l’utilisation de ChatGPT était la meilleure option: certaines personnes l’utiliseraient sans doute de toute façon, et je ne voulais pas me mettre dans une situation où je devrais imposer des pénalités en me basant sur les verdicts probabilistes des outils de détection de l’utilisation de ChatGPT.

Pourquoi pas un travail papier-crayon en classe?

En théorie, j’aurais pu choisir de faire faire le travail sur papier en classe. Cependant, ça ne me semblait pas réaliste. La rédaction du CV et de la lettre de motivation prend du temps, en partie à cause de toutes les normes associées à ces genres et en partie parce que ces documents doivent être personnalisés pour refléter l’offre d’emploi et les antécédents de chaque personne.

De plus, les élèves ne pourraient pas produire un curriculum vitae d’apparence réaliste en le faisant à la main.

Faite en classe, l’activité aurait été trop inauthentique et aurait mal préparé les élèves à la vraie rédaction informatisée d’un CV et d’une lettre à la maison, sans limite de temps.

Puisque j’ai autorisé les élèves à utiliser ChatGPT, c’était logique que je les autorise aussi à d’autres formes de soutien, comme l’aide de pairs. Cette approche plus libérale de l’intégrité intellectuelle me mettait mal à l’aise, mais je trouvais que les chances que les élèves confient carrément le travail à quelqu’un d’autre étaient faibles pour différentes raisons. À mon avis:

• La nature hautement personnelle du travail et le fait que les personnes étudiantes soient convaincues de son utilité les motiveraient fortement à produire elles-mêmes leur CV et leur lettre.
• Le devoir est très complexe, notamment parce qu’il faut marier les conventions des 2 genres, une offre d’emploi, le parcours réel de l’élève et mes critères de notation très spécifiques, de sorte que de s’arranger pour qu’un tiers (comme ChatGPT) produise un travail de qualité demanderait beaucoup de temps et d’efforts.
• Mon expérimentation avec ChatGPT m’a mené à penser que sa tendance à produire des écrits vagues, verbeux et impersonnels dissuaderait les étudiants de s’y fier sans réfléchir.

Comment ChatGPT peut-il être utile aux élèves?

Une autre chose qui a aidé à diminuer mon inconfort, c’est mon enthousiasme quant à la façon dont ChatGPT pourrait être utile à mes étudiants et mes étudiantes.

Premièrement, ChatGPT était un outil potentiellement puissant pour aider les élèves à produire des CV et des lettres exempts de fautes. ChatGPT écrit généralement dans une langue correcte, et il a une capacité considérable à identifier et à corriger les erreurs de grammaire et autres problèmes de langue. J’ai donc voulu que mes élèves maîtrisent l’utilisation de ChatGPT, pour que cela les aide à soumettre leur candidature pour les offres d’emplois fictives du cours, puis plus tard pour des emplois réels.

Deuxièmement, pour utiliser efficacement ChatGPT pour ce travail, il faut bien connaître et avoir réfléchi aux conventions associées aux CV et aux lettres de motivation. Cela est nécessaire pour pouvoir écrire des invites efficaces et bien évaluer les réponses. Cela pourrait à mon avis améliorer l’apprentissage des étudiants.

Résultats

En fin de compte, la moyenne et l’écart-type étaient appropriés pour les 2 groupes. Par conséquent, autoriser l’utilisation de ChatGPT n’a pas entraîné la hausse de la moyenne et la baisse de l’écart-type comme je l’avais craint.

En fait, c’était plutôt l’inverse: la moyenne était un peu plus faible et l’écart-type, un peu plus élevé que les années précédentes, pour ce travail. Un nombre inhabituellement élevé de lettres de motivation comportait des problèmes récurrents. Par exemple, le 1^er paragraphe des lettres de motivation était parfois assez mal exécuté et avait tendance à être vague, tandis que les paragraphes du corps de la lettre de motivation étaient parfois très flous.

Ces problèmes peuvent être en partie dus à l’écriture vague de ChatGPT. Quoi qu’il en soit, je suis convaincu que ces problèmes résultaient surtout de la retranscription irréfléchie de lettres de présentation que j’avais fournies en guise d’exemples.

Sondage après le travail

Après leur avoir transmis les rétroactions et les notes, j’ai invité les élèves à répondre à un sondage (un formulaire Google) au sujet de leur expérience avec ChatGPT. J’ai reçu 55 réponses sur les 66 personnes inscrites au cours. Voici quelques-uns des résultats du sondage:

• 47,3% des élèves ont déclaré avoir choisi de ne pas utiliser ChatGPT.
• Parmi les personnes qui ont dit avoir utilisé ChatGPT, 73,3% ont mentionné que ChatGPT avait seulement été «un peu utile» ou même «pas du tout utile».

Ces résultats suggèrent que la confiance des étudiants et des étudiantes envers ChatGPT et l’utilisation qu’ils et elles en ont fait ont été limitées.

Le sondage révèle en outre que les personnes qui n’ont pas utilisé ChatGPT ont fait ce choix notamment parce qu’elles valorisent le travail personnel, parce qu’elles ont manqué de temps, parce que ChatGPT n’était pas disponible ou parce qu’elles doutaient de sa capacité à les aider.

Les élèves qui ont utilisé ChatGPT ont identifié de nombreuses façons dont cela les a aidés:

• modifier et/ou fournir des commentaires sur l’écriture
• fournir des exemples pour les inspirer
• aider à la réflexion (remue-méninge)
• vérifier et/ou corriger la grammaire ou la syntaxe
• rédiger des brouillons de paragraphes ou de la lettre
• trouver des synonymes
• identifier les mots-clés d’une offre d’emploi
• avoir un ton plus professionnel
• écrire de façon plus directe, précise, concise ou variée

13 élèves ont explicitement déclaré qu’avoir permis l’utilisation de ChatGPT a eu un impact positif sur leur travail, principalement parce que cela en a augmenté l’authenticité. Une seule personne a déclaré explicitement qu’avoir permis l’utilisation de ChatGPT avait eu un impact négatif sur le travail.

Impacts de l’utilisation de ChatGPT

En général, l’intégration de ChatGPT a eu un impact positif sur le devoir, notamment en en augmentant la pertinence et en améliorant l’apprentissage:

• Les perceptions que les élèves ont eues de la pertinence du devoir a augmenté.
• La pertinence du devoir a été objectivement augmentée en intégrant ce qui est déjà un outil standard pour la rédaction de CV et de lettres de motivation [en anglais].
• Certains étudiants et certaines étudiantes ont appris à utiliser efficacement un modèle de langue de grande taille (LLM) spécifiquement pour préparer des CV et des lettres de présentation, en partie en devenant plus conscients et plus conscientes des forces et des limites des LLM.
• Les élèves qui ont utilisé ChatGPT ont probablement augmenté leur compréhension du CV et de la lettre, puisque la rédaction d’invites et l’évaluation des réponses fournies par ChatGPT demandaient de la réflexion à propos des conventions entourant le CV et la lettre de présentation, et que cette réflexion était faite avec une nouvelle perspective.
• Dans la mesure où des élèves ont copié des lettres de présentations données en exemples sans réfléchir, les notes plus basses ont favorisé l’équité. Mes rétroactions ont fait de cette retranscription une occasion de favoriser l’apprentissage (ces élèves ont appris, par exemple, que l’ouverture d’une lettre de motivation doit nommer des qualifications spécifiques).
• Je n’ai pas perdu de temps ni d’énergie à enquêter sur les manquements à l’intégrité intellectuelle et j’ai évité les conflits enseignants-élèves qui peuvent compromettre l’apprentissage.
• Ma crédibilité aux yeux de mes élèves a augmenté par le fait d’être celui qui leur a enseigné comment utiliser ChatGPT et quelles étaient ses limites.

Comme je l’ai dit, l’approche plus libérale envers l’intégrité a entraîné une petite augmentation du nombre d’élèves qui ont copié sans discernement mes exemples de lettres de motivation. Ces élèves ont moins appris pendant la rédaction du devoir. Ces copies s‘expliquent probablement par le fait que les personnes savaient qu’elles ne seraient pas accusées d’inconduite. Elles ont peut-être perçu que le fait de copier était moins contraire à l’éthique que dans un autre contexte ou que je ne le sanctionnerais pas. Ainsi, je pense qu’il est fort probable que la copie irréfléchie d’exemples de lettres de présentation ait été une conséquence imprévue de l’autorisation d’utiliser ChatGPT.

À réessayer?

L’année prochaine, j’ai l’intention de procéder de la même manière avec le devoir sur le CV et de la lettre de motivation en autorisant l’utilisation de ChatGPT et d’autres formes de support. Cependant, je mettrai en garde les étudiants contre la copie non critique d’exemples de CV et de lettres, en expliquant comment cela se traduira par des candidatures moins efficaces et donc en des notes inférieures.

De plus, j’ajouterai des informations sur la génération de mots-clés pour les offres d’emploi et de la génération de synonymes dans la section «Utilisation de ChatGPT» des consignes du devoir.

Enfin, je ramènerai sans doute la pondération du travail à 25% de la note du cours, puisque la moyenne et l’écart-type ont été non problématiques malgré l’autorisation d’utiliser ChatGPT.

Procéder de cette façon sera possible si les limitations de ChatGPT restent les mêmes. Cependant, s’il existe de nouvelles versions publiques de ChatGPT qui sont plus performantes, je devrai évaluer si je peux continuer à autoriser les élèves à utiliser ces nouvelles versions.

L’essai littéraire

J’ai récemment répété l’exercice consistant à autoriser l’utilisation de ChatGPT dans mon groupe du cours Literary Survey, cette fois avec un essai littéraire à rédiger à la maison à propos du poème médiéval Sir Gawain and the Green Knight. J’ai modifié mes consignes en adaptant la section «Intégrité intellectuelle» et en ajoutant une section «Rapport du soutien reçu».

J’ai choisi de demander aux élèves de ne pas inclure ChatGPT dans la liste des ouvrages cités ni de créditer l’IA en tant que coauteur. Au lieu de cela, je leur ai demandé de décrire leur utilisation de ChatGPT ou de toute autre forme d’assistance dans une section «Rapport du soutien reçu».

J’ai également développé pour mes élèves un guide d’utilisation de ChatGPT pour la rédaction d’essai littéraire [en anglais]. Ce guide:

• explique la nature d’un modèle de langue de grande taille (LLM) et ses limites
• fournit des cas d’utilisation spécifiques
• fournit des exemples d’invites
• décrit comment une approche itérative pour les invites à ChatGPT peut être fructueuse

Après avoir corrigé ces essais et lu les pages «Rapport du soutien reçu» dans lesquelles les élèves décrivaient leur utilisation de ChatGPT, il semble que l’utilisation de ChatGPT par les élèves a été limitée et peu substantielle. Je crois que c’était en partie parce que je les avais longuement avertis de son utilité limitée. En effet, ChatGPT ne peut pas faire un bon travail de lecture attentive et suivre la structure plutôt spécifique d’un paragraphe d’un essai. Tant que le devoir implique des tâches complexes ou exige une analyse approfondie et une pensée critique, comme c’est le cas pour un essai littéraire, ChatGPT ne peut pas faire un travail qui obtiendra une bonne ou une excellente note.

En résumé, encore une fois, j’ai trouvé que permettre l’utilisation de ChatGPT pour un devoir d’écriture argumentative ne posait pas de problème. ChatGPT a offert une certaine aide aux élèves, mais cela ne les dispensait pas de faire le travail essentiel à leur apprentissage.

Comment intégrer ChatGPT dans vos devoirs de façon réussie?

Aimeriez-vous vous aussi autoriser vos élèves à utiliser ChatGPT pour un devoir? Réfléchissez bien à la façon dont mon expérience serait ou non transférable à la vôtre à la lumière des différences entre nos disciplines et les caractéristiques des travaux que nous demandons aux élèves.

Sur la base de mes expérimentations, j’ai identifié 4 principes clés qui, à mon avis, favorisent la réussite de l’intégration de ChatGPT dans un devoir:

• ChatGPT ne doit pas pouvoir faire le devoir seul et produire un travail de niveau bon à excellent.
• ChatGPT doit pouvoir aider les élèves de manière significative dans la production du devoir.
• L’utilisation de ChatGPT (par exemple, la rédaction des invites) doit nécessiter des connaissances et de la compréhension et ainsi améliorer l’apprentissage (l’atteinte des objectifs d’apprentissage).
• Les élèves doivent trouver le travail important (par exemple, en croyant à sa pertinence).

Si vous décidez d’autoriser l’utilisation de ChatGPT pour un devoir, je vous fais les suggestions suivantes:

• Gardez à l’esprit que les opinions des élèves à propos de ChatGPT sont variées et souvent nuancées.
• Convainquez les étudiants des avantages d’utiliser ChatGPT et apprenez-leur comment le faire.
• Réfléchissez bien aux possibles conséquences indésirables que pourrait avoir votre nouvelle approche de l’intégrité intellectuelle.
• Avertissez les élèves de respecter vos attentes, par exemple, vos directives pour le devoir.

Et vous? Avez-vous discuté avec vos collègues de questions liées à l’éthique, à l’intégrité intellectuelle et à la fiabilité des sources, par rapport à l’utilisation de ChatGPT? Avez-vous autorisé l’utilisation de cet outil dans votre classe? N’hésitez pas à partager votre expérience dans les commentaires ci-dessous!