Fermer×
27 septembre 2024

Tricherie et utilisation de ChatGPT en évaluation : perceptions et réalités des personnes étudiantes

J’ai sondé (anonymement) des personnes étudiantes de Techniques de l’informatique pour connaître leurs habitudes en matière de tricherie scolaire et leur perception de ChatGPT. Je mets ce sondage en contexte et vous en présente quelques résultats ici.

Intégrer l’IA générative tout en assurant l’intégrité des évaluations

Dans le domaine de l’informatique, les intelligences artificielles (IA) massivement génératives (capable de générer de larges parties de travaux scolaires) ont fait leur arrivée en octobre 2021 avec la sortie de GitHub Copilot, un outil spécialisé dans la génération de code. En novembre 2022, l’arrivée de ChatGPT (puis Gemini peu après) a facilité l’utilisation par les personnes étudiantes des grands modèles de langage (GML) pour générer de longs extraits ou l’entièreté de leurs travaux, et ce, pour presque toutes les disciplines.

Dans mon département, afin d’alimenter nos réflexions d’équipe, nous avons discuté avec les milieux professionnels de l’informatique. Il est ressorti de ces échanges que les outils génératifs (GML ou spécialisés) allaient être utilisés substantiellement dans un avenir rapproché. De facto, il nous a paru important, comme équipe programme, d’intégrer les outils de génération de code dans la formation que nous offrons. Comment le faire nous est apparu nettement moins clairement en raison des enjeux pédagogiques soulevés par l’utilisation de ces outils.

Le principal enjeu, énoncé maintes fois sur de multiples plateformes, est celui de l’intégrité des évaluations : comment nous assurer que l’évaluation atteste de l’atteinte de la compétence par la personne étudiante? Cette question n’est pas nouvelle et comporte maintes dimensions :

  • équité de l’évaluation
  • évaluation d’équipe ou individuelle
  • usage de situations authentiques
  • gestion des tricheries et fraudes
  • détermination du seuil d’atteinte
  • etc.

L’intégration des GML à la formation amène de nouvelles questions autour de ces mêmes dimensions qui ont toujours été présentes.

Entendre la voix des étudiants et des étudiantes

L’environnement collégial offre plusieurs plateformes pour que le personnel enseignant et le personnel professionnel puissent exprimer leur vision, mais qu’en est-il des personnes étudiantes? Outre quelques sièges (parfois vacants) au sein d’un petit nombre d’instances, les personnes étudiantes disposent de peu de plateformes pour faire entendre leur voix et contribuer aux décisions. Certes, elles sont en périodes d’apprentissage, alors leurs contributions peuvent être limitées ou parfois imprécises.  Cependant, elles ne demeurent pas moins des personnes centrales dans l’environnement collégial. Là où il est de la responsabilité des personnes enseignantes de fixer les exigences pédagogiques, les moyens pour répondre à celles-ci devraient tenir compte des perceptions et des réalités des personnes étudiantes. À mon avis, c’est la clé pour éviter d’entrer dans une dynamique de confrontation.

Un sondage pour valider les perceptions

À l’automne 2023, j’ai sondé les personnes étudiantes de 2 cours des Techniques de l’informatique que je donnais. La collecte de données s’est faite par le biais d’un questionnaire anonyme sur leurs habitudes de tricherie et de fraude à l’école et leur perception de ChatGPT. (J’ai uniquement nommé ChatGPT, car c’est le modèle d’IA générative le plus connu et celui que l’on estime être le plus utilisé. GitHub Copilot propose peu de fonctionnalités dans sa version gratuite, comparé à ChatGPT. Je constate déjà sur le terrain un recul dans son utilisation par les personnes étudiantes au profit des GML qui sont plus complets et gratuits.)

Les personnes étudiantes ont d’abord été questionnées sur le nombre de tricheries qu’elles avaient commises.

Des 16 personnes répondantes, 11 ont admis avoir triché lors d’une évaluation au moins 1 fois (68 %) et seulement 5 disent avoir reçu une sanction (31 %).

En nombre de tricheries commises, les personnes répondantes ont déclaré:

  • 11 cas de tricherie en formation générale, avec seulement 2 sanctions (18 %)
  • 12 cas de tricherie ont été déclarés en formation spécifique, avec 6 sanctions (50 %)

Bien que les nombres semblent similaires, il y a environ 3 fois plus de cours de formation spécifique que de cours de formation générale. En supposant une moyenne de 3 évaluations par cours, on obtient une fréquence de tricherie plus élevée par un facteur 2,7 en formation générale.

Graphique illustrant le nombre de tricheries et de sanctions rapportées par les élèeves en formation spécifique et en formation générale

Ces chiffres peuvent sembler élevés. Toutefois, toutes les tricheries concernent moins de 2 % de l’ensemble des évaluations réalisées dans un parcours technique. La plupart des personnes étudiantes qui admettent avoir triché ne l’ont fait que 1 fois ou 2, assurant ainsi que la quasi-totalité des évaluations n’ont pas été compromises par une tricherie. La plupart des causes évoquées pour tricher sont:

  • des difficultés à comprendre les consignes
  • de la difficulté à réaliser le travail
  • une mauvaise compréhension de la notion de tricherie

Est-ce qu’utiliser ChatGPT, c’est tricher?

Les 2 cours dans lesquels les élèves ont été sondés ne balisaient pas de la même façon l’utilisation de l’IA dans les travaux sommatifs. Afin de proposer des évaluations en situation authentique, les évaluations des 2 cours étaient la réalisation de logiciels complets.

Dans le 1er cours, l’utilisation de l’IA pour générer des parties du logiciel était proscrite, car c’était la 1re fois que les personnes étudiantes devaient produire ce type de logiciel. La cible de formation du cours est que les étudiantes et les étudiants sachent développer ce type de logiciel. Donc, l’utilisation de l’IA aurait compromis le jugement porté sur la production de la personne étudiante et sur son degré d’atteinte de la compétence.

Dans le 2e cours, l’utilisation de l’IA pour générer des parties du logiciel était encouragée, car l’écriture de ce type de logiciel avait déjà été évaluée dans le programme. La cible de formation est l’acquisition de méthodes de travail et la participation à des processus de développement. Donc, l’objet de l’évaluation n’était pas la production, mais bien le processus. L’IA ne pouvait pas se substituer aux actions et aux réflexions des personnes étudiantes me permettant d’évaluer le degré d’atteinte de la compétence.

J’ai remarqué que les personnes étudiantes étaient réticentes à utiliser les GML, et ce, même lorsqu’ils sont permis, par crainte d’avoir une mention de plagiat. Parmi les raisons citées, les personnes étudiantes font état d’une mauvaise compréhension des exigences en matière d’intégrité intellectuelle et sont confuses quant aux attentes entre les diverses personnes enseignantes.

Lorsqu’interrogées sur leur perception de ChatGPT, les personnes étudiantes répondent à 93 % que l’utilisation devrait être encadrée, mais seulement 7 % sont en accord avec une interdiction totale.

Opinions des élèves au sujet de l’utilisation de ChatGPT dans les cours

La perception des personnes étudiantes À propos de ChatGPT

Les personnes étudiantes ont l’impression qu’il est important de savoir travailler avec les GML. Toutefois, seulement 13 % souhaitent les voir intégrer au contenu de tous les cours.

Ce qui ressort des questionnaires et des discussions que j’ai eues avec les étudiants et les étudiantes est qu’une majorité souhaite pouvoir utiliser ChatGPT et les GML. Les personnes étudiantes veulent apprendre à utiliser les GML, mais ne désirent pas que l’IA accapare toute la place dans leur formation. De plus, les personnes étudiantes sont réceptives à des balises encadrant l’utilisation de l’IA.

L’utilisation de ChatGPT s’enracine graduellement dans les comportements des personnes étudiantes : les 2/3 admettent l’avoir utilisé dans une évaluation sommative. 1/3 dit l’avoir fait 3 fois ou plus. Pour ces utilisations (44 cas rapportés), 1 seule a été sanctionnée comme une tricherie.

Les personnes étudiantes déclarent souvent utiliser ChatGPT comme assistant pour comprendre des consignes, revoir un concept ou avoir une explication différente. Ces usages sont difficilement sanctionnables par un règlement d’intégrité des évaluations (fraude, tricherie et plagiat), car il s’agit de travail en amont de la production attendue (le contenu généré ne se retrouve pas dans les documents remis).

Finalement, un lien de force moyenne a été identifié entre le nombre d’utilisations de ChatGPT dans les évaluations sommatives et le nombre de tricheries commises. Les personnes étudiantes qui utilisent beaucoup ChatGPT dans les évaluations sont aussi celles qui rapportent tricher le plus (prudence cependant : aucun élément de la collecte d’informations ne permet de s’avancer sur une causalité entre ces 2 agissements). La présence de ce lien appuie l’hypothèse que les GML offrent un moyen de plus de compromettre l’intégrité de l’évaluation, mais que les personnes étudiantes qui n’utilisaient pas les moyens de tricher «traditionnels» ne modifieront pas massivement leurs habitudes simplement parce que c’est facile de tricher avec ChatGPT.

Intégrer les GML pour conserver notre pertinence et pour éviter des luttes inutiles

En résumé, les GML seront un outil de travail que les étudiantes et étudiants d’aujourd’hui auront à utiliser une fois en milieu professionnel. En ce sens, comme réseau, nous devrions intégrer les GML, autant pour rester pertinents dans notre offre de formation que pour ne pas nous placer en porte-à-faux avec les personnes étudiantes et entrer dans une lutte avec elles. Une telle lutte serait exigeante, chronophage et démoralisante.

La plupart des personnes étudiantes, en particulier les techno-enthousiastes comme celles de Techniques de l’informatique qui utilisent abondamment les GML, sont réceptives à des discussions, des échanges et des normes sur l’utilisation des GML dans les évaluations.

Dans mon approche différenciée entre 2 cours offerts aux mêmes personnes étudiantes, je n’ai vécu aucune problématique de tricherie en lien avec les GML et j’ai pu avoir plusieurs échanges constructifs, tant sur l’utilité professionnelle des GML que sur certaines restrictions appliquées pour des raisons pédagogiques. J’ai pris le temps de définir avec le groupe les raisons derrière les restrictions appliquées sur l’usage des GML. Les personnes étudiantes ont compris que ces restrictions étaient nécessaires pour me permettre de porter un regard adéquat sur la compétence à acquérir dans le cours.

Au cours des prochaines sessions, je compte continuer sur cette lancée en proposant des activités d’évaluation où les GML sont autorisés, toujours en précisant et en limitant leur utilisation au besoin. Les échanges avec le groupe, l’explicitation des attentes pédagogiques et l’ouverture des personnes étudiantes sont certainement les meilleurs appuis pour ne pas passer mon temps à gérer des tricheries en lien avec les GML. Bien que présentes, ces tricheries semblent loin de représenter la norme dans les évaluations!

À propos de l'auteur

Alexandre Ouellet

Titulaire d’un baccalauréat en mathématiques, d’un baccalauréat en informatique et d’une maîtrise en mathématiques et en informatique appliquées, Alexandre Ouellet enseigne au Cégep de Victoriaville en informatique depuis janvier 2021. Depuis son entrée au cégep, il a complété le programme du MIPEC de Performa. Il siège à la Commission des études depuis septembre 2021 et au conseil d’administration depuis septembre 2022. Il coordonne le Département d’informatique et a participé à plusieurs projets pédagogiques et cours d’aide à la réussite.

S’abonner
Notification pour
guest

3 Commentaires
Le plus ancien
Le plus récent Le plus populaire
Commentaires en ligne
Afficher tous les commentaires
Sandrine Prom Tep
29 septembre 2024 5h05

Merci beaucoup de ce partage fort instructif !

Philippe Lavigueur
Philippe Lavigueur
30 septembre 2024 8h52

Dialoguer avec les étudiants et encadrer formellement l’utilisation des IAG est une façon constructive de prévenir le plagiat. L’utiliser avec un soucis d’alignement pédagogique comme vous le faites est aussi un des fondements d’une utilisation saine de toute technologique en apprentissage. Aussi votre contribution est intéressante et pertinente pour tous les programmes. Merci de votre témoignage.

Jean-François Brodeur
Jean-François Brodeur
5 octobre 2024 11h34

Bonjour Alexandre, merci pour ton ouverture et pour le dialogue avec les étudiants, ton article nous permet de mieux comprendre ces derniers et d’adapter nos enseignements à la réalité étudiants et du marché du travail.