Trier le bon grain de l’ivraie: évaluer l’intelligence naturelle à l’ère de l’intelligence artificielle

Qui dit «enseigner » dit souvent «évaluer». Or, il devient de plus en plus urgent de:

• mieux comprendre, collectivement, la nature de l’acte évaluatif
• cibler quelles sont les connaissances et les compétences qui en font l’objet
• se doter de méthodes qui permettent d’attester que l’agent producteur de celles-ci est bel et bien l’humain qui est assis dans notre classe

Ce sont ces grandes questions qui ont alimenté mes réflexions philosophico-pédagogiques, en mars 2024, alors que plus de 10% de mes étudiantes et étudiants ont plagié ChatGPT ou Copilot dans le cadre de la remise de leur problématique philosophique – un travail sommatif qui valait 20% de leur session.

Considérations préliminaires

Avant de me lancer dans le détail de la session d’hiver 2024 qui a été houleuse et haute en apprentissages – tant pour moi que pour les étudiantes et étudiants– il me semble primordial de glisser quelques mots sur le cours et le profil des étudiantes et étudiants qui étaient dans ma classe.

Le cours Philosophie et rationalité doit être réussi préalablement aux 2 autres cours de philosophie obligatoires au collégial. On enseigne aux néo-philosophes comment articuler leur pensée à l’aide des outils de la rationalité. Au terme du cours, ils et elles doivent:

• savoir distinguer, définir et utiliser certains concepts centraux à la question philosophique choisie
• hiérarchiser la qualité de leurs arguments en fonction des informations disponibles et des preuves possibles
• exprimer leur point de vue de façon claire par le biais d’un texte argumentatif

Quant aux étudiantes et étudiants, ils étaient une trentaine par groupe (j’en avais 3) et provenaient de tous les programmes offerts au cégep. Certains reprenaient le cours pour une 2^e, voire une 3^e fois, mais la vaste majorité en étaient à leur 1^re année au collégial.

La tâche

Afin d’optimiser mes chances de susciter l’intérêt de toutes et tous pour la philosophie, j’ai l’habitude de laisser mes étudiantes et étudiants développer leur propre question de dissertation. Celle-ci peut porter sur un thème qui leur est cher ou encore être en lien avec leur programme. Une fois leur question approuvée par mes soins, ils et elles doivent creuser les enjeux philosophiques qui y sont sous-jacents grâce à une recherche documentaire en bibliothèque. Les personnes apprenantes doivent alors fouiller les banques de données scientifiques disponibles et trouver au moins un article scientifique pertinent qui gravite autour des enjeux philosophiques de leur question. Elles doivent ensuite en faire le résumé et ajouter celui-ci à leur problématisation philosophique.

Le contexte de réalisation

Les consignes, l’exemple de travail et la grille d’évaluation ont été présentées à la semaine 3 et la remise était à la semaine 8. Ceci avait l’avantage considérable de laisser passer la semaine de relâche lors de laquelle je me suis rendue disponible en raison de 3 périodes de 2 heures, à la bibliothèque, afin que les personnes apprenantes puissent bénéficier de mon soutien. En tout, le tiers de mes étudiantes et étudiants ont profité de cet encadrement supplémentaire. Les autres se sont contentés de la formation en bibliothèque et des 2 périodes de cours de 2 heures qui ont été dédiées à l’élaboration de ce travail.

La remise

C’est par le biais de Teams que l’énoncé du travail a été transmis aux personnes apprenantes. Attaché à celui-ci, un document Word contenant le détail des consignes ainsi que la grille d’évaluation leur permettait de rédiger leur problématique et leur résumé. Les étudiantes et étudiants avaient le loisir de m’identifier dans des commentaires en marge de leur texte afin de me poser des questions à même leur texte, évitant les envois de courriels et laissant des traces de l’encadrement reçu.

Capture d’écran d’un échange de commentaires entre l’enseignante et une étudiante à même son document de remise Word.

Le fait que j’aie joint le document Word à utiliser me permet aussi d’être propriétaire de ce document tout au long de la réalisation du travail et d’avoir davantage d’informations sur l’usage qu’en font les étudiantes et étudiants par le biais de l’historique du document et du suivi des modifications. Ceci s’avéra très utile lorsque des doutes ont émergé dans mon esprit à la lecture de certains travaux exceptionnellement bien rédigés, mais pour lesquels je ne me souvenais pas d’avoir donné beaucoup d’encadrement…

L’évaluation

Café en main et chat ronronnant sur les cuisses, je me suis installée derrière mes 2 écrans – l’un pour corriger, l’autre pour faire des recherches afin de valider des informations. Ce qui devait être une matinée tranquille à lire le fruit des réflexions de mes étudiantes et étudiants s’est rapidement transformé en cauchemar.

Phase 1: stupeur et tremblements

4 des 8 premières copies que j’ai corrigées, dans mon 1^er groupe, présentaient des caractéristiques de plagiat et ont obtenu la note temporaire de 0.

Capture d’écran du module de remise de notes Léa dans Omnivox représentant les notes des 1^res copies corrigées : 93, 0, 0, 74, 77, 37, 0 et 0.

Se pouvait-il réellement qu’après tous ces efforts pour offrir du temps en classe et en bibliothèque, après avoir enseigné explicitement la grille d’évaluation, avoir spécifié noir sur blanc l’usage proscrit et permis de l’intelligence artificielle (IA) générative… La moitié de mes étudiantes et étudiants aient choisi de plagier?!

J’étais furieuse et découragée. Même le chat s’est poussé pour me laisser ventiler en paix.

Quelques jours ont passé et je me suis de nouveau attelée à la tâche. Après tout, il fallait me calmer: mon échantillon de 8 n’était certainement pas représentatif de l’ensemble des travaux remis. Par chance, j’avais raison!

Au final, ce sont «seulement» 11 travaux sur 89 que j’ai ciblés comme étant de potentiels plagiats.

Phase 2: évaluer les éléments de preuve disponibles

En l’absence de directives claires quant à l’usage de l’IA générative dans la Politique institutionnelle d’évaluation des apprentissages du cégep, j’ai dû – bien malgré moi – revêtir les atours du détective afin de confirmer ou d’infirmer mes doutes.

J’ai ainsi entrepris de questionner l’IA à propos de la problématique philosophique remise par la personne étudiante. Problématique qui, je le rappelle, était individuellement formulée et travaillée par chacune d’entre elles, rendant techniquement le plagiat entre élèves impossible.

3 catégories d’indices ont guidé mon investigation:

• le style de rédaction
• l’attitude de la personne étudiante
• la présentation du travail

Capture d’écran de l’une des diapositives de la formation sur la détection et l’encadrement des usages de l’IA en éducation que j’ai développée à l’intention du corps enseignant.

Phase 3: le test du réel

Quelques captures d’écran plus tard pour chacune des copies qui me semblaient étranges, j’ai envoyé un message à toutes et à tous en prenant soin de souligner, encore une fois, quels usages de l’IA étaient légitimes et lesquels ne l’étaient pas.

Je leur ai dit que j’avais pincé 11 personnes qui présentement avaient la note temporaire de 0. Je leur ai donné la possibilité de s’autodénoncer dans les 24h. 5 l’ont fait dans les minutes suivantes et 6 ont attendu de voir leur 0 sur Omnivox pour prendre rendez-vous avec moi.

Je réfèrerai maintenant aux personnes étudiantes ayant triché par «les étudiants» pour le reste de ce récit puisque ce ne sont que des garçons qui ont dû prendre un rendez-vous individuel avec moi pour discuter de leur travail. Lors du rendez-vous, j’avais préparé un document écrit dans lequel j’avais identifié les passages que je voulais qu’ils me reformulent dans leurs mots, à la main, sans utiliser internet . Ils devaient signer et dater le document en attestant qu’ils n’avaient fait aucun copier-coller.

Capture d’écran représentant le formulaire de validation de l’intégrité intellectuelle que j’ai développé afin de confronter les étudiantes et étudiants dont je soupçonnais très fortement les travaux d’avoir été réalisés à l’aide de l’IA générative.

2 étudiants ont fait l’exercice, dont 1 des 2 qui s’est avéré être un étudiant honnête dont la copie avait injustement suscité mes soupçons. En effet, sa copie est apparue sur mon radar parce qu’il avait reçu beaucoup d’aide pour la formulation de ses phrases grâce au service d’accompagnement du centre d’aide en français… C’est ce qui expliquait pourquoi cet étudiant international dont le français est la 3^e langue avait remis un travail impeccable. Je lui ai donc donné la note qu’il méritait avec plaisir.

Un autre étudiant a signé le document et a tenté de répondre aux questions d’éclaircissement que j’exigeais. Ses explications de «[ce] système [qui] favorise l’hégémonie culturelle et linguistique[…], ce qui pourrait être perçu comme une forme de domination et de colonialisme linguistique» étaient tout à fait insatisfaisantes: il ne comprenait visiblement pas ce qui était noir sur blanc dans sa propre dissertation en plus de faire une faute d’orthographe ou de syntaxe à tous les 3 mots. Il a quand même signé et officiellement déclaré qu’il n’avait aucunement utilisé l’IA générative pour rédiger son travail. J’ai donc transmis le document manuscrit et signé à son aide pédagogique individuel en prenant soin d’inclure le travail original et 17 captures d’écran qui démontraient que ChatGPT avait le même champ lexical et parfois même les formulations exactes qui se retrouvaient dans le travail. L’étudiant n’a toutefois pas contesté la note de 0 qu’il a reçue. Il s’est présenté à tous les autres cours et a remis tous les autres travaux… Pour finalement disparaître avant la dissertation finale.

La morale de l’histoire

Qu’ai-je retiré de toute cette saga? D’abord, en discutant avec mes collègues, je me suis rendu compte que le principal frein à la déclaration du plagiat par IA générative était le seuil très élevé de preuve que nous nous exigeons à nous-mêmes en tant que personne chargée d’évaluer les travaux. Nous craignons tellement de pincer une pauvre personne innocente et de lui faire subir un procès injuste que nous fermons les yeux sur des copies qui ont 1000 raisons de nous faire sourciller.

La conséquence malheureuse de cet aveuglement volontaire est la cristallisation progressive mais bien avancée d’une certaine culture de l’impunité dans les communautés étudiantes. Comme le mentionnait une étude de KPMG en mai 2023, 87% des étudiantes et étudiants utilisent l’IA générative dans le cadre de leurs études et ce, principalement avec l’objectif d’améliorer leurs travaux. Or, chaque fois qu’une personne fait un usage illégitime de l’IA dans un travail sommatif et n’en subit aucune conséquence – voire confirme sa croyance qu’il ou elle en a besoin pour réussir – on accepte implicitement des entorses de plus en plus délétères à l’intégrité intellectuelle.

Certes, il était impossible pour nos institutions et pour le corps enseignant de réagir instantanément à la révolution scientifique que représente l’IA générative et son déploiement au grand public. Il est tout à fait normal qu’un temps de réflexion et un certain recul aient été nécessaires. Toutefois, je crois qu’il est temps que les enseignantes et enseignants se donnent maintenant le droit de faire confiance à leur jugement professionnel et se permettent de sensibiliser, d’avertir et même de sanctionner les usages illégitimes de l’IA par les élèves.

Il n’est pas trop tard pour inverser la vapeur et transformer la culture de l’impunité en culture de l’intégrité… pourvu que nos efforts soient concertés et soutenus par les directions des établissements d’enseignement.