Fermer×
2 octobre 2024

Trier le bon grain de l’ivraie: évaluer l’intelligence naturelle à l’ère de l’intelligence artificielle

Qui dit «enseigner » dit souvent «évaluer». Or, il devient de plus en plus urgent de:

  • mieux comprendre, collectivement, la nature de l’acte évaluatif
  • cibler quelles sont les connaissances et les compétences qui en font l’objet
  • se doter de méthodes qui permettent d’attester que l’agent producteur de celles-ci est bel et bien l’humain qui est assis dans notre classe

Ce sont ces grandes questions qui ont alimenté mes réflexions philosophico-pédagogiques, en mars 2024, alors que plus de 10% de mes étudiantes et étudiants ont plagié ChatGPT ou Copilot dans le cadre de la remise de leur problématique philosophique – un travail sommatif qui valait 20% de leur session.

Considérations préliminaires

Avant de me lancer dans le détail de la session d’hiver 2024 qui a été houleuse et haute en apprentissages – tant pour moi que pour les étudiantes et étudiants– il me semble primordial de glisser quelques mots sur le cours et le profil des étudiantes et étudiants qui étaient dans ma classe.

Le cours Philosophie et rationalité doit être réussi préalablement aux 2 autres cours de philosophie obligatoires au collégial. On enseigne aux néo-philosophes comment articuler leur pensée à l’aide des outils de la rationalité. Au terme du cours, ils et elles doivent:

  • savoir distinguer, définir et utiliser certains concepts centraux à la question philosophique choisie
  • hiérarchiser la qualité de leurs arguments en fonction des informations disponibles et des preuves possibles
  • exprimer leur point de vue de façon claire par le biais d’un texte argumentatif

Quant aux étudiantes et étudiants, ils étaient une trentaine par groupe (j’en avais 3) et provenaient de tous les programmes offerts au cégep. Certains reprenaient le cours pour une 2e, voire une 3e fois, mais la vaste majorité en étaient à leur 1re année au collégial.

La tâche

Afin d’optimiser mes chances de susciter l’intérêt de toutes et tous pour la philosophie, j’ai l’habitude de laisser mes étudiantes et étudiants développer leur propre question de dissertation. Celle-ci peut porter sur un thème qui leur est cher ou encore être en lien avec leur programme. Une fois leur question approuvée par mes soins, ils et elles doivent creuser les enjeux philosophiques qui y sont sous-jacents grâce à une recherche documentaire en bibliothèque. Les personnes apprenantes doivent alors fouiller les banques de données scientifiques disponibles et trouver au moins un article scientifique pertinent qui gravite autour des enjeux philosophiques de leur question. Elles doivent ensuite en faire le résumé et ajouter celui-ci à leur problématisation philosophique.

Le contexte de réalisation

Les consignes, l’exemple de travail et la grille d’évaluation ont été présentées à la semaine 3 et la remise était à la semaine 8. Ceci avait l’avantage considérable de laisser passer la semaine de relâche lors de laquelle je me suis rendue disponible en raison de 3 périodes de 2 heures, à la bibliothèque, afin que les personnes apprenantes puissent bénéficier de mon soutien. En tout, le tiers de mes étudiantes et étudiants ont profité de cet encadrement supplémentaire. Les autres se sont contentés de la formation en bibliothèque et des 2 périodes de cours de 2 heures qui ont été dédiées à l’élaboration de ce travail.

La remise

C’est par le biais de Teams que l’énoncé du travail a été transmis aux personnes apprenantes. Attaché à celui-ci, un document Word contenant le détail des consignes ainsi que la grille d’évaluation leur permettait de rédiger leur problématique et leur résumé. Les étudiantes et étudiants avaient le loisir de m’identifier dans des commentaires en marge de leur texte afin de me poser des questions à même leur texte, évitant les envois de courriels et laissant des traces de l’encadrement reçu.

Capture d’écran d’un échange de commentaires entre l’enseignante et une étudiante à même son document de remise Word.

Le fait que j’aie joint le document Word à utiliser me permet aussi d’être propriétaire de ce document tout au long de la réalisation du travail et d’avoir davantage d’informations sur l’usage qu’en font les étudiantes et étudiants par le biais de l’historique du document et du suivi des modifications. Ceci s’avéra très utile lorsque des doutes ont émergé dans mon esprit à la lecture de certains travaux exceptionnellement bien rédigés, mais pour lesquels je ne me souvenais pas d’avoir donné beaucoup d’encadrement…

L’évaluation

Café en main et chat ronronnant sur les cuisses, je me suis installée derrière mes 2 écrans – l’un pour corriger, l’autre pour faire des recherches afin de valider des informations. Ce qui devait être une matinée tranquille à lire le fruit des réflexions de mes étudiantes et étudiants s’est rapidement transformé en cauchemar.

Phase 1: stupeur et tremblements

4 des 8 premières copies que j’ai corrigées, dans mon 1er groupe, présentaient des caractéristiques de plagiat et ont obtenu la note temporaire de 0.

Capture d’écran du module de remise de notes Léa dans Omnivox représentant les notes des 1res copies corrigées : 93, 0, 0, 74, 77, 37, 0 et 0.

Se pouvait-il réellement qu’après tous ces efforts pour offrir du temps en classe et en bibliothèque, après avoir enseigné explicitement la grille d’évaluation, avoir spécifié noir sur blanc l’usage proscrit et permis de l’intelligence artificielle (IA) générative… La moitié de mes étudiantes et étudiants aient choisi de plagier?!

J’étais furieuse et découragée. Même le chat s’est poussé pour me laisser ventiler en paix.

Quelques jours ont passé et je me suis de nouveau attelée à la tâche. Après tout, il fallait me calmer: mon échantillon de 8 n’était certainement pas représentatif de l’ensemble des travaux remis. Par chance, j’avais raison!

Au final, ce sont «seulement» 11 travaux sur 89 que j’ai ciblés comme étant de potentiels plagiats.

Phase 2: évaluer les éléments de preuve disponibles

En l’absence de directives claires quant à l’usage de l’IA générative dans la Politique institutionnelle d’évaluation des apprentissages du cégep, j’ai dû – bien malgré moi – revêtir les atours du détective afin de confirmer ou d’infirmer mes doutes.

J’ai ainsi entrepris de questionner l’IA à propos de la problématique philosophique remise par la personne étudiante. Problématique qui, je le rappelle, était individuellement formulée et travaillée par chacune d’entre elles, rendant techniquement le plagiat entre élèves impossible.

3 catégories d’indices ont guidé mon investigation:

  • le style de rédaction
  • l’attitude de la personne étudiante
  • la présentation du travail

Capture d’écran de l’une des diapositives de la formation sur la détection et l’encadrement des usages de l’IA en éducation que j’ai développée à l’intention du corps enseignant.

Phase 3: le test du réel

Quelques captures d’écran plus tard pour chacune des copies qui me semblaient étranges, j’ai envoyé un message à toutes et à tous en prenant soin de souligner, encore une fois, quels usages de l’IA étaient légitimes et lesquels ne l’étaient pas.

Je leur ai dit que j’avais pincé 11 personnes qui présentement avaient la note temporaire de 0. Je leur ai donné la possibilité de s’autodénoncer dans les 24h. 5 l’ont fait dans les minutes suivantes et 6 ont attendu de voir leur 0 sur Omnivox pour prendre rendez-vous avec moi.

Je réfèrerai maintenant aux personnes étudiantes ayant triché par «les étudiants» pour le reste de ce récit puisque ce ne sont que des garçons qui ont dû prendre un rendez-vous individuel avec moi pour discuter de leur travail. Lors du rendez-vous, j’avais préparé un document écrit dans lequel j’avais identifié les passages que je voulais qu’ils me reformulent dans leurs mots, à la main, sans utiliser internet . Ils devaient signer et dater le document en attestant qu’ils n’avaient fait aucun copier-coller.

Capture d’écran représentant le formulaire de validation de l’intégrité intellectuelle que j’ai développé afin de confronter les étudiantes et étudiants dont je soupçonnais très fortement les travaux d’avoir été réalisés à l’aide de l’IA générative.

2 étudiants ont fait l’exercice, dont 1 des 2 qui s’est avéré être un étudiant honnête dont la copie avait injustement suscité mes soupçons. En effet, sa copie est apparue sur mon radar parce qu’il avait reçu beaucoup d’aide pour la formulation de ses phrases grâce au service d’accompagnement du centre d’aide en français… C’est ce qui expliquait pourquoi cet étudiant international dont le français est la 3e langue avait remis un travail impeccable. Je lui ai donc donné la note qu’il méritait avec plaisir.

Un autre étudiant a signé le document et a tenté de répondre aux questions d’éclaircissement que j’exigeais. Ses explications de «[ce] système [qui] favorise l’hégémonie culturelle et linguistique[…], ce qui pourrait être perçu comme une forme de domination et de colonialisme linguistique» étaient tout à fait insatisfaisantes: il ne comprenait visiblement pas ce qui était noir sur blanc dans sa propre dissertation en plus de faire une faute d’orthographe ou de syntaxe à tous les 3 mots. Il a quand même signé et officiellement déclaré qu’il n’avait aucunement utilisé l’IA générative pour rédiger son travail. J’ai donc transmis le document manuscrit et signé à son aide pédagogique individuel en prenant soin d’inclure le travail original et 17 captures d’écran qui démontraient que ChatGPT avait le même champ lexical et parfois même les formulations exactes qui se retrouvaient dans le travail. L’étudiant n’a toutefois pas contesté la note de 0 qu’il a reçue. Il s’est présenté à tous les autres cours et a remis tous les autres travaux… Pour finalement disparaître avant la dissertation finale.

La morale de l’histoire

Qu’ai-je retiré de toute cette saga? D’abord, en discutant avec mes collègues, je me suis rendu compte que le principal frein à la déclaration du plagiat par IA générative était le seuil très élevé de preuve que nous nous exigeons à nous-mêmes en tant que personne chargée d’évaluer les travaux. Nous craignons tellement de pincer une pauvre personne innocente et de lui faire subir un procès injuste que nous fermons les yeux sur des copies qui ont 1000 raisons de nous faire sourciller.

La conséquence malheureuse de cet aveuglement volontaire est la cristallisation progressive mais bien avancée d’une certaine culture de l’impunité dans les communautés étudiantes. Comme le mentionnait une étude de KPMG en mai 2023, 87% des étudiantes et étudiants utilisent l’IA générative dans le cadre de leurs études et ce, principalement avec l’objectif d’améliorer leurs travaux. Or, chaque fois qu’une personne fait un usage illégitime de l’IA dans un travail sommatif et n’en subit aucune conséquence – voire confirme sa croyance qu’il ou elle en a besoin pour réussir – on accepte implicitement des entorses de plus en plus délétères à l’intégrité intellectuelle.

Certes, il était impossible pour nos institutions et pour le corps enseignant de réagir instantanément à la révolution scientifique que représente l’IA générative et son déploiement au grand public. Il est tout à fait normal qu’un temps de réflexion et un certain recul aient été nécessaires. Toutefois, je crois qu’il est temps que les enseignantes et enseignants se donnent maintenant le droit de faire confiance à leur jugement professionnel et se permettent de sensibiliser, d’avertir et même de sanctionner les usages illégitimes de l’IA par les élèves.

Il n’est pas trop tard pour inverser la vapeur et transformer la culture de l’impunité en culture de l’intégrité… pourvu que nos efforts soient concertés et soutenus par les directions des établissements d’enseignement.

À propos de l'auteure

Noémie Verhoef

Noémie Verhoef est détentrice d’un baccalauréat et d’une maitrise en philosophie ainsi que d’un microprogramme de pédagogie en enseignement au collégial. Enseignante de philosophie depuis 2012, elle s’est tout de suite lancée dans plusieurs projets pédagogiques sur des sujets variés tels que l’inclusion scolaire, le sentiment d’efficacité personnel et l’éthique du numérique. Impliquée pendant 6 ans dans son syndicat local, elle a développé une connaissance intime des rouages propres au réseau collégial. Elle offre également une formation à l’intention des enseignants et des enseignantes du collégial et de l’université pour les outiller à détecter et à encadrer l’usage de l’intelligence artificielle en enseignement supérieur.

S’abonner
Notification pour
guest

7 Commentaires
Le plus ancien
Le plus récent Le plus populaire
Commentaires en ligne
Afficher tous les commentaires
David Boulais
David Boulais
8 octobre 2024 10h26

Merci du partage. Très intéressant votre  »validation de l’intégrité intellectuelle »… Bien que ça exige du travail additionnel pour l’enseignant (qui explique peut-être en partie, la culture d’impunité qui sévit), ça me semble  »faire partie de la job ».

Noémie Verhoef
Noémie Verhoef
9 octobre 2024 10h41
Répondre à  David Boulais

Merci! En fait, l’aspect très formel du document rebute la vaste majorité des étudiantes et étudiants qui auraient envie de continuer de dire envers et contre tous qu’iels n’ont pas plagié. Donc une fois les passages louches copiés dans le canevas du fichier et le tout imprimé, il suffit de leur présenter et d’exiger une signature pour qu’iels se rétractent. Cela fait en sorte que la seule occurrence où j’ai réellement dû faire des captures d’écran et donner le tout à l’API c’est dans le cas de mon élève obstiné qui ne s’est finalement pas présenté à la dissertation finale et n’a pas fait de démarche de contestation pour son zéro.

Nicole Perreault
8 octobre 2024 10h27

Merci pour ce récit qui donne beaucoup matière à réflexion. Des enseignants ont décidé d’inclure le recours à l’IA générative par leurs étudiantes et étudiants, d’autres proscrivent ce recours. Les arguments à la base de leur choix diffèrent, bien sûr, mais chacun est conscient du fait que l’IA générative :

Va continuer à se développerQu’elle permet déjà de demander d’obtenir un texte incluant des fautes d’orthographeQu’elle permet aussi tenir compte de l’âge de la personne qui fait la demande, d’adapter le langage et le vocabulaire, etc.Est-ce à dire que des étudiants pour lesquels aucune trace de plagiat n’a été relevée pourraient, eux aussi, avoir recouru à l’IA générative ? Oui, que de réflexions à faire. Merci encore !

Dernière modification le 1 mois il y a par Nicole Perreault
Noémie Verhoef
Noémie Verhoef
9 octobre 2024 10h46
Répondre à  Nicole Perreault

Ce sont d’excellentes questions et c’est en raison de cette possibilité de tricherie plus fine (qui va être de plus en plus courante au fur et à mesure que les élèves seront plus efficaces avec l’IA) que j’ai modifié le déroulement de cette évaluation cette session-ci.
Dorénavant, les élèves doivent obligatoirement remplir, étape par étape, un Journal de bord qui laisse des traces de leurs réflexions (version papier, en classe). Cela me permet de savoir qui fait son travail petit à petit et de pousser celles et ceux qui auraient attendu à la dernière minute si j’avais simplement demandé de faire tout cela à la maison. J’exige qu’une partie précise du Journal soit terminé pour une date précise, et je valide le tout en classe en quelques minutes. J’ai aussi dédié quatre heures de cours à la rédaction de leur problématique, en classe, et j’ai verrouillé le suivi des modifications du canevas de rédaction afin d’avoir encore plus de traces de l’évolution de leur travail.
À date, la qualité des travaux est LARGEMENT supérieure à ce que je constatais par les sessions passées, où les élèves les plus organisés arrivaient à faire leurs choses à temps alors que les autres se réfugiaient dans des stratégies de survie telles que le plagiat.

Marie Claude Vachon
Marie Claude Vachon
8 octobre 2024 10h38

Bonjour!J’ai beaucoup aimé votre texte.J’ai aussi signalé 11 étudiants (moi aussi, c’est drôle) lors de la session hiver 2024 dans le cadre d’un cours d’éthique en éducation spécialisée.Cela a grandement affecté la relation pédagogique avec certains étudiants, je crois aussi que la motivation de certains a été affectée et de plus, cela m’a profondément désillusionnée.Moi qui commence en enseignement.Votre texte m’interpelle et je trouve que votre questionnaire de validation de l’intégrité intellectuelle est très pertinent, je le note! Merci.

Dernière modification le 1 mois il y a par Marie Claude Vachon
Noémie Verhoef
Noémie Verhoef
9 octobre 2024 10h52
Répondre à  Marie Claude Vachon

Je compatis… Et dans un cours d’éthique, en plus! Je pense qu’on est tous et toutes bouleversées par les changements pédagogiques que l’arrivée de l’IA impose dans la profession et qu’il faut se donner le temps de s’ajuster. Certainement que votre expérience de la session dernière vous a permis de vous questionner sur l’avenir : comment pourrez-vous clarifier certaines consignes, suivre davantage le processus plutôt que l’évaluation du produit, etc. J’ai donné quelques pistes de solution dans mon commentaire ci-haut. Bonne chance, j’espère que votre désillusion s’estompera au fil du temps.

Marie Claude Vachon
Marie Claude Vachon
11 octobre 2024 10h58
Répondre à  Noémie Verhoef

Merci beaucoup. De belles initiatives se font ici à cet effet. Une nouvelle ère pour nous!