Un assistant robot pour apprendre

Quelle que soit l’approche pédagogique, on tient souvent pour acquis que l’apprenant est en mesure de participer activement à son apprentissage sans considération culturelle ou de personnalité.

Or, dans la culture asiatique, un étudiant va toujours affirmer qu’il a parfaitement compris les explications de l’enseignant. Le contraire pourrait laisser croire que l’enseignant est en faute et constituerait un manque flagrant de respect.

Par ailleurs, par gêne ou conformisme, un étudiant peut taire le fait que le niveau de lecture d’un document est trop élevé pour lui et ne pas réclamer d’aide à son enseignant. Enfin, des facteurs extrinsèques peuvent également être invoqués, tels de mauvaises habitudes de vie et d’étude, un choix inapproprié de lieu d’étude ou la fatigue due à d’autres occupations.

L’analyse de l’apprentissage (Learning Analytics) propose, à partir des traces laissées par l’apprenant lors de son interaction avec du matériel numérique, d’effectuer des actions de suivi, de dépistage de difficultés particulières (attitude et aptitudes), puis de prédiction de la réussite. L’analyse se fonde sur la cueillette de paramètres lorsque l’apprenant interagit à l’aide d’un ordinateur ou d’un dispositif mobile. Pour pouvoir être interprétés correctement, ces paramètres doivent former des ensembles d’observations répétées et ne pas reposer sur des événements isolés pour lequel il serait hasardeux d’attribuer un sens ou une interprétation.

Essayons d’imaginer un robot tuteur à partir de différents dispositifs de captation d’information en temps réel dans un appareil de lecture d’un manuel numérique, afin d’accompagner l’apprenant. Cet exercice s’inspire de deux communications présentées lors du forum du comité ISO SC36 à Oslo le 19 juin 2014.

• Semantics for Learning Analytics on Tablet PC-based e-Textbooks; par Yasuhisa Tamura, Sophia University Tokyo
• We have not seen the future of learning technologies yet – a report from the edge, par Bruce Peoples, Senior Research Fellow

Cette hypothèse suppose essentiellement l’utilisation de manuel de cours numérique en format EPUB3. Ces manuels peuvent comporter des éléments multimédias et être adaptés en fonction de critères d’accessibilité (taille de la fonte, synthèse vocale, lexique spécialisé, inversion du contraste, etc.). L’apprenant peut apporter des annotations sous forme de surlignement et d’annotations.

De tels assistants existent déjà pour autodiagnostiquer l’état de fatigue professionnelle. L’application gratuite Kelaa, publiée par Soma Analytics, mesure la qualité du sommeil grâce aux capteurs de mouvements des téléphones intelligents. Elle analyse aussi la coordination motrice grâce aux fautes de frappe sur le clavier du mobile ou le timbre de la voix lors d’appels téléphoniques. Elle se veut d’abord un outil de prévention capable de repérer les changements de comportements dès le début et d’éviter les conséquences néfastes. Si le risque d’épuisement professionnel est imminent, l’application fournit des conseils personnalisés sur l’hygiène du sommeil, le bonheur, l’attention et la productivité personnelle, dans le but de développer la résilience.

L’University of  Southern California  a développé le prototype Simsensei qui propose les services de psychologie sous la forme d’un avatar. Le contenu de la discussion a peu d’intérêt, mais le système observe les expressions faciales, les gestes, la respiration et la façon de parler pour « identifier les indicateurs comportementaux révélateurs de détresse psychologique qui est commune à la plupart des dépressions ».

Présentation de simsensei (en anglais)

Données de base déjà disponibles

Notons d’entrée de jeu que l’appareil utilisé pour la lecture du manuel numérique est en mesure de produire une grande variété de données, tels le changement d’orientation des pages, l’ajout de soulignement ou de mises en relief, l’écriture de notes et d’annotations ainsi que le recours au lexique ou au dictionnaire.

La géolocalisation est devenue un dispositif bien accepté dans l’utilisation des appareils mobiles. Il est relativement aisé d’associer les périodes de consultation d’un manuel numérique et le lieu de consultation pour déterminer si l’étudiant dispose de lieux d’étude fixes (domicile ou bibliothèque).

On peut également imaginer l’utilisation du microphone de l’appareil mobile pour obtenir des informations sur le bruit ambiant, propre à affecter le niveau de concentration.

Ces renseignements permettraient au tuteur robotisé de déterminer les conditions ambiantes habituelles de consultation et d’utilisation du manuel numérique. Outre des recommandations sur l’environnement d’étude, le tuteur robotisé pourrait prodiguer des conseils sur l’utilisation d’annotations et la révision de préalables en cas de consultation trop fréquente du lexique.

Oculométrie

Puisque la plupart des appareils de lecture disposent d’une caméra, le tuteur robotisé est en mesure de traiter les données provenant de l’oculométrie, c’est-à-dire la mesure et l’analyse des mouvements oculaires ainsi que la mesure de la variation de la taille de la pupille.

Analyse des mouvements oculaires sur un iPad avecTobii Glasses eye tracker

Des téléphones intelligents comme le Samsung Galaxy S4 proposent déjà d’utiliser l’oculométrie pour contrôler le défilement à l’écran. L’analyse des points de fixation sur une illustration et des modes de lecture (survol, lecture rapide par rapport à la lecture mot à mot, retours fréquents) fournit des informations précieuses sur les difficultés éprouvées par l’apprenant tels la dyslexie ou un état de fatigue chronique.

Google a déjà déposé des brevets pour effectuer ce type d’analyse avec les Google Glass. On peut imaginer en effet l’intérêt et le potentiel de revenus que représentent ces informations pour évaluer l’efficacité de publicités. Tel qu’il est démontré dans la vidéo ci-dessous, les résultats sont présentés sous forme de cartes thermiques regroupant les informations tirées de plusieurs utilisateurs. Les zones fixées le plus souvent et le plus longtemps apparaissent en rouge. De nombreux programmes d’analyse sont déjà sur le marché.

 Cartes thermiques résultant de l’oculométrie (en Danois)

On a établi une relation directe entre la taille de la pupille et la difficulté de la tâche à réaliser. Ces données doivent toutefois être interprétées avec précaution. Ainsi,  la résolution d’un problème de multiplication, la photo d’un cadavre ou un orgasme se traduisent tous par un niveau identique de dilatation. On a également observé que des apprenants plus intelligents manifestaient moins de dilatation lors de la réalisation de tâches cognitives que des apprenants moins doués. Enfin, l’alcool et les drogues sont connus comme facteurs de dilatation de la pupille.

L’analyse des saccades, c’est-à-dire de mouvements rapides des yeux dans une même direction, fournit également des informations précieuses. Ainsi, un état d’exploration se traduira par des saccades sous forme de balayage de l’écran tandis qu’un état de réflexion se traduirera par une saccade hors champ du stimulus. Enfin, des saccades dites prédictives traduiront l’anticipation d’un mouvement ou de l’apparition d’un objet.

L’utilisation de l’oculométrie doit être sérieusement encadrée, car plusieurs appareils ne disposent pas de témoins lumineux indiquant si la caméra est active ou non. Il est très facile de glisser vers l’intrusion lorsque l’apprenant délaisse une tâche pour répondre à un appel vidéo sur son appareil ou amorce une conversation avec une personne de son entourage.

Plusieurs autres difficultés se posent également. Le fait de tourner la tête plutôt que de déplacer les yeux rend plus difficile la détection des saccades. La plupart des appareils ne disposent pas encore de la puissance nécessaire pour l’analyse de données massives, et leur traitement doit se faire à distance. Enfin, ces dispositifs deviennent moins efficaces en présence de lunettes, de sujets éprouvant des problèmes de vision ou vieillissants.

En se basant sur l’oculométrie, le tuteur robotisé pourrait déterminer comment l’étudiant, en phase d’apprentissage ou en phase d’évaluation, décortique une œuvre d’art, analyse une pièce usinée pour détecter un défaut de fabrication ou s’assure du bon fonctionnement d’un système en consultant un moniteur.

Analyse des émotions

L’observation du visage de l’apprenant par la caméra ouvre également la voie à l’analyse des émotions. Selon le Facial Action Coding System, il existe une quarantaine d’unités d’action de base dans l’utilisation des muscles du visage, qui sont liées à des émotions précises.

En reprenant les exemples cités plus haut, on peut savoir comme l’apprenant réagit à une œuvre d’art ou fait preuve d’assurance dans l’examen de défaut de fabrication. En détectant des signes d’efforts trop grands ou de découragement, le tuteur robotisé pourrait proposer des stratégies de communication avec l’enseignant ou les pairs sous forme de participation à un forum, d’envoi de messages textes ou de rencontres en personne. Pour en renforcer l’efficacité, ce dispositif doit être couplé à l’analyse émotionnelle de la voix.

Publicité pour des routines d’analyse émotionnelle (EN ANGLAIS)

Si l’analyse des émotions peut être utile au tuteur, on peut douter de la pertinence d’une rétroaction directe à l’apprenant, puisque lorsqu’elles surgissent, les émotions ont tendance «  à prendre le dessus » et sont très bien perçues par l’individu. Ici également, le respect de la vie privée est primordial; on doit s’assurer de cesser les observations lorsque l’apprenant interrompt l’utilisation du manuel pour se lancer, par exemple, dans une interaction sociale en ligne ou sur place.

Agir par la pensée

Des démonstrations étonnantes de contrôle de drone par la pensée ont été réalisées ces dernières années. En imaginant un mouvement, on active certaines zones du cerveau, ce qui permet de piloter des appareils par la pensée.

Démonstration de contrôle d’appareil par la pensée (en français)

Si la mesure de l’activité électrique du cerveau a jusqu’ici fait appel à des dispositifs encombrants assemblés autour de la tête, les électrodes peuvent aujourd’hui être remplacées par un simple bracelet, possiblement celui d’une montre intelligente. Certaines bibliothèques de programmes d’analyse sont déjà disponibles gratuitement, dont la série BCI2000 ou OpenVIBE.

Commençons par un exemple du spectre des ondes cérébrales.

Tableau 1 : typologie des ondes d’électroencéphalogramme

De nombreuses pathologies, parfois non détectées autrement, se traduisent par des modèles typiques au niveau des ondes cérébrales. Le tuteur robotisé pourra attirer l’attention de l’enseignant dans ces occasions. Pour la majorité des apprenants, le tuteur robotisé visera essentiellement à obtenir et maintenir un niveau optimal d’ondes beta chez l’apprenant adulte, d’ondes mu chez l’enfant, en surveillant et sanctionnant des plages de type delta ou theta !

Et la vie privée dans tout cela ?

Dans un contexte où les établissements souhaitent de plus en plus offrir un soutien personnalisé en fonction des styles d’apprentissage et des handicaps propres à chaque individu, l’utilisation d’un tuteur robotisé permettrait de dépister beaucoup plus rapidement les handicaps et difficultés éprouvés tout en offrant des éléments de soutien quant à la motivation et aux habitudes de travail.

Nous avons signalé à plusieurs reprises les risques d’atteinte à la vie privée. Avant tout, il convient de rappeler que la majorité d’entre nous troquons à plus ou moins grande échelle une partie de nos données personnelles en échange de services gratuits.

Les utilisateurs de service de courriel Google, Hotmail ou MS Exchange découvriront avec surprise un sociogramme démontrant les correspondants les plus actifs des correspondants occasionnels à l’aide du service gratuit Immersion du Media Lab du MIT. Des renseignements sur notre réseau de relations qui peuvent certainement intéresser la NSA aux États-Unis.

Figure 2 : sociogramme anonymisé des courriels envoyés et reçus au moyen d’un compte public. On y distingue un amas au niveau de la famille et trois réseaux distincts d’activité professionnelle.

Si vous utilisez Google Maps ou un iPhone dans vos déplacements, il y a de fortes chances pour vous n’ayez pas modifié les paramètres de suivi de vos positions, qui sont activées par défaut. Si vous avez un compte Gmail, ce site vous révélera l’historique de vos déplacements avec l’heure précise.

Figure 3, historique des positions dans la première moitié du mois de juillet 2013.

De leur côté, la plupart des utilisateurs d’iPhone ne désactivent pas la localisation des lieux fréquents, et le système les accumule. Tout téléphone non protégé par un mot de passe est en mesure de livrer un grand nombre de détails sur votre vie privée. 

Figure 4, carte automatiquement enregistrée d’un point de visite d’un utilisateur de iPhone.

Si, il y a cinq ans, une telle exposition de la vie privée apparaissait encore inconcevable et inacceptable, elle est pourtant devenue courante, pour ne pas dire presque acceptée d’office.

Compte tenu des contraintes budgétaires liées à un accompagnement personnalisé et du fait que certains domaines d’enseignement comportent des exigences très élevées en matière de sécurité (industrie de l’aviation et forces armées) et de maîtrise de nouvelles habiletés, le suivi personnalisé par un assistant virtuel peut certainement améliorer les performances d’un apprenant.

Ces technologies que sont l’oculométrie, l’analyse des émotions et les électroencéphalogrammes offrent également quantité d’applications utiles en dehors de l’éducation, en particulier dans le sport et la santé, dont il serait bête de se priver.

La question fondamentale est de déterminer si, en échange de la transmission et des risques d’exposition de nos données personnelles (qualité du sommeil, activité physique, habitudes de déplacements et comportement en situation d’apprentissage), nous estimons que la contrepartie, sous forme de suivi et de dépistage personnalisés, vaut ce prix.