Approfondir l’analyse des programmes grâce à la visualisation des données des étudiants

En octobre 2017, j’ai assisté à une présentation de Sameer Bhatnagar et Jonathon Sumner intitulée “Program Analytics” (« Analytique des programmes ») lors d’une journée pédagogique au Collège Dawson. J’en suis ressorti impressionné par l’initiative du Collège en matière d’analyse de l’apprentissage. J’ai contacté les animateurs de l’atelier afin qu’ils puissent partager les détails de leur projet dans le réseau collégial.

Jonathon Sumner (à gauche) et Sameer Bhatnagar, du Département de physique du Collège Dawson

Depuis quelques années, Sameer et Jonathon sont coordonnateurs dans le programme de Science au Collège Dawson. À ce titre, ils ont été appelés à répondre à certaines interrogations liées :

• À l’élaboration et à la révision de politiques (ex.: Combien d’étudiants seraient affectés par un changement dans les critères de rétention et d’avancement dans le programme?)
• Aux tendances en éducation (ex.: L’inflation des notes est-elle un problème dans notre département?)
• La gestion (ex.: Quel pourcentage d’étudiants tend à redoubler un cours, et donc, combien de manuels devrait-on commander?)

Ils ont rapidement constaté que plusieurs programmes faisaient face aux mêmes interrogations et que les réponses se trouvaient probablement quelque part dans les données académiques. Partant de cette idée, ils ont décidé de construire une plateforme web pour permettre aux intervenants pédagogiques de visualiser une grande quantité de données et de les manipuler avec des filtres, le tout dans un outil intégré qui ne nécessite pas l’installation d’un logiciel.

Capture d’écran de l’application d’analyse de programme. Aperçu du profil d’entrée typique d’un programme, avec les écoles de provenance, la répartition démographique et la distribution des notes en secondaire 5 des étudiants d’une nouvelle cohorte. L’utilisateur peut basculer le sélecteur de session pour voir si des tendances ressortent de son programme avec le temps.

Pouvez-vous nous raconter comment le projet d’analyse de programme a vu le jour?

Par notre travail avec les comités de programme, nous avons remarqué que les gens nous posaient beaucoup de questions sur les tendances dans les programmes. Nous avons décidé de modifier notre approche : plutôt que de chercher des réponses à des questions précises, nous voulions offrir un outil à nos collègues pour leur permettre d’effectuer leurs recherches de manière autonome.

C’est ainsi qu’au début de l’hiver 2017, nous avons décidé de bâtir une plateforme web pour représenter l’information de manière visuelle.

Nous avons terminé le prototype au printemps 2017 et l’avons montré aux membres de notre administration. Ils étaient enthousiastes et nous ont encouragés à peaufiner l’application pendant l’été pour la rendre accessible à l’automne. La journée pédagogique à Dawson en octobre fut l’occasion de lancer l’outil et de le faire connaître à l’interne.

Pourquoi considérez-vous ce projet important?

Les collèges génèrent une quantité énorme de données. Pourtant, nous ne faisons pas grand-chose avec celles-ci, à part gérer les opérations ou extraire quelques indicateurs clés de performance (ICP). Ce projet est un premier pas pour tenter de faire plus.

Nous pensons tous les deux que c’est en présentant les données de manière visuelle qu’il devient possible de dégager une vue d’ensemble et d’identifier les problèmes – ce qui fonctionne et ce qui ne fonctionne pas. Ne pas regarder les données, c’est comme avancer dans le noir.

Lorsque nous creusons davantage, la méthode de travail habituelle consiste à produire un rapport qui sera ensuite résumé par le comité de programme. S’il y a des problèmes, une personne ou un sous-comité sera mandaté pour extraire encore plus de données dans l’espoir de les résoudre.

En raison du temps et des ressources limités, le processus de forage des données implique 1 ou 2 personnes, mais souvent, au moment où elles progressent enfin, l’année change et un nouveau rapport est produit. Il y a tout simplement trop de données pour une seule personne. Plus il y a de regards différents sur un même problème, plus les chances de le résoudre sont élevées. En rendant les données accessibles sur une plateforme web, nous avions l’impression que cela permettrait un regard croisé sur le problème.

Quels sont quelques-uns des avantages de la visualisation des données?

Il s’agit peut-être d’un cliché, mais une image vaut vraiment 1000 mots.

Nous connaissons tous les tableurs et nous comprenons que les données brutes ont une valeur limitée. Il faut créer un graphique ou une autre forme de représentation visuelle pour pouvoir identifier des tendances ou des modèles intéressants. L’idée derrière l’application que nous avons créée, c’est de permettre aux utilisateurs de manipuler les données et d’interagir avec elles, sans avoir à passer par une démarche fastidieuse.

Pour pouvoir identifier des tendances significatives, nous avons tenté de rassembler le plus d’information possible au même endroit à partir des données des 5 dernières années. Il y a plusieurs affichages intéressants qui pourraient offrir un aperçu de l’expérience des étudiants ou des forces et faiblesses d’un programme. Cela va de l’affichage interactif des ICP (par exemple, le taux de réussite d’un cours, le taux de rétention ou de diplomation du programme) où il est possible d’activer ou de désactiver les filtres aux visualisations statiques (comme les écoles de provenance des étudiants).

Une capture d’écran de la plateforme d’analyse de programme. Visualisation d’un ICP. L’application utilise des outils en ligne pour offrir un contexte, une interactivité et des visualisations supplémentaires aux utilisateurs.

Sur la page d’accueil de votre application, vous comparez les étudiants à des galaxies d’étoiles gravitant autour des programmes. Pouvez-vous nous en dire davantage?

La quantité de données est tellement imposante que nous avons passé une partie de l’été à nous demander comment nous allions représenter son envergure de manière esthétique.

L’image qui nous est venue en tête est que les programmes sont comme des galaxies autour desquelles gravitent les étudiants. La page d’accueil de notre application est une représentation fugitive de la base de données. Les petits points lumineux représentent les étudiants regroupés autour des différents programmes. Cette visualisation est une animation et on voit parfois des étudiants quitter leur « orbite » pour passer d’un programme à un autre. Bien que l’outil n’ait pas été conçu à des fins d’analyse, il nous permet de suivre l’évolution de notre « univers » en tant que collège, en révélant quels programmes tendent à perdre des étudiants et quels programmes en attirent davantage.

Comment ces données vont-elles aider les intervenants pédagogiques du Collège Dawson?

Plusieurs collèges ont un programme ayant des problèmes de viabilité. Dans notre cas, l’un de nos petits programmes a récemment vécu un taux de réussite plus bas que d’ordinaire à la première session.

Nous avons utilisé notre application de visualisation de données et nous avons constaté que le cours Calcul différentiel constituait une pierre d’achoppement pour ces étudiants. Bien que ce cours soit offert à des étudiants provenant d’une grande variété de programmes, nous avons immédiatement constaté que les étudiants de ce programme en particulier avaient éprouvé plus de difficulté que ceux issus de programmes similaires. Sachant cela, le coordonnateur de programme est intervenu pour s’assurer que les étudiants connaissent les services offerts par le Département de mathématiques, et il les a encouragés à porter une attention particulière à ce cours en raison de son historique. Parfois, de petites actions comme celles-là suffisent à rectifier le problème.

Chaque année, les programmes produisent un rapport identifiant leurs forces, leurs faiblesses et leurs difficultés. Notre nouvel outil permet de rendre ce procédé continu. Plutôt que de demander à une personne, à la fin d’une réunion de programme, de se pencher sur un problème et de soumettre un rapport plusieurs semaines plus tard, nous pouvons lancer l’application pendant la réunion pour tenter de comprendre ce qui se passe et essayer de réfléchir ensemble à une solution.

Un collage des logiciels libres utilisés dans le cadre du projet d’analyse de programme du Collège Dawson

Pouvez-vous nous parler de votre décision d’utiliser des technologies libres et ouvertes (open source)?

Nous ne croyons pas que notre projet aurait été possible il y a 5 ans. La raison principale est que la qualité des technologies libres et ouvertes est aujourd’hui comparable à celle de leurs équivalents propriétaires. La documentation est souvent de qualité supérieure et la plupart des projets d’envergure sont soutenus par une communauté de développeurs dévoués. Cela permet à quiconque (le désirant vraiment) d’apprendre à partir de zéro et de réussir à produire un contenu riche en fonctionnalités.

De plus, notre vision depuis le début a été de faire quelque chose qui, à notre connaissance, n’avait jamais été fait auparavant (du moins, dans le réseau collégial). Cela signifie que nous voulions des outils et une structure offrant une flexibilité sans entraves. Seule la technologie libre et ouverte nous le permettait.

Notre éventail technologique provient de l’écosystème Python (Django comme cadre de développement web, Pandas pour la manipulation des données, SciKit Learn pour l’apprentissage automatique) et des technologies du Web 2.0 (HTML5, CSS et JavaScript). La plupart des visualisations sont réalisées avec D3.js. La combinaison de ces technologies nous offre tout ce dont nous avons besoin pour visualiser et manipuler les requêtes de données sur le web tout en garantissant un accès sécurisé à la plateforme.

Il semble y avoir une méconnaissance quant à l’endroit où les données des étudiants sont hébergées. Pouvez-vous nous éclairer à ce sujet?

Avant toute chose, la sécurité et la confidentialité des données sont très importantes. Il n’y a aucune information permettant d’identifier les personnes sur la base de données que nous utilisons. Toutes les entrées sont entièrement anonymisées.

Par rapport au lieu d’hébergement, comme la plupart des collèges, Dawson héberge sa base de données institutionnelle sur place. Le département informatique du collège est donc crucial pour notre projet. Il nous fournit un reflet anonymisé d’un sous-ensemble de cette base de données; seule l’information jugée pertinente et nécessaire pour le travail que nous effectuons nous est acheminée (par exemple, les dossiers d’admission, d’inscription et de diplomation). Les données brutes sont seulement accessibles derrière le pare-feu du collège et il faut un identifiant et un mot de passe pour pouvoir accéder à l’application.

Avez-vous prévu d’autres actions pour accroître les fonctionnalités de l’application de visualisation des données?

Nous travaillons actuellement à l’intégration de commentaires dans l’application. Bientôt, chaque page de visualisation des données aura un forum qui pourra être utilisé pour laisser des notes ou soutenir une discussion entre les membres du comité de programme et d’autres intervenants.

Nous en sommes également à créer des « rapports en direct ». Ce sont de courts rapports spécialisés qui intègrent les données en temps réel et qui évoluent en même temps qu’elles. Ce peut être particulièrement intéressant pour suivre des tendances précises dans un programme au fil du temps. Notre objectif à long terme est d’utiliser notre expertise en sciences des données pour aider le collège à prendre plus de décisions basées sur celles-ci, dans le but de maximiser la probabilité de réussite des étudiants. Cela s’apparenterait à de l’informatique décisionnelle, mais en milieu éducatif. Et, grâce aux récentes avancées de l’apprentissage automatique et de l’intelligence artificielle, nous avons bien d’autres idées en tête!

Une invitation au réseau

Sameer et Jonathon aimeraient éventuellement explorer l’agrégation des données et développer des partenariats dans le réseau collégial. Ils ont reçu une invitation à présenter leur plateforme de visualisation de données aux administrateurs d’un autre cégep montréalais avant la fin de l’année 2017. Je leur ai demandé s’ils aimeraient visiter d’autres collèges et ils sont très enthousiastes à l’idée de partager leur expérience avec les cégeps qui les recevront.

Félicitations Sameer et Jonathon pour le lancement de votre application de visualisation des données et merci de partager votre histoire avec le réseau collégial!