L’évaluation continue des programmes d’études à l’aide du numérique

La mise en oeuvre des programmes d’études est au coeur de la mission de chaque collège (Loi sur les collèges, Article 6). Plusieurs mécanismes existent pour assurer la qualité de ces programmes. L’un de ceux-ci est l’évaluation continue des programmes d’études, qui est actuellement en implantation dans notre collège. Nous avons exploré différents outils numériques afin de soutenir le travail des équipes-programmes dans cette transition. Ce dossier présente quelques-unes des stratégies numériques que nous avons mises en place ou que nous envisageons de développer à l’interne pour assurer le bon déroulement du processus d’évaluation continue.

État de la question

L’évaluation des programmes d’études

En vertu du Règlement sur le régime des études collégiales (RREC), chaque établissement d’enseignement collégial doit se doter d’une politique institutionnelle d’évaluation des programmes d’études (PIEP), adoptée par son conseil d’administration après consultation de sa commission des études, s’assurer de l’application de cette politique, et la faire évaluer par la Commission d’évaluation de l’enseignement collégial (CEEC).

La CEEC est un organisme d’évaluation externe, public et indépendant, dont la mission est de contribuer à l’amélioration continue de la qualité de l’enseignement collégial et d’en témoigner. Son mandat consiste notamment à évaluer, pour chaque établissement, la politique institutionnelle d’évaluation des programmes d’études et son application.

Dans son cadre de référence, la CEEC retient 6 critères d’évaluation:

• La pertinence du programme
• La cohérence du programme
• La valeur des méthodes pédagogiques et de l’encadrement des étudiants
• L’adéquation des ressources humaines, matérielles et financières
• L’efficacité du programme (incluant l’évaluation des apprentissages)
• La qualité de la gestion du programme

Lors du processus d’évaluation, certains collèges procèdent par l’analyse séquentielle des critères de la CEEC, alors que d’autres privilégient l’identification d’enjeux qui recoupent plusieurs critères.

Au Cégep régional de Lanaudière à L’Assomption, nous avons privilégié l’approche par enjeux afin de mieux représenter la réalité des programmes d’études.

De l’évaluation en profondeur à l’évaluation continue des programmes

Au secteur régulier, les évaluations de programmes donnent l’occasion aux enseignants de mettre en oeuvre une vision du programme qui répond aux besoins :

• Des étudiants
• Du milieu universitaire
• Des employeurs
• De la société en général

Auparavant, l’évaluation des programmes dans notre collège s’effectuait tous les 8 ans et se déroulait minimalement sur une année scolaire. Les comités de programmes formaient des équipes d’évaluation qui devaient :

• Établir un portrait de la situation et planifier le processus d’évaluation propre au programme dans un devis d’évaluation
• Développer des outils de cueillette de données pour sonder les enseignants, les étudiants, les employeurs, les universités, etc.
• Rédiger un rapport d’évaluation comprenant des recommandations pour améliorer le programme

En raison de leur durée, ces évaluations en profondeur ne permettaient pas nécessairement aux comités de programmes de s’arrimer avec les nouveaux programmes universitaires, les exigences des ordres professionnels et les transformations que vit le marché du travail, notamment en lien avec le numérique. De plus, elles mobilisaient beaucoup de ressources pour une longue durée, faisant en sorte que l’état de la situation pouvait avoir grandement évolué entre le portrait de situation initial et le rapport d’évaluation. Enfin, plusieurs recommandations du comité de programme exigeaient, pour être mises en oeuvre, d’être échelonnées sur plusieurs années dans le plan de travail.

Depuis quelques années, plusieurs collèges ont donc migré vers une évaluation continue de leurs programmes d’études, puisque celle-ci permet aux comités de programmes de réagir plus rapidement, en ciblant chaque année des éléments plus prioritaires.

Pour outiller les comités de programmes dans ce type d’évaluation, les différents services (organisation scolaire, service des programmes, services aux étudiants, services adaptés, etc.) doivent rendre l’information récente et longitudinale accessible. Pour favoriser la collaboration entre ces différentes équipes, nous avons exploré différents outils numériques pour optimiser nos pratiques de développement et d’évaluation de programme.

Dans la pratique

L’évaluation continue des programmes d’études exige de travailler en collégialité. Plusieurs comités de programmes souhaitaient optimiser le processus et faciliter :

• Le partage d’information
• La communication
• La collaboration
• La concertation des équipes de travail

L’utilisation d’outils numériques est apparue comme une solution pour soutenir efficacement les tâches des différentes équipes. Ces outils permettent notamment d’assurer un suivi des différents travaux d’évaluation, ce qui favorise la mise en oeuvre d’une réelle évaluation continue des programmes.

L’équipe du Service des programmes et du développement pédagogique a sélectionné divers outils numériques. Le choix de ces outils a reposé sur différents critères, comme :

• La pérennité des informations stockées
• Le coût
• Le soutien technique accessible
• La courbe d’appropriation requise
• Les fonctionnalités, l’accessibilité et la flexibilité offertes

Les outils de cueillette de données

Pour sonder les différents intervenants, des questionnaires d’appréciation standardisés seront proposés aux comités de programmes. Ils sont destinés à recueillir des données perceptuelles, de manière longitudinale, auprès des futurs étudiants, des étudiants, des finissants, des employeurs, des maîtres de stages et du milieu universitaire afin d’alimenter les travaux des comités de programmes.

Ces questionnaires seront révisés annuellement par le comité de programme et les participants y répondront en ligne. Ils seront validés par le comité de programme et la compilation des réponses sera réalisée par le Service des programmes.

Pour mener ces enquêtes, nous avons opté pour l’utilisation du logiciel libre LimeSurvey. Sa flexibilité nous permet de sonder facilement les acteurs externes tels que les finissants, les employeurs ou le milieu universitaire. Ce type de solution d’enquêtes réduit le délai pour l’envoi, la réception et la compilation des données.

Copie d’écran d’un questionnaire créé dans LimeSurvey

Les résultats des enquêtes sont analysés, validés et révisés pour être le plus représentatifs et accessibles possible. Par exemple, un graphique montrant la répartition des réponses selon une échelle d’appréciation permet de visualiser rapidement les résultats. L’illustration suivante permet de valider si les compétences de la formation générale dans un programme technique répondent bien aux besoins exprimés par les différents acteurs (étudiants, finissants, employeurs).

Exemple de tableau d’analyse pour l’appréciation des compétences par les étudiants de 3^e année d’un programme technique.

Les outils d’information

Pour regrouper et centraliser l’ensemble de l’information nécessaire aux travaux des programmes, des sites SharePoint pour chaque programme sont en développement. Ces sites, accessibles en lecture seule aux membres des comités de programmes du Cégep, regroupent les informations relatives au programme, notamment :

• Les documents structurants (devis ministériels, plans-cadres, plans de cours, profils de sortie, logigrammes de compétences, etc.)
• Les personnes-ressources (coordonnateurs, représentants, personnel de soutien, professionnels, direction)
• Des sites web d’intérêt (pages des autres collèges, ordres professionnels, etc.)

Exemple de page SharePoint pour un programme regroupant les documents structurants, le tableau de bord, les acteurs concernés et des liens d’intérêts d’un programme [GIF animé].

Ces sites comprennent également un accès aux tableaux de bord qui regroupent des informations longitudinales pertinentes (statistiques et données perceptuelles) pour un programme d’études. Ces informations sont issues des systèmes de gestion, des données ministérielles et des questionnaires d’appréciation continue.

Les tableaux de bord ont également pour but d’alimenter les travaux des comités de programmes. Ils sont créés de manière dynamique à partir des statistiques ciblées par les comités de programmes. Ces tableaux de bord présentent notamment des statistiques sur :

• L’admission et l’inscription
• Le type de population
• Le cheminement scolaire
• La réussite en 1re session et la persévérance
• La diplomation, le placement et l’admission à l’université

Des résultats d’enquêtes auprès des acteurs clés du programme (étudiants, finissants, enseignants, employeurs, milieu universitaire, etc.) sont également versés dans ce site. Pour respecter la confidentialité et éviter que des renseignements nominatifs soient partagés, l’ensemble des données est anonymisé par le service qui les fournit.

Dans les prochaines années, les futurs étudiants du programme Techniques d’intégration multimédia devraient être mis à contribution pour développer et mettre à jour les tableaux de bord. Pour développer ceux-ci, nous nous sommes inspirés des modèles du Cégep Heritage, qui a développé ses propres tableaux de bord pour l’analyse des données internes.

Exemple de tableau de bord d’un programme

Exemple de tableau de bord d’un programme montrant le taux de réussite des cours d’étudiants de première session

D’autres collèges ont développé des solutions similaires, notamment le Collège Dawson, dont le projet d’analyse des programmes grâce à la visualisation des données des étudiants a fait l’objet d’un article dans Profweb.

Les outils de collaboration

Liées aux outils d’information, des solutions pour favoriser la collaboration sont également en expérimentation. Ainsi, la gestion de certains programmes s’effectue par l’entremise de groupes de travail dans Microsoft Teams. Cet outil nous permet de regrouper les échanges et les documents des équipes restreintes d’actualisation des programmes.

Exemple de canal de discussion dans Microsoft Teams (582 – Techniques d’intégration multimédia)

Pour développer certains outils plus complexes, comme des profils de sortie ou des logigrammes de compétences, les solutions collaboratives d’Office 365 (PowerPoint Online) ou de LucidChart sont utilisées. Ces outils nous permettent de collaborer en temps réel à l’expression de la vision concertée (profil de sortie, logigramme, descriptif des cours, etc.) du programme par les membres du comité de programme.

Exemple de logigramme de compétences en Techniques d’éducation à l’enfance créé avec PowerPoint Online

Les outils de validation

En plus du développement de nombreux gabarits pour la production des documents structurants (descriptifs de cours, plans-cadres, plans de cours, etc.), nous développons également un outil standardisé pour la révision des grilles de cours. Cet outil a pour objectif d’assurer la conformité (respect des prescriptions ministérielles), la cohérence (avec le profil de sortie, le logigramme de compétences, etc.), la qualité (pédagogie de première session, répartition optimale de la charge de travail, poids relatif des disciplines, etc. ) et le coût (impact sur la tâche des enseignants, besoin en locaux, etc.) des propositions de grilles de cours développées par les équipes d’actualisation programmes.

Cet outil nous permet d’informer les enseignants sur les nombreuses balises encadrant les programmes d’études, de nous assurer de la conformité des nouvelles propositions de grille, tout en respectant les orientations émises par les différents acteurs du programme.

Ce type d’outil permet également aux enseignants de mieux s’approprier le processus de révision de grille de cours, de diminuer le risque d’erreurs et de mieux cerner les impacts et les opportunités liés à ce type de révision.

Conclusion

Dans son cadre de référence sur l’évaluation des PIEP, la CEEC énonce 3 conditions (le leadership, la participation et le respect de principes déontologiques) et 3 caractéristiques (l’utilité, la faisabilité et la rigueur) de travaux d’évaluation de qualité.  À travers la révision et la mise en oeuvre de notre PIEP, nous avons tenté de respecter le plus possible ces éléments afin de proposer un processus d’évaluation des programmes mobilisateur permettant aux comités de concrétiser leur propre vision des programmes.

L’utilisation du numérique soutiendra les programmes dans leurs travaux d’évaluation. Ces outils de cueillette de données, d’information, de collaboration et de validation permettent de gagner en efficacité, d’assurer une collecte et une analyse des données plus systématiques, de favoriser la collaboration et de rendre l’information plus accessible. Ces avantages faciliteront la transition vers une évaluation continue des programmes et le maintien à long terme de cette pratique. Nous espérons être en mesure de mettre en oeuvre ces pratiques le plus tôt possible afin de mobiliser encore davantage l’ensemble de notre communauté dans le développement de programmes de qualité.

Références utiles

• Allaire, H. (1999). L’évaluation de programmes : un processus de changement. Montréal : Association québécoise de pédagogie collégiale.
• Commission d’évaluation de l’enseignement collégial (2011). L’évaluation des politiques institutionnelles d’évaluation des programmes d’études : 2^e édition.
• Éditeur officiel du Québec (2018, 12 juillet). Chapitre C-29 : Loi sur les collèges d’enseignement général et professionnel.
• Éditeur officiel du Québec (2018, 1^er août). Chapitre C-29 r.4 : Règlement sur le régime des études collégiales, Loi sur les collèges d’enseignement général et professionnel.
• Gareau, B. (2011). Élaboration et expérimentation d’une approche d’évaluation des programmes axée sur l’accompagnement et l’utilisation des résultats (Maîtrise en éducation, Université de Sherbrooke, Sherbrooke).
• Moon, R. W. (2018). Approfondir l’analyse des programmes grâce à la visualisation des données des étudiants. Publié sur le site de Profweb.