Adaptatif, vous dites!
Le voilà! Le test de classement en anglais langue seconde (eTCALS), version adaptative, est maintenant disponible et prêt à remplacer la version précédente.
Toute l’histoire a commencé le 26 août 2008 alors que le ministère de l’Éducation, du Loisir et du Sport (MELS) lançait un appel d’offres intitulé « Modernisation du test de classement en anglais langue seconde ». Cet appel visait à confier le mandat d’informatiser le TCALS 98, un test de classement d’anglais langue seconde développé à la fin des années 90. Quelques semaines plus tard, le 14 octobre, le MELS informait le CCDMD qu’il avait retenu sa candidature pour la modernisation du test.
Interface du test de classement en anglais langue seconde (eTCALS)
Le CCDMD a alors formé une équipe de spécialistes dans le but de produire un test adaptatif qui pourrait se renouveler d’année en année. Ce projet comportait un certain nombre de défis. Alors que la mise en ligne du test était, en soi, relativement simple du point de vue informatique, le véritable enjeu était de pouvoir renouveler le test et le rendre adaptatif.
Mais qu’est-ce qu’un test adaptatif? Un test dit adaptatif a la capacité de tenir compte des réponses du sujet qui est évalué et de pouvoir ainsi situer rapidement son niveau de compétence en lui fournissant des questions correspondant à ce niveau. Les tests adaptatifs sont utilisés principalement pour évaluer des compétences comme la maîtrise d’une langue. Ils permettent aussi d’offrir une multitude de variétés de questions lors des passations. Par exemple, chaque sujet évalué doit répondre à des questions qui sont différentes de celles des autres sujets évalués et chacun des tests comporte un nombre de questions différent selon le niveau de compétence des sujets évalués.
Cette particularité, l’aspect adaptatif du test, nécessitait le développement d’algorithmes mathématiques et informatiques assez complexes afin de s’assurer d’un fonctionnement optimal. Après deux ans de réflexions, d’analyses, de discussions et de programmation, nous y sommes finalement arrivés. Le eTCALS adaptatif pourra être utilisé dès le début du mois de mai 2011.
Un autre avantage de ce test adaptatif est qu’il sera possible d’y ajouter des questions au moment souhaité. Cette année, par exemple, nous insérerons une centaine de questions qui seront catégorisées par le test durant les prochains mois et intégrées progressivement dans le test.
Dernier point très important dont nous devions tenir compte dans le développement du test : s’assurer que cette nouvelle version pouvait classer les étudiants de la même façon que la version précédente non adaptative l’avait fait. Nous avons donc procédé à une validation auprès de trois collèges. Rimouski, Bois-de-Boulogne et Valleyfield ont collaboré en nous fournissant chacun les noms de 25 étudiants de divers cours d’anglais pour participer à une évaluation comparative, c’est-à-dire qu’ils devaient répondre à l’ancien test standard et au nouveau test adaptatif l’un après l’autre. Au grand plaisir de toute l’équipe de développement, les étudiants ont été classés de la même façon aux deux tests! Comme nous n’avions pas le choix de réussir, inutile de vous dire à quel point nous sommes fiers de ce produit et de ceux qui l’ont conçu!
Comme on peut le constater, la réalisation d’un test adaptatif, bien qu’elle soit complexe, a de nombreux avantages. Dans les prochaines semaines, nous entreprendrons le développement d’un test de classement pour le français langue seconde qui pourra éventuellement être utilisé dans les collèges par les étudiants non francophones qui doivent suivre des cours de français. Et qui sait, il sera peut-être possible bientôt de développer plus facilement ce type de test pour mesurer les compétences de nos étudiants dans diverses matières?
C’est un magnifique travail et une expertise qui profitera aussi au programme de Francisation en ligne (MICC) bientôt. Bravo!
Voilà une nouvelle fort intéressante. Déjà on peut envisager bien d’autres avenues pour une telle ressource, si toutefois elle permet de telles utilisations.
À voir!!
Si vous désirez lire sur le sujet, ce rapport d’une recherche PAREA vous intéressera: «Le Dépistage du sous-classement aux tests de classement en anglais, langue seconde, au collégial», de Gilles Raîche.Rapport PAREA http://www.cdc.qc.ca/textes/raiche_PAREA_2001_depistage.pdf