Ce module porte sur la conception de questionnaires informatisés autocorrectifs dits "tests", proposés dans différents contextes, indépendamment du dispositif technique utilisé.
Le numérique facilite la conception et la diffusion de tests. Nous verrons qu'il est désormais prouvé que les (bons) tests facilitent l'apprentissage. Dans ce contexte, comment réaliser et diffuser un test efficace ? Vous aborderez cette problématique en réalisant une dizaine de questions formatives autocorrectives.
Activité 1 - Exercices, quiz... De quoi parle-t-on ?⚓
Identifier les composants d'un item de test
Les tests comportent des invariants que vous allez identifier dans la question suivante. Le vocabulaire correspondant est également introduit. Vous le retrouverez dans les publications sur le sujet.
Activité 2 - Pourquoi proposer des exercices, quiz ?⚓
A l'issue de cette activité, vous aurez compris ce qu'un test apporte en termes de gains par rapport aux réponses à construire.
Estimer le potentiel des tests dans différents contextes, en particulier par rapport aux réponses à construire
« Il y a deux manières pour l'apprenant de signaler ce qu'il a appris : construire sa réponse ou la choisir dans une liste multiple. »
(Philippe Dessus[*]) Ces deux modes de réponse ne sont pourtant pas équivalents. Et si vous y réfléchissiez avant d'aborder la question suivante, par exemple en dressant une liste des avantages de chacun des modes de réponse ?
avantages "Réponses type QCM et assimilés" | avantages "Réponses à construire" |
... | ... |
Les tests peuvent être proposés dans différents contextes en fonction de l'objectif fixé. Les évaluations diagnostiques et sommatives doivent permettre de mesurer un niveau (acquis de l'apprentissage) alors qu'une évaluation dite formative contribue à l'apprentissage.
De nombreuses études (citées dans cet article[*], paragraphe « Quelques avantages des QCM) »
montrent que la fiabilité d'une évaluation sommative est indépendante du mode de réponse. Autrement dit, les performances mesurées sont équivalentes avec des réponses à construire et des réponses à choisir dans une liste. Mais les épreuves type QCM sont plus faciles à mettre en œuvre à large échelle.
Connaître le potentiel des tests pour l'apprentissage
Les tests peuvent être formatifs en permettant à l'apprenant de s'exercer avec de nombreux problèmes en bénéficiant de fréquentes rétroactions en temps réel.
La question suivante aborde d'autres apports des tests, confirmés par des recherches.
Et vous, où en êtes-vous dans votre apprentissage des tests ? Vos conceptions ont-elles évolué depuis le début de ce module auto-formatif ?
Conseil : Mutualiser pour réutiliser
Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. C'est le cas par exemple de LearningApps et plus récemment de Quizinière.
Selon les dispositifs, il est plus ou moins facile d'isoler les items des tests pour les réutiliser dans d'autres contextes. Les plus spécialisés (par exemple Questionmark Perception) permettent de constituer des banques d'item, en les important si nécessaire.
Dans tous les cas, il est indispensable de bien indexer les ressources et/ou organiser les ressources pour faciliter la recherche.
[Consultez les conditions d'utilisation de LearningApps , les conditions d'utilisation de Quizinière et les conditions d'utilisation de Questionmark Perception. Vous pouvez choisir d'utiliser d'autres outils.]
Activité 3 - Comment réaliser des exercices, quiz efficaces?⚓
La question introductive suivante dévoile trois critères d'efficacité d'un test et trois compétences requises pour réaliser un test efficace. Elles seront développées dans cette dernière partie, qui vous propose également des grilles d'analyse pour accompagner la conception.
Rechercher des distracteurs porteurs d'information
Les réponses erronées proposées, dites « distracteurs », doivent décourager le choix par élimination et ainsi stimuler la réflexion. L'analyse des performances au test, en lien avec les réponses erronées choisies, sera alors plus instructive.
La question suivante l'illustre avec un item d'un test de positionnement en mathématiques[*] soumis aux nouveaux élèves de seconde des lycées français.
D'autres règles de rédaction ont été compilées. Vous pouvez en prendre connaissance dans les catégories « Les formes de la rédaction »
(4:28 à 6:07) et « Les solutions proposées »
(6:07 à 8:54) de cette vidéo « 20 règles de rédaction des QCM »
[9 avril 2020], 7mn38 : https://videos.univ-grenoble-alpes.fr/video/7811-20-regles-de-redaction-des-qcm/
Fournir des rétroactions formatives
Vous pourrez extraire de la question suivante une liste d'indicateurs pour évaluer la qualité des rétroactions de vos tests. L'enjeu pour l'apprenant devrait vous motiver à accorder le temps nécessaire à cette étape, d'autant plus aisée que vous avez choisi des distracteurs pertinents, basés sur votre connaissance des conceptions erronées et autres erreurs-types.
Conseil :
La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Par exemple, vous avez bénéficié dans ce module de rétroactions immédiates aux questions proposées. Dans la forme Quiz de Canoprof, moins formative, la rétroaction est différée à la fin et s'accompagne d'un score.
Pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.
Les deux modes d'accès sont possibles avec Tactileo, alors que Quizinière propose un accès élève par code uniquement et une rétroaction uniquement différée.
[Consultez les conditions d'utilisation de Canoprof, les conditions d'utilisation de Tactileo et les conditions d'utilisation de Quizinière. Vous pouvez choisir d'utiliser d'autres outils.]
Ce qu'il faut retenir⚓
Définition :
Un questionnaire informatisé ou test est composé de différents items, eux-mêmes composés d'une amorce indiquant a minima la tâche à effectuer et d'un support de réponses. Les formes des réponses dépendent du dispositif technique utilisé. La plupart constituent des variantes au type QCM (question à choix multiple) ou QCU (question à choix unique). L'une au moins des réponses est correcte, les autres propositions sont des distracteurs. Les tests sont autocorrectifs, contrairement aux sondages et aux questionnaires à réponses à construire. Une rétroaction (ou feedback) peut être donnée après soumission.
Attention :
Il est désormais prouvé qu'un (bon) test peut aussi évaluer des connaissances complexes (selon la taxonomie de Bloom), mesurer fidèlement l'apprentissage réalisé et même améliorer l'apprentissage.
Les tests peuvent ainsi être proposés dans différents contextes en fonction de l'objectif fixé.
Les tests permettent de mesurer un niveau dans le cadre d'une évaluation diagnostique ou sommative avec une fiabilité au moins équivalente à une évaluation avec des réponses à construire.
Les tests peuvent être formatifs et donc contribuer à l'apprentissage. L'apprenant peut s'exercer en autonomie à condition de bénéficier de fréquentes rétroactions de qualité. Les tests rendent le contenu qui y est exposé plus accessible en mémoire au cours des activités suivantes. La perspective d'être soumis à un test stimule la concentration au cours des activités précédentes...
Quel que soit le contexte, des tests dits adaptatifs (le niveau des activités proposées varie en fonction des performances précédentes) peuvent être proposés. Le fait que l'apprenant soit encouragé à répondre en choisissant sa réponse dans une liste est bénéfique à condition que les distracteurs soient judicieusement choisis.
Conseil :
Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. La phase de recherche est facilitée par l'indexation des ressources.
Méthode :
S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale permet d'évaluer précisément les progrès (ou acquis de l'apprentissage). La théorie de l'alignement constructif montre également qu'un test sommatif et donc terminal en principe impacte également la qualité des apprentissages. Pour appliquer la démarche, il est conseillé de renseigner un tableau de spécification.
Des distracteurs porteurs d'information stimulent la réflexion des apprenants et informent sur l'erreur.
Des rétroactions formatives accroissent l'autonomie des apprenants. La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Cependant, pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.