Retour aux fondamentaux, je vous propose de passer en revue les dimensions qui structurent la démarche d’évaluation numérique. On va essayer ensemble de construire une approche un brin systémique… Cette approche m’interroge sur la capacité qu’à aujourd’hui l’Education Nationale de s’emparer de cette question. Elle est certes complexe et les enjeux sont immenses, alors, on respire un grand coup et on réfléchit !
J’ai identifié 14 dimensions qui interrogent le concepteur d’évaluation. Un bon moyen de positionner son travail et d’affiner sa démarche.
Dimension 1 : Finalité
| Finalité | Confrontation | Descriptions |
| Formatif | Au contenu de formation | Un quiz en ligne après une leçon pour vérifier la compréhension immédiate des élèves. |
| Sommatif | Au programme de formation | Un examen en ligne à la fin d’un module pour évaluer l’ensemble des connaissances acquises. |
| Diplômant | Au référentiel du diplôme | Une évaluation certifiante en ligne pour l’obtention d’un diplôme ou d’une certification professionnelle. |
| Diagnostic | Difficultés attendues | Un test permettant de révéler des lacunes dans les connaissances ou compétences des élèves. |
| Placement | Exigence de la destination (seuil de connaissance / compétence / maîtrise) | Un test initial pour déterminer les connaissances préalables des élèves sur un sujet afin de les orienter vers le niveau ou le cours approprié. |
| Normatif | Performance d’un groupe / niveau relatif défini sur les passation antérieure (place en rapport à la population testée) | Un test standardisé où les résultats des élèves sont comparés à ceux d’un groupe de référence pour situer leur niveau relatif, comme les tests nationaux ou internationaux. |
| Critériés | Seuils de maîtrises/savoirs dans différents types de compartiment combinés | Une évaluation où les performances sont mesurées par rapport à des critères spécifiques prédéfinis, indépendamment des performances des autres élèves, comme l’obtention d’un permis de conduire. |
| Standardisé | Administration uniformisée et comparable | Un examen administré de manière identique pour tous les participants afin d’assurer la comparabilité des résultats, comme les tests PISA ou le baccalauréat national. |
| Performance | Positionnement sur un axe ciblant un ou des performances dans une activité | Une évaluation pratique où l’élève doit réaliser une tâche spécifique pour démontrer ses compétences, par exemple un récital musical ou une présentation de projet. |
| Aptitude | Mesure de potentiel | Un test qui évalue les capacités innées ou le potentiel d’un élève dans un domaine particulier, comme un test d’aptitude logique ou verbale pour l’orientation professionnelle. |
| Rendement | Mesure la vitesse d’acquisition | Une évaluation qui mesure la rapidité avec laquelle un élève acquiert de nouvelles compétences ou connaissances, comme des tests chronométrés de mathématiques mentales. |
| Autoévaluation | Repère pour aider l’élève à construire une façon d’apprendre | Un questionnaire ou une grille que l’élève utilise pour s’auto-évaluer, réfléchir sur ses apprentissages et identifier ses points forts et axes d’amélioration. |
| Contrôle | Vérification du travail attendu (suivi des règles définies par l’enseignant) | Un contrôle régulier pour vérifier que l’élève a réalisé les tâches assignées, comme la remise de devoirs ou la participation active en classe virtuelle. |
Dimension 2 : modalités
| Modalités | Réponses | ||||
| Instructions | Ecrite | Orale | Visuelle | En Action | Dans une Simulation |
| Ecrites | Créer un petit texte (réponse ouverte) | Lire à voix haute une phrase en anglais | Relier des étiquettes | Réponse au clic sur un choix | Mettre en œuvre un contexte pour faire une tache |
| Orales | Réponse ouvert | Dialogue | Dessiner sur un canvas | Réponse au clic | Dialogue |
| Visuelles | La consigne s’appuie sur un schéma pour une réponse ouverte | La consigne s’appuie sur un schéma pour une réponse ouverte | Modification d’un schéma | Opération définie à faire sur un schéma (cliquer des zones) | Dessin / action graphique comme peindre, entourer… |
| Par Simulation | Renseigner des champs texte dans la simulation | Interaction orale dans la simulation (coup de fil) | Interaction graphique dans la simulation | Interaction avec une interface définie dans la simulation | Rétablir une situation, modifier, enchaîner une suite d’opérations nécessaires… |
Dimension 3 : Enchaînement des épreuves / items/ tests
| Enchaînement | Descriptions |
| Adaptatif | L’item suivant dépend de la justesse de l’item précédent |
| Linéaire | Les items s’enchaînent selon un ordre défini. Toute réponse est définitive |
| Non-Linéaire | L’élève peut revenir sur ses réponses et les modifier |
| Conditionnelles | Certaines questions permettent d’orienter le questionnaire |
| Branchement adaptatif | Les questions suivantes dépendent des réponses données précédemment, créant ainsi un parcours personnalisé. |
| Modules indépendants | Les élèves peuvent choisir l’ordre dans lequel ils passent les différents modules d’évaluation. |
Dimension 4 : Support
| Support (en plus des instructions) | Descriptions |
| Aucun | La question est complète et ne nécessite aucun support complémentaire |
| Stimulus unique | Il peut concerner une ou plusieurs questions |
| Plusieurs stimulus | La recherche d’information à travers plusieurs documents est un exemple |
| Ressources externes contrôlées | Accès à des documents spécifiques autorisés par l’enseignant. Fausse navigation sur le Web. |
| Navigation web ouverte | Ceci doit être utilisé avec prudence |
| Open book | Les supports d’apprentissage sont nécessaires |
| Application(s) | Utilisation de simulations, de laboratoires virtuels ou d’environnements immersifs. D’outils type GéoGébra |
| Matériel physique | Instruments, maquettes ou équipements spécifiques nécessaires pour certaines évaluations pratiques. |
Dimension 5 : Fréquence
| Fréquence | Exemples |
| Unique | Evaluation sommative / diplômante |
| Multiple | Contrôle continu |
| Régulière /périodique (hebdomadaire, mensuelle) | Accompagnement des apprentissages |
| En continu | Mode port folio : toute production vaut évaluation |
| En cours | Utilisation de l’évaluation pour durant la leçon |
| Sporadique | Contrôle pour forcer l’adoption d’une discipline de travail |
| A la demande de l’élève | L’élève choisit de faire une évaluation |
Dimension 6 : Assistance
| Assistance | Descriptions |
| Aucune | |
| Feedback immédiat | Retour instantané après chaque réponse pour guider l’apprentissage |
| L’indice (tips) | Indice pour mettre sur la voie Ex. Elimination de choix Commentaires / RappelL’indice peut intervenir dans le calcul du score (pénalité) |
| Guides pas à pas | Assistance progressive pour aider l’élève à résoudre une question complexe |
| Banque de ressources | Accès à des explications ou des cours en lien avec les questions posées |
| Assistance possible | Appel à l’aide |
| Solution | Délivrance de la réponse juste après la validation
Bilan détaillé en fin d’évaluation pour aider à ne plus refaire les mêmes erreurs |
Dimension 7 : Contrôle
| Contrôle (Proctoring) | Descriptions / réflexions |
| Stratégie de contrôle | Le niveau de contrôle doit être clairement défini en fonction des enjeux de l’évaluation. |
| Génération de questions équivalentes mais différentes d’un élève à l’autre | Les items doivent être conçus pour générera automatiquement la variation. |
| Mélange des réponses | Option au niveau des items : par exemple QCM, interaction order, pairs… |
| Mélange des questions | Option de mélange au niveau du test |
| Isolement de l’élève : casque et webcam | Réduit la communication avec l’élève voisin en salle informatique. La webcam peut être utilisée pour scrutée autour du poste de travail. Le micro peut rester allumer pour écouter si d’autres voix ne contribue pas aux réponses |
| Contrôler les possibilités d’accès à Internet | Des URL sont bannies. Risque : on peut toujours en oublier une, et la liste change constamment. |
| Interdiction d’accès à l’Internet | Isolement total pour éviter le recours à des messageries ou aux IAs |
| Interdiction des mobiles | Idem avec surtout une mention spéciale sur les messageries. |
| Surveillance en ligne | Il est possible de contrôler la navigation : il s’agit de prévenir l’élève de ce qui est interdit de faire et de lui annoncer qu’il sera sanctionné à postériori : tout est donc permis mais son activité est sous surveillance. |
| Authentification renforcée | Accès à la plateforme d’évaluation sécurisée |
Dimension 8 : Matérielle & infrastructure
On oublie quelquefois un peu vite l’importance des Conditions environnementales : Bruit ambiant, luminosité, confort de la salle d’examen.
| Conditions Matérielles / infrastructures | Description |
| Salle informatique dans un établissement d’enseignement | Cette solution propose une uniformisation des ordinateurs et un environnement informatique contrôlé |
| Ordinateur personnel | Des précautions spécifiques doivent être prise pour assurer le bon déroulement de l’évaluation : on peut rassembler les élèves dans une salle surveillée. On peut mettre sous surveillance à distance la session de test en utilisant une liaision par webcam. |
| Tablette | Les tests sur tablettes répondent souvent à des formats spécifiques. Attention, il vaut mieux utiliser des tests en ligne développé selon les règles du responsive design. |
| Téléphone mobile | Plusieurs modalités sont possibles : l’environnement peut être contrôlé (Bring Your Own Device) : salle avec un surveillant. Application spécifique à charger. Le mobile est parfait pour les animations pédagogiques en « live assessment ». |
| Accès Réseau : internet / réseau local | L’accès aux réseaux s’accompagne de nombreuses contraintes. Mais une application strictement locale est logistiquement très difficile à assurer quand les effectifs à évaluer sont importants. |
| Accessibilité | Prise en compte des élèves en situation de handicap (lecteurs d’écran, sous-titres, interface adaptée). |
Dimension 9 : Modalités de correction
| Données produites | Descriptions |
| Calcul des scores | Il faut que ces règles soient en cohérence avec le type d’évaluation afin de simplifier l’usage de l’évaluation et réduire les post-traitements. Il faut donc bien concevoir les règles de score au moment de la conception de l’évaluation et éviter l’écueil du recueil de la data brute sur laquelle on retravaillera. |
| Correction automatique | Mise en place d’algorithme simple qui vérifie la validité des réponses en s’appuyant sur un schéma de déclaration des réponses valides. |
| Correction humaine | Une plateforme de correction est souvent nécessaire. Le codage humain nécessite également de la formation et le croisement des corrections afin d’homogénéiser les jugements. |
| Correction par l’IA | Une Correction par l’IA nécessite une démarche spécifique en Intelligence artificielle qui doit prendre en compte les grilles de correction. Un entraînement spécifique doit être organisé. Bien que les LLM soient en capacité de juger ponctuellement la réponse à une question, leur instabilité dans ce jugement en fait un outil peu fiable et non recommandé ici. |
| Multi-correction et correction mixte | Combinaison de correction automatique, de révision humaine et de correction IA pour les questions ouvertes. |
| Auto-évaluation | L’élève s’auto-corrige en suivant des critères fournis. Cette démarche peut être intégrée à un outil d’évaluation numérique. |
| Evaluation par les pairs | Les élèves corrigent le travail de leurs camarades, favorisant l’apprentissage collaboratif. L’utilisation d’une mise en réseau des évaluations peut totalement permettre à des élèves d’une classe d’étudier les résultats des élèves d’une autre classes dans un établissement éloigné. |
Dimension 10 : Usages des données
| Usage des données | Descriptions |
| Format score pour comparaison dans un groupe | Standardisation / niveau / acceptabilité … relatif à la population testée |
| Définition de profils | Point fort / point faible relatif à l’activité testée |
| Vérification seuil | Atteint ou pas – seuils de quantité de connaissance |
| Bilan | Détail des réponses juste/fausse et détail |
| Préconisation | Commentaires et conseil |
| Analyse prédictive | Utilisation des données pour anticiper les besoins d’apprentissage futurs ou identifier les risques d’échec. |
| Personnalisation de l’apprentissage | Adapter le contenu pédagogique en fonction des résultats de l’évaluation. |
| Tableaux de bord | Visualisation graphique des performances pour les élèves et les enseignants. |
Dimension 11 : Evolution des évaluations
| Evolution des évaluations | Exemples |
| Publication Publique | Annales d’entraînement |
| Conservation confidentielle | Banque d’items |
| Préservation d’un historique | Comparaison des résultats dans le temps |
| Archivage pour |
|
| Mise à jour régulière | Actualisation des questions pour refléter les évolutions du domaine ou du programme. |
| Feedback sur la qualité des questions | Collecte des retours des élèves et enseignants pour améliorer les évaluations. |
| Versionnage | Suivi des modifications apportées aux évaluations pour tracer les évolutions. |
Dimension 12 : Aspects pédagogiques
| Aspects pédagogiques | Descriptions |
| Alignement avec les objectifs d’apprentissage | Assurer que chaque question évalue un objectif précis. |
| Taxonomie de Bloom | Classer les questions selon les niveaux cognitifs (connaissance, compréhension, application, analyse, synthèse, évaluation). |
| Diversité des types de questions | QCM, questions ouvertes, cas pratiques, problèmes à résoudre. |
Dimension 13 : Sécurité et confidentialité
| Sécurité et confidentialité | Descriptions |
| Protection des données personnelles | Conformité avec les réglementations (RGPD, etc.) |
| Sécurisation des plateformes | Protection contre les intrusions et les fuites d’informations |
Dimension 14 : Impact sur l’apprentissage
| Impact sur l’apprentissage | Descriptions |
| Motivation des élèves | Comment l’évaluation influence-t-elle l’engagement et la motivation ? |
| Stress et bien-être | Prise en compte de l’impact psychologique des évaluations sur les élèves. |