Mélanger Bloom aux QCM
La semaine dernière je t’ai parlé de la taxonomie de Bloom. Si tu n’as pas vu, je t’invite à regarder avant de poursuivre :
En gros la taxonomie de Bloom est une classification des niveaux de maîtrise d’un élève :
#1 | Mémoriser : c’est tout ce que peut faire quelqu’un qui fait du par coeur. Donc recracher.
#2 | Comprendre : c’est non seulement pouvoir faire le par coeur mais être capable de comparer des choses entre elles.
#3 | Appliquer : c’est pouvoir utiliser la connaissance dans une situation inédite
#4 | Analyser : le niveau où l’élève peut carrément déconstruire le concept en petit morceaux et même le critiquer. Ou en faire la synthèse complète.
#5 | Evaluer : là l’élève peux dire quand le concept est bien ou mal appliqué. L’élève peux aussi le défendre dans un débat.
#6 | Créer : le niveau où l’élève produit une pensée ou un travail original
Mais c’est scientifique ?
J’ai paniqué quand j’ai reçu un commentaire de l’un d’entre vous qui me disait :
Ce qui me chagrine, après avoir les conclusions des études en lien et ta réponse, c'est que malgré plus de 12'000 citations, il n'y a pas vraiment d'études qui démontent l'efficacité de cette taxonomie.
Une taxonomie qui a l'air intéressante et utile pour les formateurs et enseignants, mais que rien à part sa popularité ne valide... Je prends la réponse de consensus app avec des pincettes car oui, il y a consensus sur l'efficacité de cette taxonomie, mais ce consensus ne repose sur rien. C'est une peu une bulle universitaire qui s'auto-alimente.
Bon… en vrai je pense que ça n’existe pas les “bulles universitaires qui s’auto-alimentent”. Dire ça c’est pas loin de dire un délire de scientifique. Ça existe, mais généralement c’est quand même de meilleurs délires que la moyenne.
Mais j’ai quand même paniqué. Après tout : je n’ai pas lui moi-même les études : j’ai lu des gens qui me les vulgarisaient.
Or, j’étais bien incapable d’aller trouver dans quelle étude on avait le résultat exact concernant l’efficacité.
Et c’est là que j’ai eu le réflexe d’aller fouiller dans les emails de la newsletter de ma formatrice en pédagogie. Heureusement elle avait déjà répondu :
J'ai commencé ma conférence en renvoyant l’auditoire à 1984 et aux travaux du psychologue de l'éducation, Benjamin Bloom.
À l'époque, Bloom se penchait sur une grande question de recherche en éducation : quelles sont les conditions optimales pour l'apprentissage humain ?
Les résultats de ses travaux étaient très intéressants : Bloom et son équipe ont constaté que lorsqu'un étudiant bénéficie d'un tutorat individuel utilisant des techniques de coaching qui lui permettent d'explorer, de co-créer et d'appliquer activement les connaissances, il obtient des résultats supérieurs de deux écarts types à ceux des étudiants qui reçoivent un enseignement dans une salle de classe traditionnelle, avec des nombreux élèves et un professeur qui parle devant un tableau.
Plus de 30 ans de recherche validée par des pairs plus tard, il a été confirmé de manière concluante que lorsque nous abandonnons l'approche "prof devant un tableau" au profit d'un apprentissage plus adaptatif, personnalisé et actif, 98 % des étudiants obtiennent de bien meilleurs résultats que ceux qui suivent un enseignement dans une salle de classe traditionnelle.
La conclusion enthousiaste de Bloom est que les pédagogues, les innovateurs et les gouvernements devraient "trouver de nouvelles méthodes pour transposer à plus grande échelle le tutorat personnalisé" afin de transformer à la fois la qualité et l'équité de l'éducation pour tous les apprenants.
Mais son appel à l'action est demeuré lettre morte.
Ouf !
Ceci étant dit…
Ça ne sert qu’à structurer les cours ?
Je t’ai parlé de Bloom pour structurer ton contenu pédagogique, mais ça ne s’arrête pas là. Tu l’auras probablement compris : ça exprime les niveaux d’ingestion de la connaissance.
Donc tu peux t’en servir pour tout.
Mais l’idée qui m’a le plus surprise et qui vient de révolutionner ma semaine de travail c’est mélanger Bloom et les QCM.
Je peux en attester après une semaine de test sur le terrain : ça améliore drastiquement la qualité des QCM !
Mais comment ça, des QCM ?
Je sais, je sais… les QCM ont mauvaise presse. Mais c’est parce que la plupart sont horriblement mal écrits puis horriblement mal utilisés. En réalité, les QCM bien construits sont une des méthodes pédagogiques les plus efficaces.
Mais on y reviendra une prochaine fois. Moi non plus je n’y croyais pas la première fois qu’on me l’a dit.
Si vraiment tu es allergique aux quiz, transpose ce qui va suivre à n’importe quelle évaluation.
La plupart des QCM visent le niveau 1 de Bloom
Ça fait des années que j’écris des QCM dans le cadre de la formation en ligne au recrutement que j’anime au sein de l’entreprise qui m’emploie en CDI (LEDR).
J’avais réussi à drastiquement améliorer le niveau des QCM.
C’est-à-dire que quand je suis arrivé c’était des QCM du type :
Quel est le nombre limite de caractères sur Twitter ?
320
280
200
140
Sauf que ça ne sert à rien ! Comme tu le vois c’est un QCM qui se porte sur le niveau 1 de Bloom. Mais à la limite ce n’est pas grave.
Ce qui est grave c’est que cette connaissance ne sert à rien pour les recruteurs qui suivent la formation. Dans leur quotidien déjà ils vont très rarement utiliser Twitter pour recruter et vont encore moins avoir besoin de connaître par coeur la limite de caractères.
On mettait ce genre de questions parce que c’était facile de rédiger des réponses. Sauf que : tout ce qui se mesure n’est pas important et tout ce qui est important ne se mesure pas.
Alors la première étape a été d’apprendre des concepts phares de la rédaction de QCM : par exemple toujours essayer de toucher des erreur que les élèves font, de manière réaliste. Donc les distracteurs (les fausses réponses) sont le plus proches possibles de ce que dit un élève qui se trompe.
Et, évidemment, on évalue quelque chose d’important et pas juste quelque chose d’évaluable.
Voilà un exemple de QCM un peu mieux :
Comment limiter la langue de bois ?
Écrire des phrases simples (sujet-verbe-complément) permet d’éviter une bonne partie des tournures de langue de bois
Ne jamais utiliser de formule de politesse permet d’éviter une bonne partie des tournures de langue de bois
Utiliser beaucoup de virgules permet d’éviter une bonne partie des tournures de langue de bois
On ne peut pas limiter la langue de bois
Correction : la plupart des tournures de langue de bois sont du type “à la recherche de,” “dynamique et motivé, je…”… c’est à dire qu’elles ne respectent pas l’ordre sujet verbe complément. Par conséquent, si vous hésitez, privilégiez toujours une tournure sujet verbe complément. Attention : il ne faut pas confondre la politesse et la langue de bois.
Ici on leur fait recracher un point de cours exactement comme dit dans la leçon, mais au moins c’est un point important et utile !
Mais bon, ça reste quand même le niveau 1 de Bloom. Ce qu’on fait le plus intuitivement. C’est probablement ce genre de quiz que tu fais quand tu en fais.
Qu’est-ce que ça donnerait au niveau 2 de Bloom ?
QCM niveau 2 de Bloom
On va essayer ici de vérifier non pas seulement que l’élève peut répéter le cours, mais qu’il le comprend. Qu’est-ce qu’implique vraiment la connaissance ?
Voilà un exemple (imparfait, je le fais rapidement avec GPT pour cet email) :
Dans la proposition suivante, où se cache l'erreur en ce qui concerne la langue de bois ?
"L'utilisation fréquente de termes techniques augmente la langue de bois."
"L'emploi de tournures sujet-verbe-complément rend le discours plus direct et limite la langue de bois."
"La langue de bois est souvent réduite par l'utilisation d'expressions imagées originales."
"Parler en termes généraux et éviter de donner des détails spécifiques aide à renforcer la langue de bois."
Correction : L'erreur dans la proposition principale est que l'utilisation fréquente de termes techniques ne relève pas forcément de la langue de bois. Au contraire, si le jargon est connu des gens à qui je parle, c’est l’inverse de la langue de bois : ça précise le message. Au contraire de la langue de bois qui rend tout plus flou.
Ici on a introduit un piège pour mesurer la compréhension profonde du concept. Est-ce que l’élève fait la différence entre la langue de bois et le jargon ?
On passe au niveau 3 ?
C’est là que je trouve que les choses deviennent vraiment intéressantes. Comment faire des QCM de niveau 3 ? C’est-à-dire des quiz où les élèves démontrent qu’ils peuvent appliquer la connaissance dans une situation qui n’est pas explicitement dans le cours (même si elle est proche).
Quelle version privilégier dans une annonce ?
Version 1 : "Intégrez Innovatech Solutions, une entreprise révolutionnaire qui redéfinit le paysage de la tech avec des approches novatrices. Notre culture est fondée sur l'innovation et la quête incessante de perfection, ouvrant la voie à des perspectives de carrière uniques."
Version 2 : "Chez Global Tech Dynamics, nous repoussons constamment les limites du possible dans le monde de la technologie avancée. Rejoignez une équipe où chaque jour est une aventure et où votre travail a un impact mondial."
Version 3 : "FutureSoft est un acteur incontournable dans le domaine des logiciels, offrant un environnement de travail exaltant. Nos collaborateurs sont au cœur de notre succès, et nous cherchons des talents capables de transformer des idées en réalités extraordinaires."
Version 4 : "DataStream, entreprise leader dans l'analyse de données et l'intelligence artificielle, cherche un Data Scientist capable d'utiliser le machine learning pour développer des systèmes prédictifs, dans le but d'optimiser les processus opérationnels de PME telles que TechGear, une société de technologie informatique, et EcoSolutions, une entreprise éco-responsable. Le candidat idéal maîtrisera Python et aura de l'expérience avec TensorFlow ou PyTorch, avec pour objectif d'améliorer significativement la performance et l'efficacité opérationnelle de nos clients PME."
Correction : la version 4 est la seule qui fait un effort pour limiter la langue de bois et parler de manière spécifique. Le langage est en jargon, mais le jargon n’est pas de la langue de bois, il sera compris par les Data Scientis. À l’inverse d’expressions creuses comme “perspectives de carrières uniques”, “transformer des idées en réalités extraordinaires” ou “ une équipe où chaque jour est une aventure”
Et d’un coup ça donne vraiment des QCM beaucoup beaucoup plus intéressants !
Même si… j’avoue que j’ai pas choisi le plus facile… puisque t’as dû te farcir de la langue de bois.
Mais dis-toi que c’est vraiment un usage dont les élèves en recrutement auront besoin. Et le fait d’appliquer la connaissance de la leçon sur un cas qui n’a pas été vu explicitement démontre une maîtrise bien plus grande que juste répéter.
Les niveaux d’après
Plus on monte de niveau et plus ça devient difficile voire impossible de faire un QCM, il faut proposer à minima des questions ouvertes. Par exemple le niveau 5 (avoir un jugement/évaluer) ça pourrait être une question du type :
Selon vous pourquoi la langue de bois reste aussi répandue dans les annonces alors qu’elle est si inefficace ?
Le niveau 6, créer, ça pourrait être d’écrire une annonce entière sans langue de bois.
De meilleurs quiz grâce à Bloom
Testé et approuvé. Cette semaine j’ai écrit quasiment une centaine de questions. C’était vraiment beaucoup plus facile qu’avant parce que j’avais un template pour créer des questions de niveau 3 :
• Comment … pourrait-il être utilisé pour … ?
• Comment … influe-t-il sur … ?
• Pourriez-vous donner un nouvel exemple de … ?
• Que se passerait-il si … ?
• Quels facteurs/aspects faudrait-il changer pour … ?
• Comment appliqueriez-vous … à une situation que vous avez déjà rencontrée ?
Mais c’était aussi plus facile en soi car j’étais beaucoup plus enthousiasmé par l’idée de créer des questions de niveau 3. Là où je m’ennuie moi-même quand je rédige des questions de niveau 1.
On verra une prochaine fois pourquoi les QCM sont si importants. Mais en attendant tu peux juste utiliser cette technique pour poser des questions pendant un cours ?
C’est toujours dur de savoir quelle question poser à une salle pour la faire réfléchir. Souvent c’est trop dur pour qu’elle trouve, ou alors pas assez car on souffle la réponse plus qu’on ne pose une question.
Avec cette inspiration, c’est possible de préparer de meilleures questions de relance.
Où ai-je trouvé ça ?
J’ai vu cette idée dans un livre incroyable (dont la couverture paie pas de mine donc ne t’arrête pas à ça) :
C'est définitivement ma newsletter préférée ❤️
Merci de nous partager tout ça !