Compter n’est pas comprendre…

5558548657_a7c515cbb7_oAujourd’hui, les plateforme de MOOC et les LMS classiques retournent des données chiffrées à leurs administrateurs, qui permettent de suivre l’évolution du nombre de visites, le temps passé par les apprenants sur telle ou telle page, les tâches qu’ils ont effectuées, etc.

Sur les LMS  classiques, utilisés pour l’eLearning fermé, ces données de « tracking » permettent en théorie de s’assurer de la présence des inscrits et du fait qu’ils réalisent bien les tâches demandées. Mais les professionnels de l’eLearning ont cédé à la fascination du tout-quantifiable en mesurant tout ce qui peut l’être sur les LMS et en instaurant la norme SCORM qui vous oblige à découper vos productions pédagogiques en une multitude de petits « grains » censément combinables à l’infini. Concrètement, les recombinaisons d’objets pédagogiques sont extrêmement rares, tant il est vrai que la partie se vide de sons sens si elle n’est pas considérée dans un ensemble. Et l’on dispose pour chaque cours correctement « scormé » d’une batterie impressionnante de chiffres, d’une accumulation de clics… qui ne servent pas à grand chose, sinon à tracer les apprenants.

Sur les plateformes de MOOC, ces données satisfont les commanditaires des cours dans la mesure où elles leur donnent la réponse à quelques questions simples : la formation a t-elle attiré du monde ? Quel a été le taux de déperdition ? Combien de personnes ont obtenu des badges, des attestations ? Etc.

Le succès des données chiffrées recueillies sur la plupart des plateformes de MOOC tient à leur facilité de collecte et de lecture d’une part, au fait qu’elles ressemblent furieusement à celles qui sont collectées sur les sites commerciaux habituels d’autre part. La métrique ne change pas, les indicateurs non plus. Ces données sont nécessaires, mais certainement pas suffisantes.

Le choix des données aisément quantifiables en guise de « données d’apprentissage » (learning analytics) n’étonnera pas de la part des Américains qui, depuis fort longtemps, ont fait le choix des tests standardisés pour leurs examens scolaires et certains de leurs examens universitaires. Certes, la non-intervention humaine dans la correction de ces tests réduit la part d’arbitraire qui entache cette opération à risque. Mais le choix systématique des QCM réduit considérablement la palette de ce qui est évaluable, privilégie les faits, les « vérités », la logique simple, bref : les résultats plutôt que le raisonnement discursif, l’expression personnelle, la singularité, les associations improbables, la sérendipité, en un mot : le processus.

Or, l’apprentissage est un processus continu, pas un changement d’état brutal et binaire, de type éteint / allumé.

Petit détour par le quantified self

Le numérique, construit à base de 0 et de 1, incite à valoriser le chiffré et l’observable. De là à dire que ces données sont porteuses de signification… Il y a un pas hélas beaucoup trop vite franchi par les concepteurs et vendeurs d’objets connectés. Je peux par exemple voir sur mon smartphone que j’ai réalisé 6224 pas aujourd’hui, que c’est plus qu’hier et moins qu’avant-hier. Mais au fait, pourquoi je marchais ? Quelle était mon humeur ? Etais-je seule, accompagnée ? Faisait-il beau ? Ai-je ri, ai-je insulté un automobiliste grillant le feu rouge ?

Ce soir, que vais-je raconter, de quoi me souviendrai-je, relativement à cette marche : du nombre de mes pas ou d’un événement, d’une ambiance, non quantifiables mais porteurs de sens ?

Je me souviendrai peut-être du nombre de mes pas… Si mon objectif est de connaître, voire de maîtriser le nombre de mes pas. Mais si la marche est pour moi le moyen de réaliser quelque chose (me rendre d’un endroit à un autre, me promener, réfléchir, me détendre, etc.) alors ce chiffre-là n’aura aucune importance.

Nous trouvons la même logique à l’oeuvre avec les données actuellement collectées et mises à disposition sur les plateformes d’eLearning et de MOOC. Si votre objectif est principalement de générer du trafic sur votre cours et d’y retenir le plus longtemps possible les participants, comme sur un site marchand, alors les données habituellement retournées par les plateformes vous donneront satisfaction. En revanche, si vous souhaitez savoir ce que les participants ont appris (qui ne se résume pas à ce que vous envisagiez de leur enseigner, et n’a parfois même rien à voir avec cela) et comment ils l’ont fait; si vous espérez comprendre quelle était la place relative, pour nourrir ces apprentissages, de vos contenus, des interactions entre apprenants, des ressources consultés ailleurs… Alors, il faudra repasser. Où plutôt, continuer d’estimer tout cela à la louche et à la main, avec votre intelligence et votre compréhension des processus d’apprentissage tels que vous pouvez les observer et les déduire au travers les traces laissées par les apprenants sur les plateformes. Ces traces, ce ne sont pas des clics. Ce sont par exemple des phrases, des textes, des contributions dans les espaces de forum de votre plateforme.

… Et le social learning ne se réduit pas à un bavardage généralisé

3771408881_b01174a856_zEntendons-nous bien : il ne suffit pas d’ouvrir un forum ni même d’encourager les gens à s’exprimer pour que l’apprentissage soit effectif. Le connectivisme ne se réduit pas au bavardage généralisé. La conversation ne constitue que l’écume de l’intense activité à l’oeuvre lorsqu’on apprend. Pour que « ça » fonctionne, pour que chacun apprenne, il faut en revenir aux fondamentaux de l’activité attendue des participants à un MOOC, tels que présentés par Dave Cormier : se repérer, se présenter et s’exprimer, construire son réseau, intégrer un groupe, focaliser son attention et creuser un sujet. Eh oui, dans un MOOC comme dans n’importe quel autre dispositif d’apprentissage, apprendre requiert un effort, une démarche construite, un objectif. Et à la réflexion, toute démarche d’apprentissage gagnerait à se structurer autour des 5 étapes mentionnées par Cormier, quels que soient son cadre et son but (sauf s’il s’agit de passer des examens, puisqu’on peut oublier sans problème ce qu’on a mémorisé, dès le lendemain de l’épreuve).

Mais comment tout ceci s’appréhende t-il ? Certainement pas en nombre de clics. Dans un très récent article, G. Siemens, D. Gasevic et S. Dawson insistent sur la nécessité d’une part d’améliorer considérablement le traitement statistique des données dénombrables et d’autre part de mobiliser l’analyse sémantique des métadonnées et des productions textuelles des apprenants pour, enfin, accéder à des informations nous renseignant sur les processus d’apprentissage à l’oeuvre.

Si vous avez déjà enseigné et encore plus si vous avez déjà animé un MOOC, vous avez constaté une chose capitale : les gens sont plus, infiniment plus, que ce que l’on mobilise chez eux lorsqu’on les place dans un dispositif d’apprentissage. Et c’est cette part négligée par les data au profit d’actions telles que cliquer – aller d’une page à l’autre – donner les bonnes réponses au quiz – placer les 3 mots-clés dans la phrase – qui tout à la fois rend possible l’apprentissage et s’enrichit au fil des apprentissages. On pourrait l’appeler l’identité apprenante. G. Siemens l’appelle « Latent Knowledge Capacity », quelque chose comme la capacité à apprendre et à partager les savoirs que nous portons tous mais qui n’est que trop rarement mise à contribution dans un cadre formel d’apprentissage.

Quelles informations pour comprendre les processus d’apprentissage ?

Dans ma vie idéale de pédagomooqueuse, les plateformes de MOOC me permettraient d’appréhender des éléments de ce genre :

– Les changements qui interviennent dans l’expression écrite des participants lorsqu’ils s’expriment de manière suivie sur un sujet : l’appropriation de termes spécialisés, les articulations de l’argumentation, les arguments avancés pour ou contre une thèse, la capacité à prendre en compte le point de vue opposé au sien…

– Les « points chauds » dans une discussion, ceux qui génèrent le plus grand nombre de réactions et les types de réactions : positives, négatives, approfondissement, etc.

– Les changements de postures individuelles et collectives : modification de l’expression, du comportement, de la relation aux autres… et ce qu’ils provoquent.

– Les « galaxies » de participants ayant des points en commun : modes d’expression, de raisonnement, centres d’intérêt, opinions… de manière à faciliter les recommandations et la constitution des groupes de travail.

– Le volume et les catégories de savoirs / de concepts / d’objets apportés par les participants, vs. celui que propose le cours initial : sur quels parties ou sujets, quand, qui s’en empare…

– L’impact des consignes et modes d’apprentissage proposés par l’enseignant sur les comportements des participants : types de réponses, nombre de personnes engagées, types de productions…

– Les relations entre l’apprentissage en cours et les autres activités de l’apprenant, sur des sujets identiques, connexes ou plus lointains, en ligne (interconnexion volontaire de différents éléments de l’identité numérique d’apprentissage) et IRL (dans ce dernier cas, sur la base de ses déclarations).

La liste n’est pas close, mais cette ébauche est là pour vous donner une idée de ce à quoi l’on s’intéresse IRL quand on travaille sur les processus d’apprentissage…

Pour améliorer un tant soit peu les données retournées par les plateformes, il faut évidemment avancer sur les points suivants :

– Quels sont les indices et éléments pertinents à collecter ?

– Avec quels outils ? A quelle fréquence ?

– Comment et avec quoi va t-on analyser ces données ?

– Et enfin, comment va t-on restituer les analyses effectuées ? Sur ce dernier point, il me semble capital de restituer les données sur les processus d’apprentissage d’abord aux participants eux-mêmes, leur donnant accès de cette manière à des informations à haute valeur ajoutée, inaccessibles de manière empirique.

En conclusion, disons que ce n’est pas la vie qui doit s’adapter à l’outil (« si vous n’avez qu’un marteau en main, tout problème ressemblera pour vous à un clou » M. Twain), mais bien l’inverse, évidemment. Renaturaliser l’apprentissage, c’est le reconnaître comme une activité de création bien plus que de restitution. Par conséquent, chercher à comprendre ce qui se passe lorsqu’une personne ou un groupe apprend, passe par la collecte et le traitement des indicateurs les plus pertinents, et pas forcément de ceux qui sont les plus simples à appréhender.

Photos :
Clyde Robinson, Flickr, licence CC
Gavin Lynn, Flickr, licence CC

 

 

 

A propos Christine Vaufrey

Directrice de MOOC et Cie : http://mooc-et-cie.com/. Je veille, surveille et expérimente toutes les formes d'apprentissage en ligne.
Cet article, publié dans apprendre, MOOC, est tagué , , , , , . Ajoutez ce permalien à vos favoris.

Un commentaire pour Compter n’est pas comprendre…

  1. nicotibo dit :

    Article très intéressant. Le travail sur le type de données que doivent remonter les plateformes et sur leur analyse est riche. A l’heure du quantified self et des parcours numériques… l’idée d’un parcours d’apprentissage (avec des données sur les apprentissages) est nécessaire et pertinent.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s