Pour citer cet article :
Cisel Matthieu (2016). Utilisations des MOOC : éléments de typologie. Retour sur la diversité des formes d’attrition. Adjectif.net [En ligne] http://www.adjectif.net/spip/spip.php?article411
Résumé :
Cette thèse s’est intéressée à qualifier et quantifier les différentes formes d’attrition dans les MOOC, c’est-à-dire des différents cas de figure correspondant à la non-obtention du certificat par un inscrit, ainsi qu’à identifier certains des mécanismes qui les sous-tendent.
Mots clés :
Apprentissage en ligne, MOOC
Contexte et problématique
C’est un constat partagé à travers le monde qui représente le point de départ de ce travail de recherche : les taux de certification des MOOC, compris comme le pourcentage des inscrits qui obtiennent l’éventuel certificat gratuit, sont généralement inférieurs à 10% (Koller et al., 2013 ; Ho et al., 2014). En d’autres termes, l’attrition des MOOC, définie comme la proportion des non-certifiés, est bien supérieure à celle observée dans le contexte de la formation à distance payante. La gratuité de ces cours, et par conséquent l’absence de perte économique que constitue un arrêt du suivi du MOOC, ne saurait constituer une explication pleinement satisfaisante de cet état de fait. Par ailleurs, cette caractéristique ne permet pas d’interpréter les différences de taux de certification observées d’un cours à l’autre.
Nous avons cherché, dans le cadre de cette thèse, à qualifier et quantifier les différentes formes d’attrition, c’est-à-dire des différents cas de figure correspondant à la non-obtention du certificat par un inscrit, ainsi qu’à identifier certains des mécanismes qui les sous-tendent. Ce faisant, nous réinvestissons et prolongeons un travail de typologisation des formes d’attrition qui a été entamé dans le contexte des universités nord-américaines (Eckland, 1964 ; Hackman & Dysinger, 1970), puis dans le contexte de la formation à distance (Orton, 1977 ; Terenzini, 1987). Nous nous basons sur des concepts issus de la littérature du webmarketing (Isaac & Voole, 2008) et des projets d’apprentissage de l’adulte (Tough, 1971) pour mieux appréhender certains des mécanismes à l’œuvre.
Données mobilisées
Nous avons mobilisé au cours de ce travail une grande diversité de données : traces d’activité, données d’inscription, questionnaires auto-administrés, entretiens semi-directifs, analyses de dispositifs, etc. Les traces d’activité sont définies ici comme l’ensemble des actions réalisées au sein d’un cours donné et capturées par la plate-forme l’hébergeant : visualisation ou téléchargement d’une vidéo pédagogique, soumission d’un devoir, réalisation d’un quiz, etc.
Les données d’inscription correspondent à l’ensemble des données relatives aux inscriptions des 380.000 utilisateurs répertoriées dans la plate-forme France Université Numérique (FUN) au moment de l’analyse : date, obtention du certificat, discipline correspondant au cours, etc. Par le syntagme comportement d’inscription, nous entendons la séquence des actions réalisées au sein d’une plate-forme donnée impliquant l’inscription à un cours, séquence dont nous étudions les différents axes de description : nombre, rythme, etc.
Commençons par reprendre brièvement le contenu des chapitres qui composent le manuscrit avant d’entrer dans le détail des résultats de la thèse. Un certain nombre d’explications ont été avancées pour expliquer la forte attrition qui caractérise les MOOC. Nous prenons comme point de départ un article rédigé par l’un des acteurs majeurs du domaine, Daphné Koller (Koller et al., 2013), la fondatrice de la plate-forme Coursera. Cette plate-forme est la principale pourvoyeuse de MOOC à l’échelle internationale, tous indicateurs confondus. Après un chapitre introductif consacré à la description de l’écosystème international en général et du système français en particulier, nous nous sommes attachés à analyser sur la base de données de nature variée récoltées au sein de MOOC français les principaux arguments proposés par Koller et al.
Le premier de ces arguments est relatif aux objectifs des apprenants au moment de l’inscription. Selon Koller (2013), une partie considérable d’entre eux auraient un objectif relativement défini, maîtrise d’une compétence en particulier, visualisation des seules vidéos pédagogiques du cours. Lorsque cet objectif est incompatible avec l’obtention du certificat car un nombre insuffisant d’activités évaluées est réalisé, nous parlons de ciblage, et le participant est alors caractérisé comme un cibleur. Ce terme est la traduction de la notion d’attainer (Terenzini, 1987), proposée dès les années 1980 dans le cadre des travaux sur la formation à distance. Un cibleur dispose d’un objectif en termes d’actions réaliser, qui peut être défini en amont du lancement de la formation, ou forgé au fil des interactions avec le dispositif. Une fois celui-ci atteint, le participant en question cesse sa participation au MOOC, représentant ainsi un cas particulier de non-certifié. Nous remettons en cause partiellement la validité de cet argument sur la base des traces d’activité d’une demi-douzaine de MOOC français organisés sur Coursera.
Nous nous intéressons dans le chapitre qui suit aux principales formes d’attrition que sont le retrait volontaire, c’est-à-dire la décision positive d’interrompre sa formation après un certain investissement, et la non-participation, qui correspond au fait de ne pas s’investir dans la formation, ou de manière particulièrement réduite. Nous montrons que l’échec académique, compris comme l’incapacité non volontaire à satisfaire les critères d’obtention du certificat, semble relativement peu vraisemblable dans le cas de la plupart des MOOC de la plate-forme FUN.
Nous cherchons enfin à identifier les principaux mécanismes qui sous-tendent les formes d’attrition identifiées, en nous focalisant d’abord sur le comportement d’inscription, puis dans un second temps sur les données auto-déclarées relatives aux motivations qui sous-tendent l’inscription. Koller et al. (2013) constatent que les utilisateurs de Coursera sont inscrits à près de quatre cours en moyenne sur la plate-forme, et qu’il est probable que le temps qu’implique chacune des formations empêche de les suivre toutes. Nous nous basons sur les données de la plate-forme FUN, sur laquelle plus d’un million d’inscriptions ont été réalisées au cours de la période étudiée, pour montrer que le comportement d’inscription constitue un puissant prédicteur des taux de certification, et que son analyse est donc incontournable dans l’interprétation de la forte attrition qui caractérise les MOOC.
Le dernier chapitre est consacré à l’analyse des motivations qui sous-tendent l’inscription à un MOOC, analyse réalisée au prisme du travail sur les motifs d’entrée en formation de Carré (2002). Nous y montrons que la majorité des participants s’inscrivent à ces formations avec l’intention de réinvestir le contenu dans leur vie professionnelle ou personnelle. En d’autres termes, les motifs opératoires occupent une place prédominante dans la décision de suivre un cours. En sus de la prédominance du motif opératoire, le suivi d’un MOOC répond à la plupart des critères d’un projet d’apprentissage au sens de Allen Tough (1971), et nous discutons des conséquences de l’analyse des MOOC au regard des projets d’apprentissage. Maintenant que nous avons présenté les grandes lignes de la thèse, reprenons-en les différents résultats en entrant cette fois davantage dans les détails.
Les cibleurs, un cas de figure marginal
Nous nous sommes intéressé dans un premier temps à la question des cibleurs, ou attainers (Terenzini, 1987), dont les objectifs ne correspondent pas à l’obtention du certificat. La question des objectifs des inscrits est difficile à appréhender du fait d’un certain nombre de biais méthodologiques. Tout d’abord, l’éventuel objectif que se fixe le participant peut évoluer rapidement au fil des interactions avec le cours, et peut donc avoir changé considérablement entre l’inscription et la réponse à un questionnaire, fut-il diffusé dans les premiers jours de la formation. Ensuite, les participants souhaitant terminer la formation pour en obtenir le certificat sont plus enclins à répondre aux questionnaires, comme les analyses de Reich (2014) sur une demi-douzaine de MOOC de Harvard l’ont démontré, ce qui met à mal la représentativité des réponses.
Nous avons préféré par conséquent privilégier l’analyse des traces d’activité aux données auto-déclarées, qui ne souffre pas des biais d’auto-sélection, en cherchant parmi les non-certifiés deux types de comportements observables susceptibles de représenter un projet distinct de l’obtention du certificat. Le premier réside dans un suivi discontinu de la séquence pédagogique, qui reflète le fait que certains participants sélectionnent parmi les activités pédagogiques, et surtout parmi les thématiques du cours, celles qui correspondent à leurs besoins. Le second correspond au fait de visionner la plupart des vidéos pédagogiques du MOOC sans participer pour autant à suffisamment d’activités évaluées pour obtenir le certificat.
Koller et al. (2013) affirment que sur Coursera, les non-certifiés qui visionnent plus de 90% des vidéos pédagogiques du cours – et que nous avons nommé visionneurs assidus – sont deux fois plus nombreux que les certifiés. Nous montrons que le suivi discontinu d’une séquence pédagogique est un cas relativement rare parmi les non-certifiés, et que les visionneurs assidus ayant visionné les vidéos depuis la plate-forme sont, dans la quasi-totalité de la douzaine de MOOC de Coursera et de Unow que nous avons étudiés, largement minoritaires face aux certifiés. A l’inverse, les téléchargeurs assidus, les non-certifiés qui téléchargent plus de 90% des vidéos pédagogiques du cours, sont nettement plus nombreux que les certifiés. Il est essentiel de distinguer le visionnage depuis la plate-forme et le téléchargement, car le simple fait de télécharger une vidéo pédagogique ne garantit en rien que celle-ci est visionnée par la suite. Ces différents résultats nous amènent donc à tempérer l’hypothèse avancée par Koller (2013), selon lequel la forte proportion des cibleurs contribuerait à expliquer le manière significative les faibles taux de certification observés.
Retrait volontaire et non-participation, les formes d’attrition dominantes
Nous passons dans un second temps en revue les autres formes d’attrition, du retrait volontaire à la non-participation, en montrant notamment que l’échec académique reste un cas de figure relativement peu fréquent. L’analyse des traces d’activité révèle que dans la plupart des MOOC de Coursera étudiés, près de la moitié des inscrits ne se connectent jamais au cours, ou, lorsqu’ils le font, ne visionnent ni ne téléchargent aucune des vidéos pédagogiques, un argument suggérant que la non-participation représente l’une des formes d’attrition majoritaires. Il demeure une certaine ambiguïté parmi ceux qui réalisent davantage d’actions au sein de la formation.
En l’absence des carnets de notes, mais aussi et surtout dans l’ignorance relative des politiques de notation mises en place par les équipes pédagogiques, il est difficile de distinguer ce qui relève du retrait volontaire de ce qui relève davantage de l’échec académique. Nous soutenons l’idée selon laquelle cette dernière forme d’attrition est minoritaire, sur la base de l’analyse des politiques de notation des MOOC de FUN. Dans la plupart des formations analysées, l’obtention du certificat repose uniquement sur des exercices évalués automatiquement, et en particulier sur des questions à choix multiples autorisant plusieurs tentatives, alors même que les contenus sur lesquels portent ces évaluations sont généralement à la disposition des participants au moment de l’évaluation.
L’analyse des pages de présentation des MOOC de FUN, c’est-à-dire des pages où l’on trouve le descriptif des cours et depuis lesquelles il est possible de s’inscrire à la formation, semble corroborer cette hypothèse. La plupart des cours se veulent introductifs selon l’analyse de ces pages, et déclarent être accessibles au grand public ; rares sont ceux qui déclarent n’être destinés qu’à un seul public d’étudiants ou de professionnels.
Enfin, nous minimisons l’importance de la forme d’attrition qu’est le retour, qui correspond au fait de se réinscrire à une édition ultérieure du cours et d’en obtenir le certificat. L’analyse des données d’inscription de FUN montre que s’il est relativement fréquent pour les non-certifiés de s’inscrire à une nouvelle itération de la formation – un peu plus de 10% sont concernés pour la quarantaine de cours qui se trouvent dans cette situation – il est rare que le certificat soit obtenu la seconde fois. Une fois établie la preuve de la prépondérance des formes d’attrition que sont le retrait volontaire et la non-participation, nous avons cherché à identifier certains des mécanismes qui sous-tendent leur importance, à commencer par l’inscription à de nombreux cours sur une même plate-forme.
Le comportement d’inscription est un bon prédicteur de l’attrition
Les utilisateurs de FUN sont inscrits à un peu plus de deux cours en moyenne sur la plate-forme, et ceux d’entre eux qui obtiennent le certificat d’au moins un cours ont réalisé au moins quatre inscriptions sur FUN. Nous parlons d’inscriptions multiples pour désigner les inscriptions d’un utilisateur de la plate-forme inscrit à de multiples cours, et de superposition lorsque ces inscriptions correspondent à des cours se recouvrant sur un certain laps de temps. Nous avons établi une corrélation négative entre superposition et probabilité d’obtenir le certificat. La nécessité de choisir entre plusieurs cours organisés en parallèle constitue vraisemblablement l’un des mécanismes centraux de l’attrition.
Néanmoins, le phénomène de superposition reflète également le fait que la plupart des inscriptions sont réalisées dans un laps de temps réduit, très souvent au cours de la même journée. Le concept de clé d’entrée (Isaac & Voole, 2008), issu du webmarketing, apporte un éclairage intéressant à cet égard. Nous suggérons que l’intention de suivre un MOOC sur un sujet donné fait le plus souvent suite à sa découverte sur la plate-forme, et ne précède l’inscription que dans une minorité des cas : c’est un cas de prédominance de la clé d’entrée plate-forme sur la clé d’entrée produit. Le mode de découverte du cours, compris comme l’ordonnancement des étapes qui ont débouché sur l’inscription, constitue l’une des pistes les plus intéressantes pour interpréter les faibles taux de certification des MOOC constatés.
La prédominance de la clé d’entrée plate-forme suggère qu’il est vraisemblable qu’une partie conséquente des participants n’aient jamais eu l’intention de suivre la formation, et qu’ils se soient inscrits en naviguant sur la plate-forme, et non suite à une recherche, ce qui pourrait expliquer l’importance de la non-participation. L’existence d’une offre de cours conséquente sur les plates-formes de MOOC – il arrive pour certaines que plusieurs dizaines de cours se déroulent à un instant donné – conduit à une dispersion des inscriptions, et, toutes choses restant égales par ailleurs, à une hausse de l’attrition. Ce phénomène est sans doute d’autant plus marqué que les plates-formes disposent d’une offre quantitativement importante. Enfin, il faut prendre en compte le fait que certaines plates-formes proposent des offres qualitativement similaires – comme les américaines edX et Coursera - susceptibles de disperser encore davantage les inscriptions entre plates-formes. Néanmoins, l’analyse de la dispersion des inscriptions doit être complétée par une analyse du retrait volontaire.
Le MOOC, un projet d’apprentissage
Plusieurs types de barrières peuvent être impliquées (Garland, 1992), conjointement ou non, dans la décision de se retirer volontairement de la formation, les barrières étant définies ici comme les motifs avancés par les participants pour justifier la cessation de sa participation. Nous nous sommes penchés au cours de ce chapitre sur les barrières épistémiques potentielles, i.e. les barrières liées au contenu du cours, à la nature des activités proposées, davantage qu’aux modalités d’organisation. Les biais d’auto-sélection limitent la portée des études se basant sur les questionnaires envoyés aux participants ayant cessé leur participation à une formation, d’autant qu’ils conduisent généralement à surestimer l’importance des barrières situationnelles (Garland, 1993).
Pour cette raison, nous nous sommes basés principalement sur les motifs d’entrée en formation (Carré, 2002) pour identifier les principales barrières épistémiques potentielles. Nous constatons que le motif opératoire, et en particulier le motif opératoire professionnel, joue un rôle prédominant dans l’inscription de la douzaine de cours que nous avons étudiés à cet égard. Si la plupart des participants déclarent porter un intérêt pour le certificat, rares sont ceux qui s’inscrivent avant tout dans l’optique de son obtention. Ces résultats, congruents avec les travaux réalisés sur l’éducation non-formelle des adultes (Johnstone & Rivera, 1960) et de la sociologie des loisirs (Dumazedier, 1962), nous permettent d’identifier le suivi d’un MOOC comme un projet d’apprentissage (Tough, 1971), dans la mesure où la plupart des critères d’inclusion sont respectés : la somme des épisodes d’apprentissage excède le plus souvent sept heures, ils sont auto-planifiés. Enfin, l’apprenant est à l’origine de ces épisodes d’apprentissage, à l’exception des cas, minoritaires, où le MOOC est intégré dans une formation.
Dès lors, l’incapacité du MOOC à répondre aux besoins du projet d’apprentissage, à commencer par le caractère opératoire des motivations, pourrait expliquer une partie significative du retrait volontaire. Nous avons conclu sur l’analogie entre l’échec des universités populaires au début du vingtième siècle et les faibles taux de certification des MOOC, qui découleraient selon nous en partie de l’incapacité de ces dispositifs à s’accorder aux attentes de leurs utilisateurs, qu’on les définissent en termes de thématiques abordées ou d’activités proposées.
Deux pistes de recherche pourraient être suivies pour prolonger les travaux que nous avons mené dans le cadre de cette recherche. La première repose sur le croisement des différents types de données mobilisées dans le cadre de ce travail d’une part, et un travail sur les motivations et conceptions des enseignants impliqués dans la conception de MOOC d’autre part. Ainsi, les données d’inscription d’une plate-forme gagneraient à être croisées aux traces d’activité issues des cours qu’elle héberge afin de mieux appréhender les mécanismes sous-tendant le retrait volontaire ou la non-participation. Une telle approche s’avère nécessaire pour appréhender en particulier la dynamique qui prévaut entre cours superposés sur un laps de temps plus ou moins long. Dans la mesure où la superposition de cours concerne la majorité des inscriptions ne débouchant pas sur un certificat, la construction d’une typologie des apprenants eu égard à ces deux axes que sont le comportement d’inscription et le comportement observable au sein d’un cours constitue une étape indispensable à la compréhension de l’attrition au sein des MOOC.
La deuxième piste à explorer est relative à la meilleure identification des mécanismes du retrait volontaire en lien avec les barrières épistémiques. Notre analyse des motifs d’entrée en formation suggère que la propension des dispositifs à s’accorder à la démarche opératoire qui anime la majorité des projets d’apprentissage pourrait être déterminante dans la décision de poursuivre ou d’interrompre la formation. Le lien qui unit prédominance du motif opératoire et retrait volontaire reste néanmoins à ce stade une hypothèse qu’il convient de tester. Nous proposons donc en guise de conclusion de cette thèse de mener un travail d’enquête auprès des concepteurs de MOOC afin de déterminer les motivations qui sous-tendent la mise au point du dispositif, et de chercher à établir le lien entre ces motivations et la posture que les apprenants développent eu égard à la formation.
Carré, P. (2002) De la motivation à la formation. L’Harmattan.
Dumazedier Joffre J. (1962). Vers une civilisation du loisir ? Paris : Seuil.
Eckland, B. K. (1964) College dropouts who came back. Harvard Educational Review, 34, 402-420
American Journal of Distance Education, 7(3), 8–21.
Garland, M. (1992). Variables affecting persistence in distance education in the natural resource sciences (Unpublished doctoral dissertation), University of British Columbia, British Columbia, Canada.
Garland, M. R. (1993). Student perceptions of the situational, institutional, dispositional and epistemological barriers to persistence. Distance Education, 14(2), 181–198.
Hackman, J. R., & Dysinger, W. S. (1970). Commitment to College as a Factor in Student Attrition. Sociology of Education, 43(3), 311–324.
Ho, A. D., Reich, J., Nesterko, S. O., Seaton, D. T., Mullaney, T., Waldo, J., & Chuang, I. (2014). HarvardX and MITx : The First Year of Open Online Courses, Fall 2012-Summer 2013 (SSRN Scholarly Paper No. ID 2381263). Rochester, NY : Social Science Research Network.
Isaac, H., & Volle, P. (2008). E-commerce : de la stratégie à la mise en oeuvre opérationnelle. Pearson Education France.
Johnstone, J. W. C., & Rivera, R. J. (1965). Volunteers for Learning : A Study of the Educational Pursuits of American Adults. Aldine Publishing Company.
Kizilcec, R. F. & Schneider, E. (2015). Motivation as a Lens to Understand Online Learners. ACM Transactions on Computer-Human Interaction (TOCHI), 22(2).
Koller, D., Ng, A., Do, C., & Chen, Z. (2013). Retention and intention in massive open online coursese. EDUCAUSE Review.
Reich, J. (2014). MOOC Completion and Retention in the Context of Student Intent. EDUCAUSE Review. Récupéré à l’adresse http://er.educause.edu/articles/2014/12/mooc-completion-and-retention-in-the-context-of-student-intent
Spear, G. E., & Mocker, D. W. (1984). The Organizing Circumstance : Environmental Determinants in Self-Directed Learning. Adult Education Quarterly, 35(1), 1–10.
Terenzini, P. (1987). Studying student attrition and retention. In G. W. McLaughlin and J. A. Muffo (Eds.), A primer of institutional research (pp. 20- 35). Tallahassee, FL : Association of Institutional Research.
Tough, A. M. (1971). The adult’s learning projects : a fresh approach to theory and practice in adult learning. Ontario Institute for Studies in education.