Adjectif : analyses et recherches sur les TICE

Notre travail de thèse a interrogé le processus de conception collective d’un artefact techno-pédagogique basé sur l’exploitation des traces informatiques des élèves, dans un lycée portant un projet numérique fort. Ces traces résultent de l’interaction entre un utilisateur et un appareil ou dispositif informatique (terminaux, logiciels, plateformes d’apprentissage) qui enregistre automatiquement les actions (principalement des clics) et les rend potentiellement réutilisables à des fins d’analyse. Produites en contexte d’enseignement-apprentissage, les traces constituent le principal matériau des Learning Analytics (LA) ou analytique des apprentissages avec le numérique (Cherigny et al., 2020). Champ de recherche émergent, les Learning Analytics ambitionnent de fournir aux acteurs de l’éducation, des outils et ressources visant à l’amélioration de l’enseignement et de l’apprentissage, ainsi que des environnements dans lesquels ils se déroulent (Siemens et Long, 2011). Elles trouvent leur ancrage dans différentes disciplines : informatique décisionnelle, statistique, apprentissage automatique, Intelligence Artificielle (Siemens, 2013).

Problématique

Notre revue de littérature narrative (Baumeister et Leary, 1997) couvrant la période 2011-2019 [1] a visé à comprendre ce que recouvre cette nouvelle discipline, d’y repérer les principaux acteurs et d’en saisir les évolutions. Le champ se développe principalement au niveau de l’enseignement supérieur avec ses larges cohortes d’étudiants et ses plateformes de gestion d’apprentissage qui produisent de grandes quantités de données. Une fois collectées et traitées, ces données sont mises à la disposition des acteurs de l’éducation via des outils de visualisation tels que des Tableaux de Bord (TdB). En se donnant pour objectif de suivre au plus près l’expérience d’un individu tout au long de son parcours instrumenté et en le confrontant à ses traces informatiques, ces pratiques sociotechniques ont donc une ambition transformatrice.

Toutefois, les preuves de l’efficacité des LA sont difficiles à établir en raison du caractère souvent expérimental des études menées, dans des contextes très spécifiques (Schwendimann et al., 2017 ; Viberg et Grönlund, 2021). À plus grande échelle, elles pourraient aussi fournir des informations originales sur les systèmes d’éducation et contribuer à les transformer (Buckingham-Shum, 2012). Néanmoins la littérature consultée fait état de nombreuses limites (techniques, organisationnelles, éthiques, épistémologiques, …) qui questionnent la possibilité de généraliser ce type de systèmes et en révèle le caractère flou (Person, 2024). À l’issue de cet état des lieux, les LA apparaissent comme un objet encore peu stabilisé, plutôt localisé chez les chercheurs et les industriels (Viberg et al. 2018 ; Motz et al., 2023), et qui pose de multiples défis notamment en termes de conception.

Notre objectif a été double : il a visé d’une part à comprendre ce que sont les Learning Analytics et ce que ces techniques peuvent apporter aux enseignants de lycée, et d’autre part à interroger le processus de conception collective d’un outil numérique basé sur les traces des élèves, réunissant enseignants et chercheurs. Ce type de travail faisant collaborer des acteurs issus de mondes professionnels différents s’ancre dans une tradition de recherches participatives qui ont, depuis les travaux précurseurs de Lewin (1946), mis en avant la richesse d’une rencontre entre les projets des concepteurs et l’expérience des acteurs de terrain dans la conception de solutions ou de dispositifs concernant ces derniers. Néanmoins, il ne suffit pas de qualifier une recherche de participative pour qu’elle le soit vraiment (Darses et Reuzeau, 2004).

Les questions qui guident notre démarche font écho à des constats déjà relevés dans les recherches sur la conception, c’est-à-dire le risque d’un manque d’adéquation entre les artefacts conçus et les besoins des utilisateurs finaux (Linard, 2001 ; Barcellini et al., 2013), qui peut conduire à des sous-utilisations, voire à des non-usages de ces artefacts. Comment concevoir autour d’un objet aux contours mal définis ? De quelle manière s’opère la collaboration entre enseignants et chercheurs dans le processus de conception participative ? À quels besoins des enseignants pourraient répondre les Learning Analytics (évaluer, détecter, remédier, adapter...) ? À quelles conditions les Learning Analytics peuvent-elles devenir de réelles ressources pour l’enseignement et l’apprentissage ?

Pour aborder ces questions de conception et d’innovation techno-pédagogique nous avons mobilisé la sociologie des usages (Jauréguiberry et Proulx, 2011) et les apports de l’ergonomie de l’activité sur les processus de conception participative (Darses et Reuzeau, 2004 ; Béguin, 2005). Notre approche est celle d’une étude de cas (Yin, 2018), basée sur une expérimentation menée avec cinq enseignants et deux chercheurs en informatique, réunis pour concevoir un outil de LA dans le cadre du projet de recherche-action LEAp Num’ (Les Learning Analytics pour l’enseignement-apprentissage avec et sur le numérique). Elle s’est déroulée en 3 phases de recueil de données, de 2018 à 2021, tentant de répondre à la problématique suivante : en quoi la prise en compte de l’activité des utilisateurs finaux et la participation du chercheur contribuent-elles au processus de conception d’un artefact de Learning Analytics pour l’enseignement-apprentissage, et dans quelle mesure cet artefact peut-il être une ressource pour l’enseignant et indirectement pour l’élève ?

Contexte

La recherche LEAp Num’ a réuni 5 enseignants d’un lycée de Loire-Atlantique nouvellement construit et deux laboratoires de recherche : le Laboratoire d’Informatique de l’Université du Mans (LIUM) et le Centre de Recherche en Éducation de Nantes (CREN). Elle répond à un appel à projets de la Direction du Numérique pour l’Éducation (DNE) dans le cadre de ses groupes thématiques numériques (Gt Num’). Les GtNum’ réunissent chercheurs et praticiens au sein d’établissements qualifiés par le ministère d’incubateurs « afin d’explorer des innovations pour mieux les adopter et les généraliser » [2] (MEN, 2018). Les recherches conduites dans ce cadre privilégient une approche participative autour de problématiques majoritairement liées au numérique et aux innovations susceptibles d’en découler.

Notre terrain se caractérise par un projet numérique fort, porté par une équipe de cinq enseignants profilés, recrutés pour leur expertise sur la mise en œuvre du numérique pédagogique. Par ailleurs l’établissement est le creuset de plusieurs expérimentations : une nouvelle version de l’ENT (Espace Numérique de Travail), l’utilisation des smartphones des élèves en classe, des salles modulables …

La première phase de la recherche a consisté en une séance de conception collective d’un TdB, proposée par les chercheurs du LIUM. Cet atelier médié par un kit de conception (Gillot et al., 2018) vise à concevoir un Tableau de bord de Learning Analytics dans une démarche participative et itérative. La méthode, constituée de cartes et de plateaux, répond au constat d’une difficulté pour les futurs utilisateurs de LA à se projeter dans les usages. Le caractère ludique est censé familiariser les enseignants à l’analytique des données et faciliter le recueil d’indicateurs pertinents pour alimenter le TdB. La maquette produite à l’issue de l’atelier doit ensuite servir à développer un prototype destiné à des expérimentations in vivo.

Plusieurs événements vont toutefois survenir au cours de la première année du projet et en perturber le déroulement. En premier lieu les informaticiens rencontrent un blocage dans l’accès aux données de l’ENT par l’opérateur de la plateforme qui empêche le développement prévu du TdB. Cette situation les met provisoirement en retrait du projet. De leur côté les enseignants sont confrontés à un contexte de réformes (baccalauréat, nouvel enseignement Sciences du Numérique et Technologies) et de contraintes organisationnelles (pandémie du Covid 19), qui les rend moins disponibles pour la recherche. Ces divers obstacles nous amènent à proposer une réingénierie de la recherche qui marque la seconde phase de notre étude. Elle se caractérise par la poursuite du travail de conception avec deux des enseignants participants, cette fois à partir de leur activité réelle, travail qui aboutit à l’organisation d’une situation d’enseignement-apprentissage propice au recueil de données d’élèves en situation écologique au moyen d’une sonde développée par les chercheurs en informatique. La collecte de traces réalisée par un chercheur en informatique permet le développement d’un premier prototype de TdB dont la présentation, l’exploration à haute voix par l’un des enseignants et l’évaluation constituent la troisième phase de notre thèse.

Méthodologie

Durant chacune des trois phases documentées dans la thèse, nous nous sommes efforcé de collaborer avec les acteurs en adoptant une démarche participative ancrée dans leur activité. Dans une perspective compréhensive, chacune de ces phases nous a conduit à mobiliser plusieurs outils méthodologiques : entretiens exploratoires, captations vidéo d’ateliers et analyse des verbatim, entretiens d’autoconfrontation, notes de réunions de conception, observations en classe, analyses de documents et ethnographie en ligne, autant de méthodes mises en œuvre en fonction des évolutions du processus de conception.

La première phase, pilotée par l’équipe de chercheurs en informatique, a fait l’objet d’une analyse approfondie des interactions verbales des protagonistes à partir des traces vidéos de la réunion de conception traitées avec le logiciel d’analyse de l’activité Actograph (Boccara et al., 2019) et d’entretiens d’autoconfrontation (Mollo et Falzon, 2004) menés avec les cinq enseignants et les deux chercheurs en informatique.

Lors de la seconde phase nous avons participé aux côtés de deux des enseignants partenaires à des temps de conception d’une situation d’enseignement-apprentissage propice à la collecte de données, desquelles pourraient émerger pour eux d’éventuels besoins en LA. Les rencontres ont été complétées par des échanges épistolaires, des observations en classe et l’étude de documents dont les enregistrements et notes sont autant de données venant nourrir notre recherche via nos archivages audio et carnets de terrains. Avec l’un des deux enseignants nous avons produit un scénario basé sur des situations caractéristiques de son activité (Daniellou, 2004), soit des situations de références qui peuvent être utilisées pour anticiper l’activité future.

Ce professionnel expérimenté (18 ans de carrière, formateur académique de physique-chimie) travaille de façon régulière selon des modalités de classe inversée, modalités qui se voient amplifiées avec l’ENT et l’usage du smartphone des élèves, particulièrement encouragé dans cet établissement « innovant ». À cet effet, il met à disposition des élèves sur l’espace classe de la plateforme, de nombreuses ressources (textes, vidéos, quiz) qu’il a préalablement repérées et validées. Il souhaite savoir comment les élèves travaillent en ligne, les ressources qu’ils utilisent pour répondre aux consignes d’un devoir et la manière dont ils collaborent dans cet environnement technologique. Dans le scénario élaboré pour concevoir un TdB, les élèves évoluent en autonomie, seuls ou en groupe et peuvent utiliser l’ordinateur du lycée et/ou leur smartphone afin d’être au plus près de leur activité quotidienne.

Les chercheurs en informatique ont développé pour l’occasion une sonde qui s’installe sur le logiciel de navigation de l’élève et permet de recueillir des traces de ses actions durant le devoir qui se déroule lors d’une séance expérimentale. Celle-ci se déroule dans deux salles du lycée et rassemble 32 élèves de terminale S sur un travail de physique en ligne à réaliser sur l’ENT, portant sur la notion de quantité de mouvement. Les traces collectées via la sonde du LIUM sont générées par les clics des élèves à partir de leur navigateur internet (Firefox). Dans les semaines suivant la séance, ces traces permettent le développement par les chercheurs du LIUM d’un premier prototype de TdB.

Le dispositif d’exploration – proposé par l’enseignant lui-même – est une approche heuristique (libre et subjective) de l’interface, il s’agit de recueillir son jugement, en tant qu’expert pédagogique et potentiel utilisateur, sur les avantages et limites perçues de l’artefact. Nous souhaitions également savoir s’il se projetait dans les usages possibles du TdB dans sa pratique. La rencontre se déroule dans l’une des salles du CDI du lycée. L’exploration est filmée avec l’accord de l’enseignant, dure 1h50 et fait l’objet d’une transcription intégrale.

À partir des fenêtres affichées sur l’écran de son ordinateur, l’enseignant va tantôt chercher à approfondir les cas individuels de plusieurs élèves dans une forme de mise en situation du TdB pour sa classe, et tantôt élargir ses propos à des considérations orientées sur les pratiques des élèves et les siennes. Le film de la séance a été traité avec le logiciel d’analyse de l’activité Actograph’ qui permet dans un premier temps de cartographier le parcours exploratoire de l’enseignant à travers les différentes fonctionnalités du TdB et dans un second temps de mettre en évidence des catégories de discours. Une étape de remise en commun auprès du groupe de partenaire a fait l’objet d’une transcription intégrale du verbatim et de son analyse.

Résultats : les LA au lycée, une co-conception délicate et des promesses éloignées des attentes des enseignants

Lors de la première phase analysant un atelier de conception proposé par les chercheurs du laboratoire d’informatique, (octobre 2018 – juillet 2019), nous avons mis en évidence des écarts importants de représentations et d’objectifs entre les acteurs de la conception en nous appuyant sur la notion de mondes professionnels (Béguin, 2005). L’un de ces écarts se manifeste par la mise en œuvre d’un objet intermédiaire (Jeantet et al. 1996) technocentré qui ne prend pas suffisamment en compte l’activité réelle des utilisateurs finaux. Interrogés à l’issue de l’atelier de conception, les enseignants sont mitigés quant à la méthode utilisée :

« on ne s’est pas du tout concertés sur la manière d’organiser la chose, sur nos besoins, sur… et puis la forme m’a un peu dérouté, j’étais un peu perdu » (Enseignant 3 – Entretien court).

L’objectif de l’atelier de conception est également remis en question :

« mais je trouvais ça étonnant d’être sur l’idée d’une interface parce que pour moi l’interface, c’est un peu l’aboutissement de tout le processus avant de réflexion, sur ce que l’on veut faire, vers où on veut aller, quels objectifs on se donne, etc. c’est pour ça que les interfaces des fois ...ça ne me parle qu’à moitié quoi. Enfin, je ne vois pas ça comme une fin en soi » (Enseignant 2 – Entretien court).

La deuxième phase (septembre 2019-Février 2020), que nous avons qualifiée de réingénierie, nous a permis de montrer à travers les différentes étapes analysées l’intérêt d’une démarche de conception basée sur la participation effective des utilisateurs finaux. Cette démarche, associée à une implication du chercheur comme co-concepteur, a permis de remettre au centre du processus les situations d’enseignement-apprentissage élaborées par l’enseignant et donne ainsi un accès privilégié à l’activité des élèves en situation écologique. Elle contribue de cette manière à produire collectivement l’artefact initialement visé ainsi qu’une compréhension progressive pour les acteurs de ce que sont les LA, et de l’éventuelle utilité de ces nouvelles techniques pour l’enseignement-apprentissage dans la situation étudiée.

La troisième phase (juin 2020-mai 2021) recouvre la présentation d’un premier prototype de Learning Analytics, son exploration et son évaluation par les partenaires de la conception. Parmi les principaux résultats nous avons mis en évidence les avantages et limites des données du Tableau de Bord, relevés par l’enseignant au cours de son examen à haute voix du prototype.

Durant toute la séance d’exploration l’enseignant témoigne d’une excellente connaissance de ses élèves, qu’il accompagne pour la plupart depuis l’ouverture du lycée. Les informations apportées par les données sont d’une granularité fine et témoignent de la réalisation de micro-tâches (pointer sur un lien hypertexte, ouvrir un fichier, mettre une vidéo en pause, …). Si le professionnel reconnaît le degré de précision des informations délivrées, il les juge parcellaires, les visualisations le renseignant davantage sur sa propre pratique que sur l’activité d’apprentissage des élèves, dont la majeure partie reste dans l’ombre (utilisation du smartphone, réseaux sociaux).

L’analyse du compte-rendu de cette expérience réunissant deux enseignants, les chercheurs des deux laboratoires et une représentante du rectorat, confirme les difficultés de projection des deux enseignants participants dans les usages futurs d’un Tableau de bord de Learning Analytics.

Discussion et perspectives

Les résultats obtenus, de par le caractère singulier du terrain investigué, le nombre réduit d’acteurs rencontrés et les conséquences d’une conjoncture sanitaire exceptionnelle, ne peuvent prétendre à une généralisation. Ils restent pertinents selon nous pour questionner les processus de conception d’artefacts techno-pédagogiques réunissant des enseignants et des chercheurs au sein de recherches participatives.

De leur côté les enseignants sont aux prises avec de multiples questionnements sur l’environnement fortement numérisé dans lequel ils évoluent mais ne sont pas de prime abord demandeurs de ʺ solutions technologiquesʺ comme l’illustre ce verbatim :

« Si on avait cette interface, […] est-ce que l’on s’en servirait, est-ce que l’on aurait matériellement le temps de les exploiter, de les utiliser, d’en faire quelque chose de vraiment utile et profitable pour les élèves, j’ai une interrogation un petit peu, parce que finalement des données on en a,[…] ben à chaque fois que moi je récupère un devoir d’élève , je vois bien bien ce qui va, ce qui ne va pas » (Enseignant 2 – Autoconfrontation) ».

Si la dimension « analytique » des LA est assez claire, puisque reposant sur des procédés informatiques automatisés et leur exploitation via un outil de visualisation, la dimension « apprentissage » est en revanche plus difficile à cerner tant elle relève de visions simplistes de l’apprentissage humain. Dans le prototype étudié, les LA traitent principalement d’indicateurs strictement comportementaux (connexion de l’élève à la plateforme et à diverses ressources) et documentent des parties très segmentées du processus d’apprentissage avec le numérique (une micro-tâche ou un ensemble de micro-tâches, dans le cadre du devoir prescrit). En explorant le prototype, l’enseignant reste réservé par rapport à la granularité et à la richesse de détails des données obtenues, l’accès à ce type de métriques relevant selon lui d’autres « spécialités » :

« …en tout cas pour moi prof, tout ça bon, c’est plus mon domaine…psychologie…c’est de la métrologie, j’en sais trop rien…mais c’est d’autres domaines de recherche d’après moi… (…) En tout cas, ça pourrait être une discipline à part entière, sur la psychologie cognitive hein, c’est évident…c’est tout un champ de recherche ça, non ? » (Enseignant 1- Exploration).

Un outil orienté sur ces indicateurs peine alors à trouver une utilité auprès des enseignants dans leur pratique quotidienne. La plus-value d’un outil de données tel que ce TdB est ici en question. Selon Goigoux (2007), l’activité de l’enseignant est le résultat d’un compromis entre des rationalités multiples. Par rapport aux élèves, ce dernier opère un arbitrage entre la gestion collective (faire avancer la classe) et individuelle (suivi d’un élève), ce qui questionne le rapport bénéfice-coût de la mise en œuvre d’un TdB dans un environnement contraint. Si nous considérons l’activité des individus comme principale unité d’analyse de leur apprentissage, le traçage des seuls artefacts numériques, en raison de ses caractéristiques (limité, localisé, fragmenté), ne peut à lui seul documenter l’apprentissage.

Les données produites de cette façon n’ont de sens que couplées au regard « entraîné » de l’enseignant, à celui de l’apprenant ou de tout autre acteur éducatif, capable de les expliciter à partir d’informations contextuelles. Les deux enseignants présents lors de la réunion d’évaluation peinent à trouver des usages pour ce TdB, ils évoquent néanmoins une piste sur une fonction de diagnostic pour des élèves en difficulté, les visualisations pourraient venir en appui lors de rencontres de remédiation avec le professeur principal.

Ainsi, la conception et la mise en œuvre d’artefacts de type Tableau de bord à partir de cet objet « flou » que sont les Learning Analytics nécessite, comme le préconise la littérature, une réelle participation des professionnels de l’éducation. Cette participation, fondée sur leur activité effective et celle des apprenants, peut contribuer dès l’amont du projet de conception à éclaircir la notion de traces d’apprentissage, ce qu’elle signifie pour les différentes parties prenantes, ainsi que les éventuels bénéfices que pourraient en retirer les enseignants et leurs élèves en regard de leurs visées respectives.

Sans prétendre à la généralisation, la co-conception et mise à l’épreuve d’un tableau de bord de LA nous a permis une première approche exploratoire de cette technologie pour l’enseignement secondaire. Il apparaît que les Learning Analytics, par leur ancrage principal dans les sciences informatiques, s’appuient davantage sur les opportunités d’innovation promises par le considérable gisement de données disponibles en contexte éducatif, plutôt que sur les besoins réels des enseignants rencontrés.

Ce champ de recherche récent s’avère majoritairement exploratoire sur l’enseignement supérieur (où il trouve ses ancrages principaux) et porte encore un grand nombre d’interrogations pour ses promoteurs. Le lycée ne présente pas les mêmes caractéristiques : effectifs d’apprenants plus réduits, enseignement majoritairement dispensé en présentiel, connaissance et suivi des élèves par les enseignants de l’établissement. Ces différences majeures questionnent la pertinence de systèmes de traçage automatisés, systèmes reposant sur le présupposé d’une technologisation massive des situations d’enseignement-apprentissage via notamment les plateformes de type Learning Management System (système de gestion de l’apprentissage).

Au-delà des potentialités et limites que nous avons pu relever, l’intrusion de modes de traçage et de calcul automatisés dans l’activité des acteurs de l’éducation, enseignants et apprenants pose des questions sur les conceptions mêmes de l’apprentissage et des valeurs qui président au choix d’implanter ce type d’outils dans les institutions d’éducation et de formation. Comme le souligne un rapport du Conseil de l’Europe sur les systèmes à base d’intelligence artificielle pour l’éducation, il est trop souvent demandé aux acteurs de l’école de faire confi­ance aux « solutions » technologiques, mais plus rarement que les fournisseurs de ces « solutions » produisent à destination des apprenants des outils d’aide dignes de confiance (Holmes et al., 2022).

Les LA, par leur irruption dans le champ de la recherche en éducation et les questions qu’elles soulèvent pour les acteurs sur les plans pédagogiques, didactiques, juridiques, et déontologiques, représentent donc un nouvel objet qu’il convient de questionner.

Références

Barcellini, F., Van Belleghem, L., & Daniellou, F. (2013). Les projets de conception comme opportunité de développement des activités. Ergonomie constructive, 191-206.

Baumeister, R. F., & Leary, M. R. (1997). Writing narrative literature reviews. Review of general psychology, 1(3), 311-320. DOI : 10.1037/1089-2680.1.3.311

Béguin, P. (2005). Concevoir pour les genèses professionnelles. In P. Rabardel & P. Pastré (dir.), Modèles du sujet pour la conception. Dialectiques activités développement (pp. 31-52). Toulouse, Octarès.

Boccara, V., Delgoulet, C., Zara-Meylan, V., Barthe, B., Gaillard, I., & Meylan, S. (2018, August). The role and positioning of observation in ergonomics approaches : a research and design project. In Proceedings of the 20th Congress of the International Ergonomics Association (IEA 2018) Volume VII : Ergonomics in Design, Design for All, Activity Theories for Work Analysis and Design, Affective Design 20 (pp. 1821-1828). Springer International Publishing.

Buckingham Shum, S. (2012). Learning analytics policy brief. UNESCO Institute for Information Technology in Education.

Cherigny, F., El Kechai, H., Iksal, S., Lefevre, M., Labarthe, H., & Luengo, V. (2020). L’analytique des apprentissages avec le numérique Groupes thématiques de la Direction du numérique pour l’Éducation (DNE-TN2) (Doctoral dissertation, Direction du numérique pour l’éducation). https://hal.science/hal-02912386

Daniellou, F. (2004). L’ergonomie dans la conduite de projets de conception de systèmes de travail. Ergonomie, 359-373. DOI : 10.3917/puf.falzo.2004.01.0359

Darses, F., & Reuzeau, F. (2004). Participation des utilisateurs à la conception des systèmes et dispositifs de travail. Ergonomie, 405-420. DOI : 10.3917/puf.falzo.2004.01.0405

Gilliot, J. M., Iksal, S., Medou, D., & Dabbebi, I. (2018). Conception participative de tableaux de bord d’apprentissage. In 30eme conférence francophone sur l’interaction homme-machine (pp. 119-127).

Goigoux, R. (2007). Un modèle d’analyse de l’activité des enseignants. Éducation et didactique, (1-3), 47-69. DOI : 10.4000/educationdidactique.232

Holmes, W., Persson, J., Chounta, I. A., Wasson, B., & Dimitrova, V. (2022). Artificial intelligence and education : A critical view through the lens of human rights, democracy and the rule of law. Council of Europe.

Jauréguiberry, F., & Proulx, S. (2011). Usages et enjeux des technologies de communication. Erès.

Jeantet A., Tiger H., Vinck D., Tichkiewitch S. (1996). « La coordination par les objets dans les équipes intégrées de conception de produit », In de Terssac G.,Friedberg E. (éds), Coopération et conception (pp.87-100). Octarès.

Linard, M. (2001). Concevoir des environnements pour apprendre : l’activité humaine, cadre organisateur de l’interactivité technique. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation, 8(3), 211-238.

Mollo, V., & Falzon, P. (2004). Auto-and allo-confrontation as tools for reflective activities. Applied ergonomics, 35(6), 531-540.

Motz, B., Bergner, Y., Brooks, C., Gladden, A., Gray, G., Lang, C., ... & Quick, J. (2023). A LAK of direction : Misalignment between the goals of learning analytics and its research scholarship. Journal of Learning Analytics. DOI : 10.18608/jla.2023.7913

Person, J. (2024). Conception participative de learning analytics croisant études d’usages et analyse de l’activité. Le cas d’un projet réunissant enseignants de lycée et chercheurs. Thèse de doctorat. Nantes Université. https://theses.hal.science/tel-04707458/

Schwendimann, B. A., Rodriguez-Triana, M. J., Vozniuk, A., Prieto, L. P., Boroujeni, M. S., Holzer, A., ... & Dillenbourg, P. (2016). Perceiving learning at a glance : A systematic literature review of learning dashboard research. IEEE Transactions on Learning Technologies, 10(1), 30-41.

Siemens, G. (2013). Learning analytics : The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400. https://journals.sagepub.com/doi/abs/10.1177/0002764213498851

Siemens, G., & Long, P. (2011). Penetrating the fog : Analytics in learning and education. EDUCAUSE review, 46(5), 30.

Viberg, O., Hatakka, M., Bälter, O., & Mavroudi, A. (2018). The current landscape of learning analytics in higher education. Computers in human behavior.

Viberg, O., & Grönlund, Å. (2021). Desperately seeking the impact of learning analytics in education at scale : Marrying data analysis with teaching and learning. In Online learning analytics (pp. 19-31). Auerbach Publications.

Yin, R. K. (2018). Case study research and applications. Sage.