Une aide écrite par une IA peut-elle faire apprendre ?

Identité et transparence de la publication

Titre original

ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skills

Traduction du titre

L’aide générée par ChatGPT produit des gains d’apprentissage équivalents à ceux d’aides rédigées par des tuteurs humains pour des compétences mathématiques.

Auteurs

Zachary A. Pardos et Shreya Bhandari.

Affiliations

Pardos : École des sciences de l’éducation, Université de Californie, Berkeley, Californie, États-Unis. Bhandari : Génie électrique et informatique, même université.

Correspondance

pardos@berkeley.edu

Publication

PLOS ONE 19(5), e0304013. DOI : 10.1371/journal.pone.0304013 (nouvel onglet).

Dates

Reçu le 15 août 2023 ; accepté le 3 mai 2024 ; publié le 24 mai 2024.

Éditeur scientifique

Paulo F. Carvalho, Carnegie Mellon University, États-Unis.

Évaluation par les pairs

PLOS explique publier l’historique de l’évaluation et les réponses des auteurs avec l’article, afin de favoriser la transparence. Historique de l’évaluation (nouvel onglet) (document distinct, non traduit ici).

Données

Les données des participants sont disponibles sur Figshare (nouvel onglet), sous CC BY 4.0. Les contenus et le code de l’environnement sont accessibles via les liens de l’introduction. Ces ressources externes ne sont pas des annexes traduites ni des données réanalysées par Fortuia.

Financement

Zachary A. Pardos a reçu une subvention interne Peder Sather de l’UC Berkeley (attribution 50504) et une micro-subvention du vice-provost chargé de l’enseignement de premier cycle. Shreya Bhandari a reçu un financement interne de l’Institute of Cognitive and Brain Sciences de Berkeley. Les financeurs n’ont eu aucun rôle dans la conception de l’étude, la collecte et l’analyse des données, la décision de publier ou la préparation du manuscrit.

Conflits d’intérêts

Les auteurs déclarent n’avoir aucun conflit d’intérêts.

Licence

© 2024 Pardos et Bhandari. Article ouvert sous Creative Commons Attribution 4.0 (nouvel onglet), autorisant la réutilisation et l’adaptation avec attribution. Traduction et adaptation françaises non officielles, préparées par IA pour Fortuia le 17 octobre 2026 ; non validées par les auteurs. Pas de garantie de traduction professionnelle.

Résumé de l’article

La rédaction de contenus d’aide dans les technologies éducatives demande beaucoup de travail, avec de nombreuses itérations de création, d’amélioration et de relecture. Dans cet article, nous évaluons l’efficacité d’une aide générée par ChatGPT au moyen d’un plan expérimental 3 × 4 (N = 274), afin de comparer les gains d’apprentissage obtenus avec ChatGPT à ceux obtenus avec des aides rédigées par des tuteurs humains, dans quatre domaines des mathématiques. Les participants sont affectés aléatoirement à l’une de trois conditions d’aide — groupe témoin, tuteur humain ou ChatGPT — et à l’un de quatre domaines, également tiré au sort : algèbre élémentaire, algèbre intermédiaire, algèbre de premier cycle universitaire ou statistiques. Nous constatons que seule la condition ChatGPT produit des gains d’apprentissage statistiquement significatifs par rapport au groupe témoin sans aide ; aucune différence statistiquement significative de gain ou de temps consacré à la tâche n’est observée entre les personnes recevant l’aide de ChatGPT et celles recevant l’aide de tuteurs humains. Il est important de noter que l’aide générée par ChatGPT a échoué aux contrôles de qualité pour 32 % des problèmes. Toutefois, l’application de l’auto-cohérence, une technique de réduction des « hallucinations » des grands modèles de langage, a ramené ce taux à près de 0 % pour les problèmes d’algèbre et à 13 % pour les problèmes de statistiques.

Introduction

Les grands modèles de langage (LLM), tels que ChatGPT, portent rapidement l’IA aux frontières des usages pratiques destinés au grand public et suscitent de nombreux débats sur les types de contenus qu’ils sont capables de produire avec compétence [1, 2]. Des plateformes éducatives populaires adoptent rapidement cette technologie en raison de ses bénéfices supposés [3]. Pourtant, on sait encore peu de choses sur son efficacité ou sa propension à l’erreur lorsqu’elle est utilisée pour enseigner des matières scolaires.

Dans la communauté éducative, les discussions autour de ChatGPT se sont concentrées sur la crainte qu’il puisse menacer fondamentalement la crédibilité des évaluations traditionnelles, si ses réponses sont d’une qualité suffisante pour obtenir de bons résultats à de nombreux tests [4, 5]. Dans les domaines où c’est le cas, nous faisons l’hypothèse que les réponses de ChatGPT, accompagnées des étapes de résolution lorsque cela est pertinent, pourraient également être efficaces pour apprendre. Pour les problèmes mathématiques, ces réponses pourraient servir de « solutions détaillées ». Il a été montré que ce type d’aide en algèbre entraîne des gains d’apprentissage chez des élèves du secondaire [6, 7] et chez des travailleurs de Mechanical Turk utilisant des systèmes de tutorat en algèbre [8]. Il s’agit d’une forme d’apprentissage par l’exemple, dont l’efficacité a été démontrée dans des domaines fortement procéduraux comme les mathématiques, la physique et la programmation [9, 10].

Nous examinons si les aides générées par ChatGPT peuvent favoriser l’apprentissage de l’algèbre et des statistiques en menant une étude en ligne auprès de 274 apprenants recrutés sur Mechanical Turk. Les participants sont affectés aléatoirement à une condition avec des aides rédigées par des tuteurs humains, avec des aides de ChatGPT, ou sans aide. Ils sont aussi affectés aléatoirement à l’un de quatre domaines de tutorat mathématique, avec des questions adaptées des manuels OpenStax sous licence Creative Commons Elementary Algebra, Intermediate Algebra, College Algebra et Statistics (manuels de mathématiques OpenStax (nouvel onglet)). Nous utilisons le système de tutorat à code source ouvert Open Adaptive Tutor, ou OATutor, comme plateforme de base pour présenter les questions dérivées d’OpenStax et les aides rédigées par les tuteurs humains du projet OATutor [11]. Cette condition « tuteurs humains » est comparée à une condition présentant les mêmes questions, mais où les aides sont remplacées par des solutions détaillées entièrement générées par ChatGPT. Un pré-test de trois questions, repris comme post-test, mesure l’apprentissage obtenu dans la condition attribuée. Pour une personne ayant déjà appris les notions du domaine qui lui est assigné, la phase d’acquisition peut servir de révision et faciliter le rappel. Pour distinguer les gains attribuables aux conditions d’aide des améliorations pré-test/post-test dues au rappel en mémoire, nous avons inclus une troisième condition sans aide. Cette étude remédie aux limites d’une étude pilote antérieure : en particulier un nombre restreint de participants (N = 77) et des effets de plafond [12].

Les grands modèles de langage sont connus pour « halluciner » parfois, c’est-à-dire produire des résultats factuellement incorrects [13]. De telles erreurs dans les aides générées par ChatGPT pourraient nuire à l’apprentissage. Nous évaluons donc les aides pour y repérer des hallucinations et expérimentons une technique de réduction des erreurs appelée auto-cohérence (self-consistency) [14] : interroger le modèle plusieurs fois et retenir la réponse modale, celle qui revient le plus souvent. Nous cherchons à répondre aux questions suivantes :

• Question de recherche 1 (RQ1). À quelle fréquence ChatGPT produit-il des aides de mauvaise qualité, et peut-on réduire cette fréquence avec une technique de limitation des hallucinations ?
• Question de recherche 2 (RQ2). Les aides de ChatGPT produisent-elles des gains d’apprentissage ? Comment ces gains se comparent-ils à ceux d’aides rédigées par des tuteurs humains et à l’absence d’aide ?

Il a été montré que des outils de création de systèmes de tutorat, comme les Cognitive Tutor Authoring Tools (CTAT) de CMU, améliorent l’efficacité temporelle de la production humaine de contenus [15, 16] : dans les systèmes de tutorat intelligents très structurés, on passe de 200–300 heures à 50–100 heures de travail pour produire une heure de contenu. Dans des environnements de tutorat informatique plus simples, rédiger des aides et transcrire un problème mathématique prend entre 11 et 25 minutes par problème [11, 17]. Malgré ces outils, le contenu doit encore passer par un processus manuel approfondi de création, de révision et de relecture, qui peut demander une année à un employé à plein temps pour couvrir un manuel entier [11]. Si les aides générées par ChatGPT ou d’autres LLM présentent suffisamment peu d’erreurs (RQ1) et une efficacité pédagogique assez élevée (RQ2), elles pourraient alléger la composante du développement des systèmes de tutorat la plus coûteuse en temps et en argent, et permettre un déploiement à une échelle jusque-là irréalisable dans de multiples domaines et contextes d’apprentissage. Dans un esprit de recherche ouverte et transparente sur l’IA en éducation, nous mettons à disposition l’ensemble du contenu utilisé, sous licence Creative Commons (environnement de l’étude (nouvel onglet)), ainsi que le code source du système de tutorat (nouvel onglet), afin de permettre de reproduire entièrement cet environnement.

Travaux connexes

Des travaux antérieurs ont évalué hors ligne GPT-3 [18], le prédécesseur du modèle sur lequel repose ChatGPT, pour produire automatiquement des explications de code et d’erreurs dans l’enseignement de l’informatique [19–21]. GPT-3 a également été appliqué à des problèmes mathématiques rédigés en langage naturel et évalué sur sa capacité à en générer des variantes [22]. Nous présentons ci-dessous une revue de travaux utilisant d’autres méthodes de génération automatique d’aides, des éléments complémentaires sur les LLM, et le contexte de l’utilisation de ChatGPT en éducation.

Génération automatique d’aides

Les travaux antérieurs ont étudié le rôle des données dans la génération automatique d’aides, à partir d’une intuition commune : les parcours réussis observés dans le passé peuvent être synthétisés pour guider de futurs apprenants. Cette approche a été appliquée à un tuteur de logique, en modélisant les parcours passés des étudiants comme un processus de décision markovien (MDP) [23], avec des résultats pédagogiques positifs lors d’une expérimentation pratique [24]. La programmation informatique a été un domaine particulièrement actif pour la génération automatique d’aides [25]. Kelly Rivers et Kenneth R. Koedinger ont proposé de représenter les états des solutions de programmation à partir d’un mélange d’états antérieurs repris tels quels et d’états normalisés, obtenus en supprimant les différences syntaxiques entre états sémantiquement similaires [26]. Piech et ses collègues ont présenté un cadre d’évaluation de stratégies de résolution fondé sur les données. Sur celles de Hour of Code de Code.org, ils ont constaté qu’une politique de Poisson modélisait mieux les parcours de programmation que le MDP utilisé pour le tuteur de logique [27]. Buwalda et ses collègues ont défendu l’emploi d’heuristiques imitant des experts et montré des améliorations marginales par rapport aux approches purement fondées sur les données, sur le même jeu Code.org [28]. La génération d’aides a aussi été étudiée pour des exercices de programmation ouverts [29] et pour améliorer le style du code [30].

Développement de ChatGPT et premières applications

La génération actuelle de grands modèles de langage se caractérise par des réseaux neuronaux comportant un très grand nombre de paramètres, entraînés sur d’immenses corpus textuels. Ces modèles ont également en commun une architecture de modèle de fondation [31], le Transformer [32], qui a introduit en 2017 le mécanisme d’attention, ensuite appliqué aux modèles de traitement du langage naturel pour déduire efficacement le sens des mots à partir du contexte de la phrase. GPT [33], BERT [34] et SentenceBERT [35] partagent cette architecture de base : GPT en utilise les composants de décodage, orientés vers la génération, et BERT les composants d’encodage, orientés vers les représentations vectorielles.

L’essor de l’adoption de ChatGPT, par rapport à d’autres LLM, vient de la combinaison de son interface web intuitive et alors accessible gratuitement avec un modèle GPT ayant traversé plusieurs étapes d’évolution. La plus récente utilise le retour humain pour mieux aligner le texte généré sur les réponses jugées souhaitables à une même consigne [18, 33, 36, 37]. Le secteur de la santé a rapidement évalué ses capacités. Parmi ses applications, ChatGPT s’est montré efficace pour générer des suggestions d’aide à la décision clinique et des listes de diagnostics différentiels pour des cas présentant des motifs de consultation courants [38, 39]. Il est également appliqué à la robotique pour améliorer la prise de décision et la conception des robots [40]. Cette technologie et d’autres du même type sont susceptibles d’affecter tous les secteurs ; ceux-ci ont cependant été des adopteurs précoces notables dans la littérature.

ChatGPT dans l’éducation

Les premières réactions à ChatGPT dans l’éducation se concentraient sur le risque d’une hausse de la triche menaçant les évaluations existantes, particulièrement dans le supérieur [4, 41]. Elles ont été suivies de perspectives plus optimistes concernant l’amélioration des résultats éducatifs [42–44], la personnalisation des apprentissages [45, 46] et le soutien aux enseignants [47, 48]. Depuis, des recherches empiriques ont évalué la capacité de ChatGPT à fournir des retours pertinents sur des réponses erronées dans un jeu d’apprentissage des nombres décimaux [49], à répondre aux questions des étudiants sur leurs exercices de programmation [50], à évaluer des questions à choix multiples issues de contributions collectives [51], et à améliorer la pertinence des réponses pédagogiques grâce au contexte apporté par des manuels [52]. Dans tous ces exemples, des erreurs ou hallucinations ont été observées, ce qui souligne l’importance d’un regard critique sur les productions des LLM en contexte éducatif [53].

Méthodes

Sélection des domaines et des objectifs d’apprentissage

Nous avons choisi l’algèbre et les statistiques comme matières étudiées. L’algèbre sert de passerelle vers de nombreux cours de mathématiques plus avancés des filières scientifiques et techniques, en particulier l’analyse. En raison des difficultés persistantes des États-Unis en matière de résultats en mathématiques [54], de nombreux efforts ont été consacrés à l’amélioration des résultats en algèbre, avec notamment une hausse des investissements commerciaux et des financements publics. Cela en a fait l’une des matières les plus courantes dans les systèmes de tutorat. Les statistiques ont été choisies parce qu’elles sont souvent un prérequis à la science des données, l’une des filières connaissant la croissance la plus rapide au monde [55]. Souvent considérées comme une matière fondamentale et polyvalente, utile à de nombreuses filières scientifiques et techniques, elles nous permettaient également d’examiner l’interaction de ChatGPT et des participants avec un domaine plus avancé.

Des questions et aides déjà rédigées étaient disponibles sous licence CC BY auprès du projet OATutor. Chaque manuel comprend des chapitres, des objectifs d’apprentissage et des ensembles de problèmes associés à ces objectifs. Pour sélectionner les objectifs de l’étude, chaque question OATutor a été examinée selon l’objectif auquel elle appartenait. En algèbre, nous avons choisi un objectif dans chacun des manuels d’algèbre élémentaire, intermédiaire et de premier cycle universitaire. Nous en avons aussi choisi un dans le manuel de statistiques.

Conformément aux bonnes pratiques d’expérimentation des interventions sur les gains d’apprentissage, nous avons exigé un pré-test de trois questions, repris au post-test, et une phase d’acquisition de cinq questions. Un objectif devait donc comporter au moins huit problèmes pour être admissible. Aucun problème ne devait dépendre d’images ou de figures, car la version de ChatGPT utilisée à l’époque, comme la plupart des autres LLM, ne traitait que du texte en entrée et en sortie. Nous avons laissé de côté le premier chapitre de chaque manuel, consacré aux prérequis, puis parcouru les chapitres et objectifs dans l’ordre jusqu’à en trouver un répondant aux critères. Ont ainsi été sélectionnés : « Résoudre des équations à l’aide des propriétés de soustraction et d’addition de l’égalité », chapitre 2.1 d’algèbre élémentaire ; « Résoudre des équations linéaires à l’aide d’une stratégie générale », chapitre 2.1 d’algèbre intermédiaire ; « Trouver une équation linéaire », chapitre 2.2 d’algèbre de premier cycle ; et « Événements indépendants et mutuellement exclusifs », chapitre 3.2 de statistiques.

Aides rédigées par des tuteurs humains

Nous utilisons les aides humaines déjà disponibles dans OATutor [11]. Elles ont été produites par des étudiants de premier cycle de l’UC Berkeley, sélectionnés pour leur expérience antérieure du tutorat en mathématiques. Les auteurs pouvaient combiner des indices textuels et des questions décomposant le problème en petites sous-tâches, ce qui constitue un étayage. Le nombre d’indices ou d’étapes d’étayage d’une séquence d’aide n’était pas limité. Des éditeurs de l’équipe de contenu OATutor ont contrôlé la qualité du contenu, mais le temps de ce contrôle n’a pas été rapporté. La figure 1 présente un exemple d’aide rédigée manuellement, pour le même problème que l’exemple ChatGPT de la figure 2.

Génération des aides par ChatGPT

Modèle

ChatGPT est une interface conversationnelle vers un modèle d’apprentissage automatique fondé sur l’architecture Generative Pre-trained Transformer (GPT). Il reçoit un bloc de texte de l’utilisateur — par exemple « Quels étaient les meilleurs films des années 1980 ? » — et renvoie un bloc de texte. Cette entrée, appelée prompt ou consigne, sert à interroger un modèle déjà préentraîné sur un immense corpus textuel. Les approches précédentes traitaient la réponse comme une continuation de la consigne. Cependant, la manière dont les utilisateurs interrogent un agent conversationnel diffère de celle dont ces couples consigne/réponse apparaissent habituellement dans les corpus d’entraînement. Une liste de films y suivra par exemple « Les meilleurs films des années 1980 étaient… ». Les utilisateurs préfèrent souvent une question ou une instruction, comme « Veuillez me dire quels étaient les meilleurs films des années 1980 ». Ce décalage entre données d’entraînement et consignes a conduit à un processus d’alignement à partir de réponses humaines et de notes attribuées aux réponses de GPT. Cet alignement par apprentissage par renforcement à partir du retour humain (RLHF) [56] a produit un modèle appelé InstructGPT, ou GPT 3.5 [37], à la base de ChatGPT.

Conception des consignes

Pour chaque problème des quatre domaines, nous avons posé directement sa question à ChatGPT et enregistré sa réponse comme aide potentielle. La figure 2 en montre un exemple. Lors de notre exploration, aucune consigne particulière n’a été nécessaire pour obtenir la solution détaillée souhaitée : ChatGPT semblait entraîné ou ajusté pour être naturellement prolixe. La consigne était la concaténation des composants textuels du problème définis par OATutor : <en-tête du problème>, <corps du problème>, <en-tête de l’étape>, <corps de l’étape>. Voici celle utilisée pour l’aide de la figure 2 :

Déterminez si la valeur est une solution de l’équation : 5y + 3 = 10y − 4.

Lors de l’envoi d’une nouvelle question, aucune information des consignes ou réponses précédentes n’est utilisée. Nous avons essayé une seconde consigne, « Veuillez expliquer », pour voir si la qualité de la réponse changeait. Cette possibilité avait été envisagée comme troisième condition expérimentale, mais la réponse étant très proche de l’originale, nous ne l’avons pas approfondie.

Auto-cohérence

Les grands modèles de langage peuvent « halluciner » : ils produisent parfois des affirmations plausibles ou assurées mais factuellement incorrectes [4, 13, 57, 58]. Parmi les approches proposées pour en réduire la fréquence figure l’auto-cohérence [14]. Plutôt que de prendre la réponse immédiate, cette technique utilise plusieurs échantillons et retient la réponse la plus cohérente entre eux.

Pour déterminer si elle pouvait diminuer le taux d’erreur de ChatGPT, nous l’avons appliquée comme dans la figure 3. La seconde auteure a d’abord généré dix réponses à chaque question. Six étudiants de premier cycle de l’équipe de contenu OATutor de l’UC Berkeley ont ensuite évalué ces réponses selon les trois critères de qualité décrits ci-dessous. Chaque évaluateur suivait la même procédure : regrouper, pour une question donnée, les réponses aboutissant au même résultat, puis désigner le résultat du groupe le plus nombreux comme le plus cohérent. Si ce groupe contenait des réponses erronées, la question était considérée comme ayant produit une réponse incorrecte. En cas d’égalité entre deux groupes, un générateur de nombres aléatoires sélectionnait le groupe à retenir. Chaque évaluateur relevait le nombre de questions ayant une réponse incorrecte pour déterminer le taux d’erreur après auto-cohérence.

Contrôles de qualité

Pour empêcher qu’une aide incorrecte ou potentiellement inappropriée atteigne les participants, la seconde auteure a contrôlé toutes les aides de ChatGPT selon trois critères : 1) la solution détaillée donne la bonne réponse ; 2) les étapes de résolution sont correctes ; 3) aucun langage inapproprié n’est employé. Une aide n’était pleinement correcte que si elle satisfaisait ces trois conditions. Sinon, le problème correspondant était exclu, réduisant le nombre de questions utilisables. Si au moins huit questions restaient après cette étape, l’objectif était conservé. Dans le cas contraire, un nouvel objectif était choisi dans le même manuel OpenStax et tout le processus était recommencé. La seconde auteure a effectué cette vérification et consigné le temps nécessaire. Les statistiques d’exclusion ont été conservées pour les intégrer au coût d’utilisation de ChatGPT dans la génération d’aides.

Les questions effectivement présentées dans l’expérience avaient été contrôlées uniquement par la seconde auteure. Nous avons néanmoins recruté six étudiants de l’équipe de contenu OATutor pour vérifier les aides avec les mêmes trois critères. Seuls leurs résultats ont été utilisés pour répondre à RQ1 et rapporter l’accord entre évaluateurs.

Organisation de l’expérience

Plan expérimental

Chaque expérience comprend un pré-test de trois questions, une séquence de cinq questions dans la condition d’aide, puis un post-test composé exactement des trois questions du pré-test. Tous les participants indiquent également leur tranche d’âge : 18–25, 26–30, 31–35, 36–40, 41–45, 46–50, 51–55 ou 56 ans et plus. Ils sont ensuite assignés aléatoirement à l’une des trois conditions — témoin, tuteur humain ou ChatGPT — et à l’un des quatre domaines. Cette affectation est effectuée par Qualtrics, avec une fonction surveillant l’équilibre de la répartition. La condition témoin ne diffère des autres que par l’absence d’aides. Ses participants reçoivent tout de même un retour sur la justesse de leur réponse pendant la phase d’acquisition et peuvent demander une « aide finale » donnant la réponse, à copier-coller pour avancer. Dans les deux autres conditions, ils disposent en plus de la solution détaillée.

Un écran de consentement est présenté avant l’affectation aléatoire. Après le post-test, les participants reçoivent leur identifiant OATutor anonymisé comme code de participation au sondage, puis un écran de remerciement s’affiche. OATutor enregistre la condition, le nom de l’objectif, l’identifiant anonymisé, le nom du problème, la justesse de la réponse, les demandes d’aide et l’horodatage. Aucune page ne sollicitait de consentement écrit, car les données étaient recueillies anonymement et l’examen éthique considérait que les réponses n’exposeraient pas les participants à un risque s’ils étaient réidentifiés. Le protocole a été approuvé par le Comité de protection des participants humains de l’UC Berkeley sous le numéro IRB 2022-12-15943. La version « Dec 15 » de ChatGPT 3.5 a servi à générer les aides.

Participants

Le recrutement utilise Amazon Mechanical Turk. Les personnes ayant participé à l’étude pilote antérieure [12] sont exclues. Seules sont admises celles disposant au moins d’un diplôme de fin d’études secondaires et de la désignation « Master » de MTurk, attestant d’un historique de tâches réussies. Le diplôme est exigé pour que les participants possèdent les prérequis permettant des gains entre pré-test et post-test pour au moins une partie des objectifs. L’algèbre élémentaire constitue presque certainement une révision pour ces diplômés, mais fournit une base suffisante pour apprendre à partir des aides en algèbre universitaire et en statistiques. Des participants n’ayant pas résolu de problèmes mathématiques récemment peuvent également améliorer leurs résultats en réapprenant les notions grâce aux aides et aux retours. La rémunération est de 8 dollars pour une séance prévue de 10 à 20 minutes. L’objectif de recrutement était de 35 participants par couple domaine-condition, soit 420 personnes. L’expérience a commencé le 28 février 2023 et s’est terminée le 10 mai 2023 ; seules les participations de cette période ont été prises en compte.

Analyse

Le test de Shapiro–Wilk doit servir à déterminer la normalité des distributions des gains d’apprentissage, des résultats aux pré-tests et post-tests et des durées de séance de chaque couple domaine-condition. Si son hypothèse nulle est rejetée, indiquant des distributions non normales, le test de Kruskal–Wallis sera utilisé pour examiner l’équivalence des résultats initiaux entre conditions et les différences statistiquement significatives de durée. Si ce test est significatif, le test U de Mann–Whitney permettra de déterminer quelles conditions diffèrent. Kruskal–Wallis servira aussi à évaluer la significativité des différences pré-test/post-test pour chaque couple domaine-condition. Pour l’analyse globale des trois conditions, une ANOVA à deux facteurs sur les données transformées en rangs sera effectuée afin d’identifier les effets principaux de la condition sur le gain d’apprentissage et les interactions avec le domaine. L’analyse emploiera une régression par moindres carrés ordinaires (OLS), selon le modèle :

β₀ est l’ordonnée à l’origine ; β₁ représente l’effet des conditions sur le gain d’apprentissage ; β₂ l’influence du domaine ; β₃ l’interaction entre domaine et condition ; ε est le terme d’erreur. En présence d’une significativité statistique, une analyse post-hoc par le test de Dunn détaillera les comparaisons par paires.

Si l’hypothèse nulle du test de Shapiro–Wilk n’est pas rejetée, une ANOVA sera utilisée pour les comparaisons globales à la place de Kruskal–Wallis, et des tests t pour les comparaisons par paires à la place des tests U de Mann–Whitney.

Résultats

Qualité des aides de ChatGPT — RQ1

Nous avons évalué l’accord entre les six évaluateurs dans les quatre domaines à l’aide du kappa de Fleiss. Les valeurs obtenues sont 0,929 pour l’algèbre élémentaire, 0,864 pour l’algèbre intermédiaire, 0,857 pour l’algèbre universitaire et 0,916 pour les statistiques, ce qui correspond dans tous les cas à un accord presque parfait [59]. Le tableau 1 indique les taux d’aides de mauvaise qualité, définies comme celles exclues pour des étapes de résolution ou une réponse incorrectes. Ces taux proviennent de la moyenne des nombres de réponses incorrectes identifiées par chaque évaluateur. Sur les 75 problèmes soumis à ChatGPT pour générer une aide, 24 ont en moyenne été exclus (32 %). Le taux le plus faible concerne l’algèbre élémentaire (25 %) et le plus élevé l’algèbre intermédiaire (47 %). Toutes les aides exclues contenaient à la fois une réponse et des étapes incorrectes. Aucune ne contenait de langage inapproprié, de fautes d’orthographe ou d’erreurs grammaticales. Le contrôle manuel d’une aide demandait en moyenne 37,60 secondes.

Nous avons appliqué une technique de réduction des hallucinations dans laquelle dix aides sont générées par problème et celle dont la réponse est la plus fréquente est retenue. Cette méthode d’auto-cohérence, détaillée dans la section Méthodes, a abouti à des taux d’erreur de 0 % en algèbre élémentaire, 2 % en algèbre intermédiaire, 2 % en algèbre universitaire et 13 % en statistiques. Les résultats montrent clairement que l’auto-cohérence contribue à réduire le taux d’erreur, qui devient proche de zéro pour les thèmes d’algèbre.

La longueur médiane des aides de ChatGPT était de 355 mots, avec un minimum de 142 et un maximum de 669. Les séquences d’aide humaines, qui pouvaient contenir plusieurs indices, avaient une médiane de 277 mots, un minimum de 79 et un maximum de 667. Bien que ChatGPT ait été limité à une seule aide, il ne produisait donc pas moins de texte que les auteurs humains.

Efficacité sur les gains d’apprentissage — RQ2

Mechanical Turk a permis de recruter 394 participants. Parmi eux, 120 ont été exclus : 41 du groupe témoin, 43 du groupe d’aides humaines et 36 du groupe ChatGPT. Soixante-quinze exclusions correspondaient à des personnes n’ayant pas tenté le pré-test ou le post-test ; 45 autres avaient commencé mais n’avaient pas terminé toutes les parties. Il restait 274 participants pour l’analyse : 90 témoins, 86 avec des aides humaines et 98 avec des aides ChatGPT (données des participants (nouvel onglet)). Le taux d’attrition de 30 % est élevé, mais cohérent avec d’autres études sur Mechanical Turk [60–63]. Nous avons réalisé une analyse de puissance pour chaque comparaison par paire entre conditions, en supposant une taille d’effet d de Cohen de 0,5, un seuil de significativité de 0,05 et les effectifs observés. Les puissances étaient de 0,910 pour témoin/aides humaines, 0,926 pour témoin/ChatGPT et 0,920 pour aides humaines/ChatGPT, indiquant selon nous une puissance suffisante. La tranche d’âge médiane était 36–40 ans.

Le tableau 2 présente les gains des douze combinaisons, la durée moyenne nécessaire à chaque participant et les résultats moyens au pré-test et au post-test. Le gain est calculé en soustrayant, pour chaque personne, le score initial au score final, puis en faisant la moyenne. Les valeurs p des tests de Kruskal–Wallis comparant les résultats avant et après sont également présentées. Avec les aides ChatGPT, la moyenne passe de 43,51 % à 60,52 %, soit un gain positif de 17 %, le plus élevé des trois conditions. Ce gain pré-test/post-test est statistiquement significatif (p ≪ 0,001). Avec les aides humaines, la moyenne passe de 53,46 % à 65,09 %, soit un gain de 11,62 %, lui aussi significatif (p = 0,001). Dans le groupe témoin, elle passe de 55,15 % à 57,01 %, soit un gain de 1,85 %, non significatif (p = 0,192).

Valeurs et arrondis de la publication conservés. La source note les gains avec « % » ; il s’agit ici de différences de scores, donc de points de pourcentage, pas d’augmentations relatives. Les valeurs p de cette colonne concernent le pré-test/post-test, pas les comparaisons entre groupes.

L’hypothèse nulle de normalité a été rejetée pour les gains, les résultats initiaux et finaux et les durées. Une ANOVA à deux facteurs sur les rangs a donc examiné les effets de la condition et les interactions avec le domaine. Kruskal–Wallis a également été utilisé pour comparer les résultats initiaux et les durées entre conditions.

La comparaison des conditions fait apparaître un effet principal significatif de la condition, F(2, 262) = 5,037, p = 0,0071, et du domaine, F(3, 262) = 6,737, p = 0,0002. Le type d’aide influe donc significativement sur les gains, et ceux-ci diffèrent selon le domaine. L’interaction condition-domaine n’est pas significative : F(6, 262) = 0,901, p = 0,495. Le test post-hoc de Dunn précise quelles conditions se distinguent : les gains de ChatGPT sont significativement supérieurs aux 1,85 % du témoin (p = 0,011), tandis que les aides humaines ne diffèrent pas significativement du témoin (p = 0,087). En amplitude, ChatGPT produit globalement un gain supérieur de 46,30 % à celui des aides humaines. Comme le montre la figure 4, les gains sont plus élevés avec ChatGPT dans chaque domaine. Cependant, la différence entre ChatGPT et les aides humaines n’est pas statistiquement significative (p = 0,416). Dans les comparaisons entre domaines, seule l’algèbre élémentaire présente des différences significatives, avec des gains supérieurs aux trois autres. Au pré-test, aucune différence significative entre conditions n’est relevée à l’intérieur de chaque domaine selon Kruskal–Wallis : p = 0,451 en algèbre élémentaire, 0,785 en algèbre intermédiaire, 0,265 en algèbre universitaire et 0,382 en statistiques.

Enfin, nous avons étudié le temps consacré à la tâche. Les durées moyennes différaient significativement selon la condition (p ≪ 0,001). Des tests U de Mann–Whitney ont ensuite déterminé quelles paires différaient : les deux groupes avec aides prenaient davantage de temps que le témoin (p ≪ 0,001), mais ne différaient pas significativement entre eux (p = 0,614).

Les trois gains négatifs correspondaient à des conditions témoins. Ils n’étaient pas statistiquement significatifs et n’indiquaient donc probablement pas de perte réelle de connaissances.

Discussion et travaux futurs

Les données recueillies suggèrent que les conditions nécessaires sont réunies pour tirer des conclusions sur la valeur pédagogique de ChatGPT en algèbre et en statistiques. Les participants des différentes conditions étaient comparables au pré-test dans chaque domaine, sans avantage initial pour une intervention. Le fait que la condition sans aide ait produit le plus faible apprentissage (1,85 %), tandis que les aides humaines et ChatGPT ont produit des gains de 11,62 % et de 17 %, suggère aussi que les travailleurs de Mechanical Turk constituaient des participants valides pour mesurer l’apprentissage des mathématiques.

Dans notre étude pilote préliminaire [12], les aides humaines avaient produit des gains significativement supérieurs à ceux de ChatGPT dans les deux domaines testés, l’algèbre élémentaire et intermédiaire. Toutes les conditions présentaient des gains positifs, mais les différences pré-test/post-test n’étaient significatives que pour les aides humaines. Nous avions supposé que les faibles gains avec ChatGPT venaient largement d’un effet de plafond au pré-test et d’un déséquilibre avec le témoin en algèbre intermédiaire. Après correction de cette limite, seule la condition ChatGPT présente des gains significativement supérieurs au témoin sans aide, sans différence significative entre ChatGPT et les aides humaines.

Les bénéfices de ChatGPT pour l’apprentissage paraissent convaincants. Obtenir des gains significatifs, indissociables statistiquement de ceux d’aides humaines, est important lorsque l’on considère que ses aides ont été produites en un vingtième du temps nécessaire aux aides humaines. L’auto-cohérence permettant de générer instantanément des aides d’algèbre presque sans erreur, ce domaine semble prêt pour une production entièrement autonome de contenus éducatifs.

Avec un taux d’erreur de 32 %, ChatGPT 3.5 commet davantage d’erreurs que ce qu’on attendrait d’un enseignant ou d’un assistant pédagogique dans les domaines étudiés. Les enseignants et les organisations de technologie éducative devraient donc faire preuve de prudence avant d’intégrer les sorties brutes de ChatGPT sans traitement de réduction des erreurs ou sans connaître sa propension à l’erreur dans la matière enseignée. Tout cela suggère que ChatGPT et les autres LLM ne devraient pas donner aux élèves des retours présentés comme ceux d’un enseignant, sauf dans un domaine où un taux d’erreur proche de zéro a été vérifié. Si les techniques de réduction des erreurs n’y parviennent pas, les concepteurs devraient envisager de présenter ces retours comme ceux d’un « robot imparfait » ou d’une source semblable à un pair, pour que les élèves puissent les examiner de manière critique.

Le taux de 32 % est très proche des 27 % récemment rapportés par OpenAI pour ChatGPT 4 sur des questions d’AP Calculus, de physique et de chimie [64]. Cela suggère que ChatGPT 3.5 et 4 ne devraient être attendus qu’à un niveau de note allant de C− à C+ sur des matières universitaires. Des améliorations plus importantes de 4 par rapport à 3.5 sont possibles sur les mathématiques du secondaire, une réduction brute de 19 points de pourcentage du taux d’erreur ayant été rapportée sur SAT Math [65]. Cela rejoint des observations selon lesquelles ChatGPT 3.5 atteint un niveau C+ à l’examen du barreau [66] et reste sous le seuil de réussite à des examens médicaux [67].

Une limite de notre étude est que seules des questions sans figures pouvaient recevoir des aides, la version de ChatGPT disponible à l’époque ne pouvant pas traiter d’images en entrée. Des travaux futurs pourraient intégrer les progrès émergents des LLM [68] et les versions ultérieures de ChatGPT acceptant des données multimodales en entrée et en sortie. Notre étude repose sur un LLM fermé dont les poids ne sont pas publics. De futures évaluations pourraient inclure des modèles plus ouverts comme LLaMA [69]. Toutefois, des analyses récentes de ces modèles et des techniques d’ajustement proposées indiquent que les modèles GPT d’OpenAI conservent encore des capacités nettement supérieures [70].

Notre étude a utilisé des apprenants recrutés en ligne plutôt que des élèves du secondaire ou des étudiants sur leur lieu d’études. Ce choix s’explique en partie par la difficulté d’accéder aux classes, les risques supplémentaires perçus par les comités d’éthique et les enseignants concernant une technologie aussi récente, et la nécessité de disposer d’un recrutement assez rapide pour suivre le rythme d’évolution de l’IA. Cette limite est cependant atténuée par des résultats récents montrant que les études éducatives sur des apprenants recrutés en ligne concordent avec celles réalisées en situation [71]. Nous concluons en outre que nos participants ont effectivement appris, comme l’indiquent les gains observables et significatifs lorsqu’une aide est fournie, et l’absence de gains significatifs sans aide.

Le taux d’attrition observé est élevé, à 30 %. Il reste cependant assez homogène entre conditions : 36 à 43 exclusions par groupe. Du fait de cette relative homogénéité, il est peu probable, selon nous, qu’il ait menacé de façon importante la validité des comparaisons entre conditions.

Enfin, l’étude est limitée aux mathématiques du secondaire et du début du supérieur. Des travaux futurs pourraient examiner des sujets plus ou moins avancés, dans les domaines scientifiques et techniques ou au-delà, et solliciter des stratégies pédagogiques plus complexes que des solutions détaillées.

Les gains importants observés suggèrent que la génération entièrement autonome d’un système de tutorat mathématique efficace, à partir d’une ressource éducative quelconque comme un chapitre de livre ou une vidéo de cours, pourrait être proche. Comme les solutions détaillées reposent sur la capacité du LLM à répondre correctement, les domaines concernés correspondraient à ceux dans lesquels il obtient de bons résultats aux tests. Une production instantanée de contenus pourrait ouvrir de nouvelles possibilités d’adaptation. Pour les élèves : des réponses plus personnalisées selon leurs acquis et leurs réponses précédentes. Pour les enseignants : des tuteurs mieux alignés avec leurs objectifs et leur classe, demandant moins de formation professionnelle et moins de modifications du programme pour s’adapter à la technologie.

Conclusions

Nous avons évalué l’efficacité pédagogique d’aides générées par ChatGPT à l’aide d’un plan expérimental 3 × 4 (N = 274), comparant leurs gains d’apprentissage à ceux d’aides humaines dans quatre domaines mathématiques. Seule la condition ChatGPT produit des gains significatifs (17 %) par rapport au témoin sans aide (1,85 %). Les aides ChatGPT ont des gains plus élevés dans chaque domaine, mais la différence avec les aides humaines n’est pas statistiquement significative. Il n’y a pas non plus de différence significative de temps consacré à la tâche entre ces deux conditions. Ces observations sont obtenues alors que la consigne limite ChatGPT à une seule solution détaillée, tandis que les auteurs humains disposent de davantage de liberté, avec plusieurs indices et des questions complémentaires aux apprenants.

L’évaluation de qualité montre que 32 % des aides générées contiennent à la fois des étapes et une réponse incorrectes, ce qui suggère qu’une supervision humaine reste nécessaire sans technique de réduction des erreurs. L’auto-cohérence ramène ce taux près de 0 % dans les trois domaines d’algèbre, de l’élémentaire à l’université, et à 13 % en statistiques.

Contributions des auteurs

Références bibliographiques · 71 entrées

Références de l’article, pas 71 documents vérifiés par Fortuia. Titres originaux conservés pour la recherche documentaire ; leur traduction française est ajoutée. Les liens ramènent à l’entrée correspondante chez l’éditeur. Une mention bibliographique ne constitue pas une lecture de ce document.

1. 01

   Gozalo-Brizuela R, Garrido-Merchan EC. ChatGPT is not all you need. A State of the Art Review of large Generative AI models. arXiv:2301.04655; 2023.

   Titre traduit : ChatGPT n’est pas tout ce dont vous avez besoin : état de l’art des grands modèles d’IA générative.

   Référence dans la publication ↗ (nouvel onglet)
2. 02

   Thorp HH. ChatGPT is fun, but not an author. Science. 2023;379(6630):313–313. PMID:36701446.

   Titre traduit : ChatGPT est amusant, mais ce n’est pas un auteur.

   Référence dans la publication ↗ (nouvel onglet)
3. 03

   Fütterer T, Fischer C, Alekseeva A, Chen X, Tate T, Warschauer M, et al. ChatGPT in Education: Global Reactions to AI Innovations. 2023. DOI:10.21203/rs.3.rs-2840105/v1.

   Titre traduit : ChatGPT en éducation : réactions mondiales aux innovations en IA.

   Référence dans la publication ↗ (nouvel onglet)
4. 04

   Rudolph J, Tan S, Tan S. ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? Journal of Applied Learning and Teaching. 2023;6(1).

   Titre traduit : ChatGPT : générateur de foutaises ou fin des évaluations traditionnelles dans l’enseignement supérieur ?

   Référence dans la publication ↗ (nouvel onglet)
5. 05

   Lo CK. What is the impact of ChatGPT on education? A rapid review of the literature. Education Sciences. 2023;13(4):410.

   Titre traduit : Quel est l’impact de ChatGPT sur l’éducation ? Une revue rapide de la littérature.

   Référence dans la publication ↗ (nouvel onglet)
6. 06

   Kim RS, Weitz R, Heffernan NT, Krach N. Tutored problem solving vs. “pure” worked examples. Cognitive Science Society; 2009. p.3121–3126.

   Titre traduit : Résolution accompagnée de problèmes ou exemples résolus « purs ».

   Référence dans la publication ↗ (nouvel onglet)
7. 07

   Booth JL, Cooper LA, Donovan MS, Huyghe A, Koedinger KR, Paré-Blagoev EJ. Design-Based Research Within the Constraints of Practice: AlgebraByExample. Journal of Education for Students Placed at Risk (JESPAR). 2015;20(1–2):79–100.

   Titre traduit : Recherche par la conception sous les contraintes de la pratique : AlgebraByExample.

   Référence dans la publication ↗ (nouvel onglet)
8. 08

   O’Rourke E, Butler E, Díaz Tolentino A, Popović Z. Automatic generation of problems and explanations for an intelligent algebra tutor. Artificial Intelligence in Education, AIED 2019, Chicago, 25–29 juin 2019, Proceedings Part I 20. Springer; 2019. p.383–395.

   Titre traduit : Génération automatique de problèmes et d’explications pour un tuteur intelligent d’algèbre.

   Référence dans la publication ↗ (nouvel onglet)
9. 09

   Atkinson RK, Derry SJ, Renkl A, Wortham D. Learning from examples: Instructional principles from the worked examples research. Review of Educational Research. 2000;70(2):181–214.

   Titre traduit : Apprendre par l’exemple : principes pédagogiques issus de la recherche sur les exemples résolus.

   Référence dans la publication ↗ (nouvel onglet)
10. 10

    Vest NA, Silla EM, Bartel AN, Nagashima T, Aleven V, Alibali MW. Self-Explanation of Worked Examples Integrated in an Intelligent Tutoring System Enhances Problem Solving and Efficiency in Algebra. Proceedings of the Annual Meeting of the Cognitive Science Society. Vol.44; 2022.

    Titre traduit : L’auto-explication d’exemples résolus intégrée à un tuteur intelligent améliore la résolution de problèmes et l’efficacité en algèbre.

    Référence dans la publication ↗ (nouvel onglet)
11. 11

    Pardos ZA, Tang M, Anastasopoulos I, Sheel SK, Zhang E. OATutor: An Open-Source Adaptive Tutoring System and Curated Content Library for Learning Sciences Research. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, CHI’23. New York: ACM; 2023. DOI:10.1145/3544548.3581574.

    Titre traduit : OATutor : système de tutorat adaptatif ouvert et bibliothèque de contenus sélectionnés pour la recherche en sciences de l’apprentissage.

    Référence dans la publication ↗ (nouvel onglet)
12. 12

    Pardos ZA, Bhandari S. Learning gain differences between ChatGPT and human tutor generated algebra hints. 2023.

    Titre traduit : Différences de gains d’apprentissage entre aides d’algèbre générées par ChatGPT et par des tuteurs humains.

    Référence dans la publication ↗ (nouvel onglet)
13. 13

    Shuster K, Poff S, Chen M, Kiela D, Weston J. Retrieval augmentation reduces hallucination in conversation. arXiv:2104.07567; 2021.

    Titre traduit : L’augmentation par recherche d’information réduit les hallucinations dans la conversation.

    Référence dans la publication ↗ (nouvel onglet)
14. 14

    Wang X, Wei J, Schuurmans D, Le Q, Chi E, Zhou D. Self-consistency improves chain of thought reasoning in language models. arXiv:2203.11171; 2022.

    Titre traduit : L’auto-cohérence améliore le raisonnement par chaîne de pensée dans les modèles de langage.

    Référence dans la publication ↗ (nouvel onglet)
15. 15

    Aleven V, McLaren BM, Sewall J, Koedinger KR. The cognitive tutor authoring tools (CTAT): Preliminary evaluation of efficiency gains. International Conference on Intelligent Tutoring Systems. Springer; 2006. p.61–70.

    Titre traduit : Les outils de création de tuteurs cognitifs CTAT : évaluation préliminaire des gains d’efficacité.

    Référence dans la publication ↗ (nouvel onglet)
16. 16

    Razzaq L, Patvarczki J, Almeida SF, Vartak M, Feng M, Heffernan NT, et al. The Assistment Builder: Supporting the life cycle of tutoring system content creation. IEEE Transactions on Learning Technologies. 2009;2(2):157–166.

    Titre traduit : Assistment Builder : accompagner le cycle de création des contenus de tutorat.

    Référence dans la publication ↗ (nouvel onglet)
17. 17

    Turner TE, Macasek MA, Nuzzo-Jones G, Heffernan NT, Koedinger K. The Assistment Builder: A Rapid Development Tool for ITS. Proceedings of the 2005 Conference on Artificial Intelligence in Education: Supporting Learning through Intelligent and Socially Informed Technology. NLD: IOS Press; 2005. p.929–931.

    Titre traduit : Assistment Builder : un outil de développement rapide pour les systèmes de tutorat intelligents.

    Référence dans la publication ↗ (nouvel onglet)
18. 18

    Brown T, Mann B, Ryder N, Subbiah M, Kaplan JD, Dhariwal P, et al. Language models are few-shot learners. Advances in Neural Information Processing Systems. 2020;33:1877–1901.

    Titre traduit : Les modèles de langage apprennent à partir de peu d’exemples.

    Référence dans la publication ↗ (nouvel onglet)
19. 19

    Leinonen J, Hellas A, Sarsa S, Reeves B, Denny P, Prather J, et al. Using large language models to enhance programming error messages. 54th ACM Technical Symposium on Computer Science Education V.1; 2023. p.563–569.

    Titre traduit : Utiliser les grands modèles de langage pour améliorer les messages d’erreur en programmation.

    Référence dans la publication ↗ (nouvel onglet)
20. 20

    MacNeil S, Tran A, Mogil D, Bernstein S, Ross E, Huang Z. Generating diverse code explanations using the GPT-3 large language model. 2022 ACM Conference on International Computing Education Research, Vol.2; 2022. p.37–39.

    Titre traduit : Générer des explications de code variées avec le grand modèle de langage GPT-3.

    Référence dans la publication ↗ (nouvel onglet)
21. 21

    MacNeil S, Tran A, Leinonen J, Denny P, Kim J, Hellas A, et al. Automatically Generating CS Learning Materials with Large Language Models. arXiv:2212.05113; 2022.

    Titre traduit : Générer automatiquement des supports d’apprentissage informatique avec les grands modèles de langage.

    Référence dans la publication ↗ (nouvel onglet)
22. 22

    Zong M, Krishnamachari B. Solving math word problems concerning systems of equations with GPT-3. Thirteenth AAAI Symposium on Educational Advances in Artificial Intelligence; 2022.

    Titre traduit : Résoudre avec GPT-3 des problèmes mathématiques en langage naturel sur les systèmes d’équations.

    Référence dans la publication ↗ (nouvel onglet)
23. 23

    Barnes T, Stamper J. Toward automatic hint generation for logic proof tutoring using historical student data. Intelligent Tutoring Systems, ITS 2008, Montréal, 23–27 juin 2008, Proceedings 9. Springer; 2008. p.373–382.

    Titre traduit : Vers la génération automatique d’aides aux preuves logiques à partir d’historiques d’étudiants.

    Référence dans la publication ↗ (nouvel onglet)
24. 24

    Stamper J, Eagle M, Barnes T, Croy M. Experimental evaluation of automatic hint generation for a logic tutor. International Journal of Artificial Intelligence in Education. 2013;22(1–2):3–17.

    Titre traduit : Évaluation expérimentale de la génération automatique d’aides pour un tuteur de logique.

    Référence dans la publication ↗ (nouvel onglet)
25. 25

    Price TW, Dong Y, Zhi R, Paaßen B, Lytle N, Cateté V, et al. A comparison of the quality of data-driven programming hint generation algorithms. International Journal of Artificial Intelligence in Education. 2019;29:368–395.

    Titre traduit : Comparaison de la qualité d’algorithmes de génération d’aides à la programmation fondés sur les données.

    Référence dans la publication ↗ (nouvel onglet)
26. 26

    Rivers K, Koedinger KR. Automating hint generation with solution space path construction. Intelligent Tutoring Systems, ITS 2014, Honolulu, 5–9 juin 2014, Proceedings 12. Springer; 2014. p.329–339.

    Titre traduit : Automatiser la génération d’aides par construction de parcours dans l’espace des solutions.

    Référence dans la publication ↗ (nouvel onglet)
27. 27

    Piech C, Sahami M, Huang J, Guibas L. Autonomously generating hints by inferring problem solving policies. Second ACM Conference on Learning at Scale; 2015. p.195–204.

    Titre traduit : Générer des aides de manière autonome en inférant des politiques de résolution de problèmes.

    Référence dans la publication ↗ (nouvel onglet)
28. 28

    Buwalda M, Jeuring J, Naus N. Use Expert Knowledge Instead of Data: Generating Hints for Hour of Code Exercises. Fifth Annual ACM Conference on Learning at Scale, L@S’18. New York: ACM; 2018. DOI:10.1145/3231644.3231690.

    Titre traduit : Utiliser les connaissances expertes plutôt que les données : générer des aides pour Hour of Code.

    Référence dans la publication ↗ (nouvel onglet)
29. 29

    Price TW, Dong Y, Barnes T. Generating data-driven hints for open-ended programming. International Educational Data Mining Society; 2016.

    Titre traduit : Générer des aides fondées sur les données pour la programmation ouverte.

    Référence dans la publication ↗ (nouvel onglet)
30. 30

    Roy Choudhury R, Yin H, Fox A. Scale-driven automatic hint generation for coding style. Intelligent Tutoring Systems, ITS 2016, Zagreb, 7–10 juin 2016, Proceedings 13. Springer; 2016. p.122–132.

    Titre traduit : Génération automatique d’aides au style de programmation à grande échelle.

    Référence dans la publication ↗ (nouvel onglet)
31. 31

    Bommasani R, Hudson DA, Adeli E, Altman R, Arora S, von Arx S, et al. On the opportunities and risks of foundation models. arXiv:2108.07258; 2021.

    Titre traduit : Sur les possibilités et les risques des modèles de fondation.

    Référence dans la publication ↗ (nouvel onglet)
32. 32

    Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al. Attention is all you need. Advances in Neural Information Processing Systems. 2017;30.

    Titre traduit : L’attention suffit.

    Référence dans la publication ↗ (nouvel onglet)
33. 33

    Radford A, Narasimhan K, Salimans T, Sutskever I, et al. Improving language understanding by generative pre-training. OpenAI blog; 2018.

    Titre traduit : Améliorer la compréhension du langage par préentraînement génératif.

    Référence dans la publication ↗ (nouvel onglet)
34. 34

    Devlin J, Chang MW, Lee K, Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv:1810.04805; 2018.

    Titre traduit : BERT : préentraînement de Transformers bidirectionnels profonds pour la compréhension du langage.

    Référence dans la publication ↗ (nouvel onglet)
35. 35

    Reimers N, Gurevych I. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv:1908.10084; 2019.

    Titre traduit : Sentence-BERT : représentations de phrases à l’aide de réseaux BERT siamois.

    Référence dans la publication ↗ (nouvel onglet)
36. 36

    Radford A, Wu J, Child R, Luan D, Amodei D, Sutskever I, et al. Language models are unsupervised multitask learners. OpenAI blog. 2019;1(8):9.

    Titre traduit : Les modèles de langage sont des apprenants multitâches non supervisés.

    Référence dans la publication ↗ (nouvel onglet)
37. 37

    Ouyang L, Wu J, Jiang X, Almeida D, Wainwright CL, Mishkin P, et al. Training language models to follow instructions with human feedback. arXiv:2203.02155; 2022.

    Titre traduit : Entraîner les modèles de langage à suivre des instructions grâce au retour humain.

    Référence dans la publication ↗ (nouvel onglet)
38. 38

    Liu S, Wright AP, Patterson BL, Wanderer JP, Turer RW, Nelson SD, et al. Using AI-generated suggestions from ChatGPT to optimize clinical decision support. Journal of the American Medical Informatics Association. 2023.

    Titre traduit : Utiliser les suggestions de ChatGPT pour optimiser l’aide à la décision clinique.

    Référence dans la publication ↗ (nouvel onglet)
39. 39

    Hirosawa T, Harada Y, Yokose M, Sakamoto T, Kawamura R, Shimizu T. Diagnostic Accuracy of Differential-Diagnosis Lists Generated by Generative Pretrained Transformer 3 Chatbot for Clinical Vignettes with Common Chief Complaints: A Pilot Study. International Journal of Environmental Research and Public Health. 2023;20(4). PMID:36834073.

    Titre traduit : Exactitude des diagnostics différentiels produits par un agent GPT-3 pour des vignettes cliniques à motifs courants : étude pilote.

    Référence dans la publication ↗ (nouvel onglet)
40. 40

    Stella F, Santina CD, Hughes J. Can Large Language Models design a Robot? 2023.

    Titre traduit : Les grands modèles de langage peuvent-ils concevoir un robot ?

    Référence dans la publication ↗ (nouvel onglet)
41. 41

    Sok S, Heng K. ChatGPT for education and research: A review of benefits and risks. SSRN 4378735; 2023.

    Titre traduit : ChatGPT pour l’éducation et la recherche : revue des bénéfices et des risques.

    Référence dans la publication ↗ (nouvel onglet)
42. 42

    Baidoo-Anu D, Ansah LO. Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learning. Journal of AI. 2023;7(1):52–62.

    Titre traduit : L’éducation à l’ère de l’IA générative : comprendre les bénéfices possibles de ChatGPT pour enseigner et apprendre.

    Référence dans la publication ↗ (nouvel onglet)
43. 43

    Dai W, Lin J, Jin H, Li T, Tsai YS, Gašević D, et al. Can large language models provide feedback to students? A case study on ChatGPT. 2023 IEEE International Conference on Advanced Learning Technologies (ICALT). IEEE; 2023. p.323–325.

    Titre traduit : Les grands modèles de langage peuvent-ils fournir des retours aux étudiants ? Le cas de ChatGPT.

    Référence dans la publication ↗ (nouvel onglet)
44. 44

    Wardat Y, Tashtoush MA, AlAli R, Jarrah AM. ChatGPT: A revolutionary tool for teaching and learning mathematics. Eurasia Journal of Mathematics, Science and Technology Education. 2023;19(7):em2286.

    Titre traduit : ChatGPT : un outil révolutionnaire pour enseigner et apprendre les mathématiques.

    Référence dans la publication ↗ (nouvel onglet)
45. 45

    Kasneci E, Seßler K, Küchemann S, Bannert M, Dementieva D, Fischer F, et al. ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences. 2023;103:102274.

    Titre traduit : ChatGPT pour le bien ? Possibilités et défis des grands modèles de langage en éducation.

    Référence dans la publication ↗ (nouvel onglet)
46. 46

    Pankiewicz M, Baker RS. Large Language Models (GPT) for automating feedback on programming assignments. 2023.

    Titre traduit : Les grands modèles de langage pour automatiser les retours sur les exercices de programmation.

    Référence dans la publication ↗ (nouvel onglet)
47. 47

    Shahriar S, Hayawi K. Let’s have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations. arXiv:2302.13817; 2023.

    Titre traduit : Discutons ! Conversation avec ChatGPT : technologie, applications et limites.

    Référence dans la publication ↗ (nouvel onglet)
48. 48

    Wang RE, Demszky D. Is ChatGPT a Good Teacher Coach? Measuring Zero-Shot Performance For Scoring and Providing Actionable Insights on Classroom Instruction. 2023.

    Titre traduit : ChatGPT est-il un bon accompagnateur d’enseignants ? Évaluation sans exemples préalables de l’enseignement en classe et de conseils exploitables.

    Référence dans la publication ↗ (nouvel onglet)
49. 49

    Nguyen HA, Stec H, Hou X, Di S, McLaren BM. Evaluating ChatGPT’s Decimal Skills and Feedback Generation in a Digital Learning Game. European Conference on Technology Enhanced Learning. Springer; 2023. p.278–293.

    Titre traduit : Évaluer les compétences décimales de ChatGPT et sa génération de retours dans un jeu d’apprentissage numérique.

    Référence dans la publication ↗ (nouvel onglet)
50. 50

    Hellas A, Leinonen J, Sarsa S, Koutcheme C, Kujanpää L, Sorva J. Exploring the Responses of Large Language Models to Beginner Programmers’ Help Requests. 2023 ACM Conference on International Computing Education Research V.1, ICER 2023. ACM; 2023. DOI:10.1145/3568813.3600139.

    Titre traduit : Explorer les réponses des grands modèles de langage aux demandes d’aide de programmeurs débutants.

    Référence dans la publication ↗ (nouvel onglet)
51. 51

    Moore S, Nguyen HA, Chen T, Stamper J. Assessing the quality of multiple-choice questions using GPT-4 and rule-based methods. European Conference on Technology Enhanced Learning. Springer; 2023. p.229–245.

    Titre traduit : Évaluer la qualité des questions à choix multiples avec GPT-4 et des méthodes à règles.

    Référence dans la publication ↗ (nouvel onglet)
52. 52

    Wu Y, Henriksson A, Duneld M, Nouri J. Towards Improving the Reliability and Transparency of ChatGPT for Educational Question Answering. European Conference on Technology Enhanced Learning. Springer; 2023. p.475–488.

    Titre traduit : Vers une amélioration de la fiabilité et de la transparence de ChatGPT pour les questions-réponses pédagogiques.

    Référence dans la publication ↗ (nouvel onglet)
53. 53

    Nikolic S, Daniel S, Haque R, Belkina M, Hassan GM, Grundy S, et al. ChatGPT versus engineering education assessment: a multidisciplinary and multi-institutional benchmarking and analysis of this generative artificial intelligence tool to investigate assessment integrity. European Journal of Engineering Education. 2023. p.1–56.

    Titre traduit : ChatGPT face aux évaluations en ingénierie : comparaison multidisciplinaire et multi-institutionnelle pour examiner l’intégrité des évaluations.

    Référence dans la publication ↗ (nouvel onglet)
54. 54

    OECD. PISA 2018 Results (Volume I). 2019. DOI:10.1787/5f07c754-en.

    Titre traduit : Résultats du PISA 2018, volume I.

    Référence dans la publication ↗ (nouvel onglet)
55. 55

    Cao L. Data Science: A Comprehensive Overview. ACM Computing Surveys. 2017;50(3).

    Titre traduit : Science des données : vue d’ensemble approfondie.

    Référence dans la publication ↗ (nouvel onglet)
56. 56

    Christiano PF, Leike J, Brown T, Martic M, Legg S, Amodei D. Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems. 2017;30.

    Titre traduit : Apprentissage profond par renforcement à partir des préférences humaines.

    Référence dans la publication ↗ (nouvel onglet)
57. 57

    Maynez J, Narayan S, Bohnet B, McDonald R. On Faithfulness and Factuality in Abstractive Summarization. 58th Annual Meeting of the Association for Computational Linguistics. Online: ACL; 2020. p.1906–1919. https://aclanthology.org/2020.acl-main.173

    Titre traduit : Sur la fidélité et l’exactitude factuelle des résumés abstractifs.

    Référence dans la publication ↗ (nouvel onglet)
58. 58

    Wang H, Luo X, Wang W, Yan X. Bot or Human? Detecting ChatGPT Imposters with A Single Question. 2023.

    Titre traduit : Robot ou humain ? Détecter les imposteurs ChatGPT avec une seule question.

    Référence dans la publication ↗ (nouvel onglet)
59. 59

    Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977. p.159–174. PMID:843571.

    Titre traduit : Mesurer l’accord entre observateurs sur des données catégorielles.

    Référence dans la publication ↗ (nouvel onglet)
60. 60

    Ben Simon E, Walker MP. Sleep loss causes social withdrawal and loneliness. Nature Communications. 2018;9(1):3146. PMID:30108218.

    Titre traduit : Le manque de sommeil provoque retrait social et solitude.

    Référence dans la publication ↗ (nouvel onglet)
61. 61

    Capraro V, Cococcioni G. Rethinking spontaneous giving: Extreme time pressure and ego-depletion favor self-regarding reactions. Scientific Reports. 2016;6(1):27219. PMID:27251762.

    Titre traduit : Repenser le don spontané : forte pression temporelle et épuisement de l’autocontrôle favorisent les réactions centrées sur soi.

    Référence dans la publication ↗ (nouvel onglet)
62. 62

    Ayres I, Katz TK, Regev T. Languages and future-oriented economic behavior—Experimental evidence for causal effects. Proceedings of the National Academy of Sciences. 2023;120(7):e2208871120. PMID:36745779.

    Titre traduit : Langues et comportements économiques tournés vers l’avenir : résultats expérimentaux sur les effets causaux.

    Référence dans la publication ↗ (nouvel onglet)
63. 63

    Aguinis H, Villamor I, Ramani RS. MTurk Research: Review and Recommendations. Journal of Management. 2021;47(4):823–837.

    Titre traduit : La recherche sur MTurk : revue et recommandations.

    Référence dans la publication ↗ (nouvel onglet)
64. 64

    Lightman H, Kosaraju V, Burda Y, Edwards H, Baker B, Lee T, et al. Let’s Verify Step by Step. 2023.

    Titre traduit : Vérifions étape par étape.

    Référence dans la publication ↗ (nouvel onglet)
65. 65

    OpenAI. GPT-4 Technical Report. 2023.

    Titre traduit : Rapport technique de GPT-4.

    Référence dans la publication ↗ (nouvel onglet)
66. 66

    Choi JH, Hickman KE, Monahan A, Schwarcz D. ChatGPT goes to law school. SSRN; 2023.

    Titre traduit : ChatGPT entre en faculté de droit.

    Référence dans la publication ↗ (nouvel onglet)
67. 67

    Fijačko N, Gosak L, Štiglic G, Picard CT, Douma MJ. Can ChatGPT pass the life support exams without entering the American heart association course? Resuscitation. 2023;185. PMID:36775020.

    Titre traduit : ChatGPT peut-il réussir les examens de réanimation sans suivre le cours de l’American Heart Association ?

    Référence dans la publication ↗ (nouvel onglet)
68. 68

    Li J, Li D, Savarese S, Hoi S. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597; 2023.

    Titre traduit : BLIP-2 : amorcer le préentraînement langage-image avec des encodeurs d’images figés et des grands modèles de langage.

    Référence dans la publication ↗ (nouvel onglet)
69. 69

    Touvron H, Lavril T, Izacard G, Martinet X, Lachaux MA, Lacroix T, et al. LLaMA: Open and efficient foundation language models. arXiv:2302.13971; 2023.

    Titre traduit : LLaMA : modèles de fondation linguistiques ouverts et efficaces.

    Référence dans la publication ↗ (nouvel onglet)
70. 70

    Gudibande A, Wallace E, Snell C, Geng X, Liu H, Abbeel P, et al. The False Promise of Imitating Proprietary LLMs. arXiv:2305.15717; 2023.

    Titre traduit : La fausse promesse de l’imitation des LLM propriétaires.

    Référence dans la publication ↗ (nouvel onglet)
71. 71

    Wang KD, Chen Z, Wieman C. Can Crowdsourcing Platforms Be Useful for Educational Research? 14th Learning Analytics and Knowledge Conference, LAK ’24. New York: ACM; 2024. p.416–425. DOI:10.1145/3636555.3636897.

    Titre traduit : Les plateformes participatives peuvent-elles être utiles à la recherche en éducation ?

    Référence dans la publication ↗ (nouvel onglet)

RÉSUMÉ COMPLET · RÉDACTION FORTUIA

Ce qu’il faut garder de toute l’étude.

Des explications mathématiques produites par un ancien modèle de ChatGPT, puis filtrées par une humaine, ont aidé des adultes à améliorer un score immédiat. L’étude ne démontre ni le remplacement d’un enseignant ni l’efficacité d’un tuteur laissé sans contrôle.

1. Pourquoi cette étude ?

Rédiger et vérifier les contenus d’un système de tutorat demande beaucoup de temps. Les auteurs cherchent à savoir si ChatGPT peut produire des aides suffisamment correctes et utiles pour alléger ce travail. Ils posent deux questions : quelle est la fréquence des aides de mauvaise qualité, et quels gains d’apprentissage les aides conservées produisent-elles ? Les travaux antérieurs portent notamment sur les exemples résolus, la génération automatique d’indices et les erreurs des modèles de langage. Introduction et questions de recherche →

2. Qui participe, et à quelle époque ?

L’expérience se déroule du 28 février au 10 mai 2023. Les aides proviennent de ChatGPT 3.5, version « Dec 15 », et l’article est publié le 24 mai 2024. Les 394 personnes recrutées sur Mechanical Turk sont des adultes disposant au moins d’un diplôme de fin d’études secondaires et du statut « Master » de la plateforme. Après 120 exclusions — 75 personnes n’ayant pas tenté les phases de test, 45 n’ayant pas tout terminé —, 274 personnes sont analysées. Leur tranche d’âge médiane est 36–40 ans. Il ne s’agit pas d’un essai en classe auprès d’enfants.

3. Qu’est-ce qui est comparé ?

La répartition aléatoire croise trois conditions et quatre domaines : algèbre élémentaire, intermédiaire, universitaire et statistiques. Les 90 témoins n’ont pas d’explication, mais reçoivent un retour sur la justesse de leur réponse et peuvent obtenir la réponse finale pour avancer. Les 86 personnes du groupe humain reçoivent des aides rédigées à l’avance par des étudiants de Berkeley expérimentés en tutorat. Les 98 du groupe ChatGPT lisent une solution détaillée préalablement générée et vérifiée. Ce ne sont pas trois enseignants qui dialoguent en direct.

Chaque séance comprend 3 questions de pré-test, 5 exercices et les 3 mêmes questions au post-test. Le gain correspond à la différence de score, exprimée ci-dessous en points de pourcentage. Le protocole est approuvé par le comité d’éthique de Berkeley ; la participation est anonyme et rémunérée 8 dollars pour une séance annoncée de 10 à 20 minutes. Méthodes complètes →

4. La qualité des aides : le travail humain reste déterminant.

Avant l’expérience, la seconde auteure écarte les aides dont la réponse ou les étapes sont erronées, ou dont le langage serait inapproprié. Un objectif ne peut être utilisé que s’il reste huit problèmes admissibles. Six autres évaluateurs examinent ensuite la qualité pour la question RQ1, avec un accord élevé (kappa de Fleiss : 0,857 à 0,929).

Le texte rapporte 32 % d’aides écartées avant sélection, pour erreurs de calcul ou de raisonnement, et 37,60 secondes en moyenne pour vérifier une aide. Les aides ChatGPT sont plus longues en médiane : 355 mots contre 277 pour les séquences humaines. Une seule aide ne signifie donc pas un texte plus court.

5. Dix réponses et un vote réduisent les erreurs, sur cet échantillon.

Les chercheurs génèrent dix réponses par problème, regroupent celles qui aboutissent au même résultat et retiennent le groupe le plus fréquent, avec tirage au sort en cas d’égalité. Les taux d’erreur annoncés après cette « auto-cohérence » sont de 0 %, 2 %, 2 % et 13 % dans les quatre domaines. Cela ne garantit pas zéro erreur sur d’autres problèmes.

Ne pas confondre les deux volets : l’efficacité pédagogique est mesurée sur des contenus présélectionnés par une humaine. L’analyse de l’auto-cohérence n’est pas un essai démontrant qu’un tuteur autonome peut se passer de ce contrôle. Voir le mécanisme traduit →

6. Les résultats d’apprentissage et leurs limites statistiques.

Les gains moyens sont de 1,85 point pour le témoin, 11,62 points pour les aides humaines et 17,00 points pour ChatGPT, selon le tableau publié. L’analyse entre groupes trouve une différence significative pour ChatGPT face au témoin (p = 0,011), mais pas pour aides humaines face au témoin (p = 0,087), ni pour ChatGPT face aux aides humaines (p = 0,416).

Les auteurs rapportent un effet de la condition et du domaine, sans interaction significative entre eux. Les pré-tests ne diffèrent pas significativement entre conditions à l’intérieur de chaque domaine, même si les moyennes globales diffèrent. Le gain brut de ChatGPT est supérieur de 46,30 % à celui des aides humaines, mais cela ne démontre pas une supériorité statistique sur les aides humaines. Une absence de différence détectée ne prouve pas non plus l’équivalence annoncée par le titre. Les trois gains négatifs par matière concernent le témoin et ne sont pas significatifs. Les 15 lignes du tableau de résultats →

7. Le temps et le coût ne se résument pas à la vitesse du modèle.

Les durées moyennes publiées sont de 5 min 40 s pour le témoin, 7 min 58 s pour les aides humaines et 8 min 13 s pour ChatGPT. Les deux conditions aidées prennent plus de temps que le témoin ; leur différence mutuelle n’est pas significative (p = 0,614). Les auteurs évoquent une rédaction des aides vingt fois plus rapide avec ChatGPT, mais ne fournissent pas un coût complet de déploiement, d’entretien et de contrôle à grande échelle. Le temps de contrôle des aides humaines n’est pas rapporté.

8. Ce qui ne peut pas être généralisé.

Les résultats concernent quatre objectifs mathématiques, des exercices textuels, un ancien modèle fermé, des adultes recrutés et rémunérés en ligne, et une évaluation immédiate très courte. Il n’y a pas de mesure différée de rétention ni de démonstration de transfert à de nouvelles tâches. L’attrition est élevée ; sa répartition assez proche entre groupes ne garantit pas qu’aucun biais de sélection ne subsiste. Les essais de normalité, les analyses de variance sur rangs et les tests non paramétriques sont détaillés dans la traduction, mais leurs calculs n’ont pas été reproduits par Fortuia.

Un point de cohérence interne est conservé, sans correction inventée : le texte annonce 75 problèmes et 24 exclusions en moyenne, alors que les lignes du tableau 1 totalisent 74 problèmes et 23 exclusions. Ce décalage est à vérifier dans les données ou auprès des auteurs. Nous présentons les valeurs publiées telles quelles. Note de lecture et tableau concerné →

9. La conclusion des auteurs et les prolongements.

Les auteurs jugent prometteuse la production rapide d’aides pédagogiques, mais déconseillent les sorties brutes sans réduction des erreurs ni vigilance. Ils envisagent d’autres matières, des niveaux différents, la multimodalité, des modèles plus ouverts et des stratégies pédagogiques plus élaborées. Leur perspective de tutorat entièrement autonome reste une projection de la discussion, pas un système validé par cette expérience. Les comparaisons de modèles évoquées dans l’article appartiennent au contexte de 2023–2024, pas à un classement actuel.

10. Provenance, financement et portée de cette lecture.

Les auteurs sont Zachary A. Pardos et Shreya Bhandari (UC Berkeley). Le financement provient de subventions internes à Berkeley ; les auteurs déclarent l’absence de conflit d’intérêts et d’intervention des financeurs dans la recherche. L’article est sous CC BY 4.0. Les données, les contenus et le code sont accessibles par les liens des auteurs ; ils n’ont pas été réanalysés ici. Cette synthèse couvre la question, les travaux connexes, le protocole, la qualité, les résultats, le temps, les limites, les conclusions et la transparence scientifique. Les 71 références sont consultables dans la lecture intégrale.