Auteur : MIT (Massachusetts Institute of Technology) extrait
Compilation : Felix, PANews
Avec l'adoption généralisée de produits tels que ChatGPT d'OpenAI, les modèles de langage de grande taille (LLM) sont utilisés presque quotidiennement par des entreprises et des groupes du monde entier. Comme d'autres outils, les LLM ont aussi leurs propres avantages et limites.
Récemment, le MIT a publié un rapport de recherche de 206 pages, explorant le coût cognitif de l'utilisation des LLM (comme ChatGPT) dans le contexte éducatif de la rédaction, révélant l'impact de l'utilisation des LLM sur le cerveau et les capacités cognitives. L'étude montre qu'une dépendance excessive à des chatbots d'intelligence artificielle comme ChatGPT d'OpenAI pourrait réduire les capacités cognitives.
L'équipe de recherche a divisé les participants en trois groupes : le groupe LLM, le groupe moteur de recherche et le groupe utilisant uniquement le cerveau. Ces participants ont rédigé des articles en utilisant des outils désignés (le groupe utilisant uniquement le cerveau n'utilisant pas d'outils) dans un temps imparti pendant 4 mois, chaque expérience ayant un thème différent. L'équipe a organisé 3 séries d'expériences identiques pour chaque participant. Lors de la 4ème expérience, l'équipe a demandé aux participants du groupe LLM de ne pas utiliser d'outils (appelé groupe LLM à cerveau), tandis que les participants du groupe utilisant uniquement le cerveau ont utilisé LLM (groupe cerveau à LLM). Au total, 54 participants ont été recrutés pour les 3 premières expériences, dont 18 ont complété la 4ème expérience.
L'équipe de recherche a utilisé l'électroencéphalographie (EEG) pour enregistrer l'activité cérébrale des participants, afin d'évaluer leur engagement cognitif et leur charge cognitive, et d'approfondir la compréhension de l'activation neuronale pendant la tâche de rédaction d'articles. L'équipe a réalisé une analyse de traitement du langage naturel (NLP) et a interviewé chaque participant à la fin de chaque expérience. L'équipe a procédé à l'évaluation avec l'aide d'enseignants humains et d'un juge AI (agent AI spécialement construit).
Dans l'analyse du traitement du langage naturel (NLP), les participants n'ayant recours qu'à leur cerveau montrent une grande variabilité dans la façon d'écrire des articles sur la plupart des sujets. En revanche, le groupe LLM tend à produire des articles homogènes sur chaque sujet, avec une variance statistique nettement inférieure par rapport aux autres groupes. Le groupe des moteurs de recherche est peut-être influencé, au moins dans une certaine mesure, par la promotion et l'optimisation du contenu par les moteurs de recherche.
Le groupe LLM utilise le plus grand nombre d'entités nommées spécifiques (NER), telles que les personnes, les noms, les lieux, les années et les définitions ; alors que le groupe des moteurs de recherche utilise au moins moins de la moitié des NER que le groupe LLM ; le groupe utilisant uniquement le cerveau utilise 60 % de NER en moins que le groupe LLM.
Les membres des groupes LLM et moteur de recherche subissent une pression supplémentaire en raison du temps limité (20 minutes) et sont donc plus enclins à se concentrer sur les résultats produits par les outils qu'ils utilisent. La plupart d'entre eux se concentrent sur la réutilisation du contenu généré par les outils, passant ainsi leur temps à copier-coller, plutôt qu'à intégrer leurs propres idées originales et à éditer ce contenu d'un point de vue personnel et basé sur leur expérience.
En ce qui concerne le modèle de connexions neuronales, les chercheurs utilisent la méthode de fonction de transfert dynamique orientée (dDTF) pour mesurer la charge cognitive des participants. Le dDTF peut révéler des variations systématiques et spécifiques à la fréquence de la cohérence du réseau, ce qui a une importance significative pour les fonctions exécutives, le traitement sémantique et la régulation de l'attention.
L'analyse de l'EEG indique qu'il existe des différences significatives dans les modèles de connectivité neuronale entre le groupe LLM, le groupe moteur de recherche et le groupe uniquement basé sur le cerveau, ce qui reflète différentes stratégies cognitives. Le degré de connectivité cérébrale diminue systématiquement avec l'augmentation du soutien externe : le groupe uniquement basé sur le cerveau présente le réseau le plus fort et le plus étendu, le groupe moteur de recherche montre un niveau d'engagement modéré, tandis que le couplage global du groupe assisté par LLM est le plus faible.
Lors de la quatrième série d'expériences, les participants passant de LLM à uniquement le cerveau ont montré une connexion neuronale plus faible, avec une faible participation des réseaux α et β ; tandis que les participants passant uniquement du cerveau à LLM ont montré une capacité de rappel de mémoire plus élevée et ont réactivé un large éventail de nœuds occipito-pariétaux et préfrontaux.
Lors de l'entretien, le groupe LLM avait un faible sentiment d'appartenance à son article. Le groupe de moteurs de recherche avait un fort sentiment d'appartenance, mais inférieur à celui du groupe qui se fie uniquement à son cerveau. Le groupe LLM était également en retard en ce qui concerne la capacité à citer des articles qu'ils avaient écrits quelques minutes auparavant, plus de 83 % des utilisateurs de ChatGPT ne pouvant pas citer des articles écrits quelques minutes plus tôt.
Cette étude non évaluée par des pairs montre que, lors d'une étude de 4 mois, les participants du groupe LLM ont obtenu des performances inférieures à celles du groupe témoin utilisant uniquement le cerveau, tant sur le plan neurologique que linguistique et des scores. Alors que l'impact éducatif des LLM commence à peine à se manifester, l'utilisation d'LLM d'intelligence artificielle pourrait en réalité nuire à l'amélioration des compétences d'apprentissage, en particulier pour les jeunes utilisateurs.
Les chercheurs affirment qu'avant que les LLM ne soient reconnus comme bénéfiques pour l'humanité, des « études longitudinales » doivent être menées pour comprendre l'impact à long terme des chatbots d'intelligence artificielle sur le cerveau humain.
Lorsque ChatGPT a été interrogé sur cette étude, il a répondu : « Cette étude ne dit pas que ChatGPT est essentiellement nuisible – au contraire, elle met en garde les gens contre une dépendance excessive sans réflexion ni effort. »
Lectures connexes : a16z : des agents IA, DePIN aux micropaiements, 11 directions clés pour la fusion de la cryptographie et de l'IA.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Rapport d'expérimentation MIT : Une dépendance excessive aux Bots d'IA peut Goutte la capacité de réflexion.
Auteur : MIT (Massachusetts Institute of Technology) extrait
Compilation : Felix, PANews
Avec l'adoption généralisée de produits tels que ChatGPT d'OpenAI, les modèles de langage de grande taille (LLM) sont utilisés presque quotidiennement par des entreprises et des groupes du monde entier. Comme d'autres outils, les LLM ont aussi leurs propres avantages et limites.
Récemment, le MIT a publié un rapport de recherche de 206 pages, explorant le coût cognitif de l'utilisation des LLM (comme ChatGPT) dans le contexte éducatif de la rédaction, révélant l'impact de l'utilisation des LLM sur le cerveau et les capacités cognitives. L'étude montre qu'une dépendance excessive à des chatbots d'intelligence artificielle comme ChatGPT d'OpenAI pourrait réduire les capacités cognitives.
L'équipe de recherche a divisé les participants en trois groupes : le groupe LLM, le groupe moteur de recherche et le groupe utilisant uniquement le cerveau. Ces participants ont rédigé des articles en utilisant des outils désignés (le groupe utilisant uniquement le cerveau n'utilisant pas d'outils) dans un temps imparti pendant 4 mois, chaque expérience ayant un thème différent. L'équipe a organisé 3 séries d'expériences identiques pour chaque participant. Lors de la 4ème expérience, l'équipe a demandé aux participants du groupe LLM de ne pas utiliser d'outils (appelé groupe LLM à cerveau), tandis que les participants du groupe utilisant uniquement le cerveau ont utilisé LLM (groupe cerveau à LLM). Au total, 54 participants ont été recrutés pour les 3 premières expériences, dont 18 ont complété la 4ème expérience.
L'équipe de recherche a utilisé l'électroencéphalographie (EEG) pour enregistrer l'activité cérébrale des participants, afin d'évaluer leur engagement cognitif et leur charge cognitive, et d'approfondir la compréhension de l'activation neuronale pendant la tâche de rédaction d'articles. L'équipe a réalisé une analyse de traitement du langage naturel (NLP) et a interviewé chaque participant à la fin de chaque expérience. L'équipe a procédé à l'évaluation avec l'aide d'enseignants humains et d'un juge AI (agent AI spécialement construit).
Dans l'analyse du traitement du langage naturel (NLP), les participants n'ayant recours qu'à leur cerveau montrent une grande variabilité dans la façon d'écrire des articles sur la plupart des sujets. En revanche, le groupe LLM tend à produire des articles homogènes sur chaque sujet, avec une variance statistique nettement inférieure par rapport aux autres groupes. Le groupe des moteurs de recherche est peut-être influencé, au moins dans une certaine mesure, par la promotion et l'optimisation du contenu par les moteurs de recherche.
Le groupe LLM utilise le plus grand nombre d'entités nommées spécifiques (NER), telles que les personnes, les noms, les lieux, les années et les définitions ; alors que le groupe des moteurs de recherche utilise au moins moins de la moitié des NER que le groupe LLM ; le groupe utilisant uniquement le cerveau utilise 60 % de NER en moins que le groupe LLM.
Les membres des groupes LLM et moteur de recherche subissent une pression supplémentaire en raison du temps limité (20 minutes) et sont donc plus enclins à se concentrer sur les résultats produits par les outils qu'ils utilisent. La plupart d'entre eux se concentrent sur la réutilisation du contenu généré par les outils, passant ainsi leur temps à copier-coller, plutôt qu'à intégrer leurs propres idées originales et à éditer ce contenu d'un point de vue personnel et basé sur leur expérience.
En ce qui concerne le modèle de connexions neuronales, les chercheurs utilisent la méthode de fonction de transfert dynamique orientée (dDTF) pour mesurer la charge cognitive des participants. Le dDTF peut révéler des variations systématiques et spécifiques à la fréquence de la cohérence du réseau, ce qui a une importance significative pour les fonctions exécutives, le traitement sémantique et la régulation de l'attention.
L'analyse de l'EEG indique qu'il existe des différences significatives dans les modèles de connectivité neuronale entre le groupe LLM, le groupe moteur de recherche et le groupe uniquement basé sur le cerveau, ce qui reflète différentes stratégies cognitives. Le degré de connectivité cérébrale diminue systématiquement avec l'augmentation du soutien externe : le groupe uniquement basé sur le cerveau présente le réseau le plus fort et le plus étendu, le groupe moteur de recherche montre un niveau d'engagement modéré, tandis que le couplage global du groupe assisté par LLM est le plus faible.
Lors de la quatrième série d'expériences, les participants passant de LLM à uniquement le cerveau ont montré une connexion neuronale plus faible, avec une faible participation des réseaux α et β ; tandis que les participants passant uniquement du cerveau à LLM ont montré une capacité de rappel de mémoire plus élevée et ont réactivé un large éventail de nœuds occipito-pariétaux et préfrontaux.
Lors de l'entretien, le groupe LLM avait un faible sentiment d'appartenance à son article. Le groupe de moteurs de recherche avait un fort sentiment d'appartenance, mais inférieur à celui du groupe qui se fie uniquement à son cerveau. Le groupe LLM était également en retard en ce qui concerne la capacité à citer des articles qu'ils avaient écrits quelques minutes auparavant, plus de 83 % des utilisateurs de ChatGPT ne pouvant pas citer des articles écrits quelques minutes plus tôt.
Cette étude non évaluée par des pairs montre que, lors d'une étude de 4 mois, les participants du groupe LLM ont obtenu des performances inférieures à celles du groupe témoin utilisant uniquement le cerveau, tant sur le plan neurologique que linguistique et des scores. Alors que l'impact éducatif des LLM commence à peine à se manifester, l'utilisation d'LLM d'intelligence artificielle pourrait en réalité nuire à l'amélioration des compétences d'apprentissage, en particulier pour les jeunes utilisateurs.
Les chercheurs affirment qu'avant que les LLM ne soient reconnus comme bénéfiques pour l'humanité, des « études longitudinales » doivent être menées pour comprendre l'impact à long terme des chatbots d'intelligence artificielle sur le cerveau humain.
Lorsque ChatGPT a été interrogé sur cette étude, il a répondu : « Cette étude ne dit pas que ChatGPT est essentiellement nuisible – au contraire, elle met en garde les gens contre une dépendance excessive sans réflexion ni effort. »
Lectures connexes : a16z : des agents IA, DePIN aux micropaiements, 11 directions clés pour la fusion de la cryptographie et de l'IA.