Автор: MIT (Массачусетський технологічний інститут) уривок
Переклад: Felix, PANews
Зі зростанням популярності великих мовних моделей (LLM), таких як ChatGPT від OpenAI, підприємства та групи з усього світу майже щодня використовують LLM. Як і інші інструменти, LLM має свої переваги та обмеження.
Нещодавно Массачусетський технологічний інститут (MIT) опублікував дослідницький звіт обсягом 206 сторінок, в якому вивчається когнітивна вартість використання LLM (таких як ChatGPT) в освітньому контексті написання статей, що розкриває вплив використання LLM на мозок та когнітивні здібності. Дослідження показало, що надмірна залежність від штучних інтелектуальних чат-ботів, таких як ChatGPT від OpenAI, може знизити когнітивні здібності.
Дослідницька група розділила учасників на три групи: група LLM, група пошукових систем та група, що покладається лише на мозок. Протягом 4 місяців учасники, використовуючи вказані інструменти (група, що покладається лише на мозок, не використовувала інструменти), писали статті в обмежений час, теми статей були різними в кожному експерименті. Група організувала для кожного учасника 3 раунди однакових експериментів. У 4-му раунді експерименту команда попросила учасників групи LLM не використовувати жодних інструментів (названа група LLM до мозку), а учасники групи, що покладається лише на мозок, використовували LLM (група мозок до LLM). Загалом було набрано 54 учасники для участі в перших 3 раундах експерименту, з яких 18 завершили 4-й раунд.
Дослідна команда використовувала електроенцефалографію (ЕЕГ) для запису електричної активності мозку учасників, щоб оцінити їхню когнітивну залученість та когнітивне навантаження, а також глибше зрозуміти нейронну активацію під час виконання завдання написання статті. Команда провела аналіз природної мови (NLP) та після закінчення кожного експерименту провела інтерв'ю з кожним учасником. Команда оцінювала результати за допомогою людських викладачів і одного AI судді (спеціально створеного AI агента).
У процесі аналізу обробки природної мови (NLP) учасники, які покладаються лише на участь мозку, демонструють значну різноманітність у способах написання статей на більшість тем. На відміну від цього, група LLM у написанні статей на кожну тему статистично має тенденцію до гомогенізації, з помітно меншим відхиленням у порівнянні з іншими групами. Група пошукових систем, принаймні в певній мірі, може зазнавати впливу просування та оптимізації контенту пошуковими системами.
Група LLM використовує найбільшу кількість специфічних іменованих сутностей (NER), таких як особи, імена, місця, роки та визначення; тоді як кількість NER, яку використовує група пошукових систем, принаймні вдвічі менша, ніж у групи LLM; група, що використовує лише мозок, використовує на 60% менше NER, ніж група LLM.
Учасники групи LLM та пошукових систем відчувають додатковий тиск через обмежений час (20 хвилин), тому вони більше схильні зосереджуватися на результатах, які надають їх інструменти. Більшість з них зосереджені на повторному використанні виходу інструментів, постійно займаючись копіюванням і вставкою, а не інтегруючи свої оригінальні ідеї та редагуючи ці матеріали з власної точки зору та досвіду.
У контексті нейронних зв'язків дослідники використовували метод динамічної орієнтованої передавальної функції (dDTF) для вимірювання когнітивного навантаження учасників. dDTF може виявити систематичні та частотоспецифічні зміни мережевої когерентності, що є важливими для виконавчої функції, семантичної обробки та регулювання уваги.
Аналіз електроенцефалограми вказує на суттєві відмінності в нейронних з'єднаннях між групою LLM, групою пошукових систем та групою, що покладається лише на мозок, що відображає різні когнітивні стратегії. Ступінь з'єднаності мозку систематично знижується з підвищенням зовнішньої підтримки: група, що покладається лише на мозок, демонструє найсильнішу та найширшу мережу, група пошукових систем має середній рівень участі, тоді як група з підтримкою LLM має найслабшу загальну зв'язність.
У 4-му раунді експерименту учасники, які переходили від LLM до лише мозку, демонстрували слабкі нейронні зв'язки, а участь α і β мереж була низькою; тоді як учасники, які переходили від лише мозку до LLM, демонстрували вищу здатність до згадування пам'яті і знову активували широкий спектр потилично-тім'яних та фронтальних вузлів.
У ході інтерв'ю група LLM відзначила низьку причетність до своїх статей. Група пошукових систем має високу причетність, але нижчу, ніж група, що покладається тільки на мозок. Група LLM також відстає в здатності цитувати статті, написані кілька хвилин тому, більше 83% користувачів ChatGPT не можуть цитувати статті, написані кілька хвилин тому.
Це дослідження, яке ще не пройшло рецензування, показує, що протягом 4-місячного дослідницького процесу учасники групи LLM демонстрували нижчі результати в нейронному, мовному та оцінювальному аспектах порівняно з контрольною групою, яка використовувала лише мозок. Оскільки вплив LLM на освіту в масах тільки починає проявлятися, використання штучного інтелекту LLM може насправді зашкодити розвитку навичок навчання, особливо для молодих користувачів.
Дослідники заявили, що перед визнанням LLM корисними для людства необхідно провести "лонгітюдні дослідження", щоб зрозуміти довгостроковий вплив штучних інтелектуальних чат-ботів на людський мозок.
Коли ChatGPT спитали про цю дослідження, він відповів: "Це дослідження не стверджує, що ChatGPT по своїй суті шкідливий — навпаки, воно застерігає людей не покладатися на нього надмірно без роздумів або зусиль."
Схожі статті: a16z: від AI-агентів, DePIN до мікроплатежів, 11 ключових напрямків інтеграції криптовалюти та AI
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Звіт про експеримент MIT: надмірна залежність від AI-ботів може призвести до падіння мислення.
Автор: MIT (Массачусетський технологічний інститут) уривок
Переклад: Felix, PANews
Зі зростанням популярності великих мовних моделей (LLM), таких як ChatGPT від OpenAI, підприємства та групи з усього світу майже щодня використовують LLM. Як і інші інструменти, LLM має свої переваги та обмеження.
Нещодавно Массачусетський технологічний інститут (MIT) опублікував дослідницький звіт обсягом 206 сторінок, в якому вивчається когнітивна вартість використання LLM (таких як ChatGPT) в освітньому контексті написання статей, що розкриває вплив використання LLM на мозок та когнітивні здібності. Дослідження показало, що надмірна залежність від штучних інтелектуальних чат-ботів, таких як ChatGPT від OpenAI, може знизити когнітивні здібності.
Дослідницька група розділила учасників на три групи: група LLM, група пошукових систем та група, що покладається лише на мозок. Протягом 4 місяців учасники, використовуючи вказані інструменти (група, що покладається лише на мозок, не використовувала інструменти), писали статті в обмежений час, теми статей були різними в кожному експерименті. Група організувала для кожного учасника 3 раунди однакових експериментів. У 4-му раунді експерименту команда попросила учасників групи LLM не використовувати жодних інструментів (названа група LLM до мозку), а учасники групи, що покладається лише на мозок, використовували LLM (група мозок до LLM). Загалом було набрано 54 учасники для участі в перших 3 раундах експерименту, з яких 18 завершили 4-й раунд.
Дослідна команда використовувала електроенцефалографію (ЕЕГ) для запису електричної активності мозку учасників, щоб оцінити їхню когнітивну залученість та когнітивне навантаження, а також глибше зрозуміти нейронну активацію під час виконання завдання написання статті. Команда провела аналіз природної мови (NLP) та після закінчення кожного експерименту провела інтерв'ю з кожним учасником. Команда оцінювала результати за допомогою людських викладачів і одного AI судді (спеціально створеного AI агента).
У процесі аналізу обробки природної мови (NLP) учасники, які покладаються лише на участь мозку, демонструють значну різноманітність у способах написання статей на більшість тем. На відміну від цього, група LLM у написанні статей на кожну тему статистично має тенденцію до гомогенізації, з помітно меншим відхиленням у порівнянні з іншими групами. Група пошукових систем, принаймні в певній мірі, може зазнавати впливу просування та оптимізації контенту пошуковими системами.
Група LLM використовує найбільшу кількість специфічних іменованих сутностей (NER), таких як особи, імена, місця, роки та визначення; тоді як кількість NER, яку використовує група пошукових систем, принаймні вдвічі менша, ніж у групи LLM; група, що використовує лише мозок, використовує на 60% менше NER, ніж група LLM.
Учасники групи LLM та пошукових систем відчувають додатковий тиск через обмежений час (20 хвилин), тому вони більше схильні зосереджуватися на результатах, які надають їх інструменти. Більшість з них зосереджені на повторному використанні виходу інструментів, постійно займаючись копіюванням і вставкою, а не інтегруючи свої оригінальні ідеї та редагуючи ці матеріали з власної точки зору та досвіду.
У контексті нейронних зв'язків дослідники використовували метод динамічної орієнтованої передавальної функції (dDTF) для вимірювання когнітивного навантаження учасників. dDTF може виявити систематичні та частотоспецифічні зміни мережевої когерентності, що є важливими для виконавчої функції, семантичної обробки та регулювання уваги.
Аналіз електроенцефалограми вказує на суттєві відмінності в нейронних з'єднаннях між групою LLM, групою пошукових систем та групою, що покладається лише на мозок, що відображає різні когнітивні стратегії. Ступінь з'єднаності мозку систематично знижується з підвищенням зовнішньої підтримки: група, що покладається лише на мозок, демонструє найсильнішу та найширшу мережу, група пошукових систем має середній рівень участі, тоді як група з підтримкою LLM має найслабшу загальну зв'язність.
У 4-му раунді експерименту учасники, які переходили від LLM до лише мозку, демонстрували слабкі нейронні зв'язки, а участь α і β мереж була низькою; тоді як учасники, які переходили від лише мозку до LLM, демонстрували вищу здатність до згадування пам'яті і знову активували широкий спектр потилично-тім'яних та фронтальних вузлів.
У ході інтерв'ю група LLM відзначила низьку причетність до своїх статей. Група пошукових систем має високу причетність, але нижчу, ніж група, що покладається тільки на мозок. Група LLM також відстає в здатності цитувати статті, написані кілька хвилин тому, більше 83% користувачів ChatGPT не можуть цитувати статті, написані кілька хвилин тому.
Це дослідження, яке ще не пройшло рецензування, показує, що протягом 4-місячного дослідницького процесу учасники групи LLM демонстрували нижчі результати в нейронному, мовному та оцінювальному аспектах порівняно з контрольною групою, яка використовувала лише мозок. Оскільки вплив LLM на освіту в масах тільки починає проявлятися, використання штучного інтелекту LLM може насправді зашкодити розвитку навичок навчання, особливо для молодих користувачів.
Дослідники заявили, що перед визнанням LLM корисними для людства необхідно провести "лонгітюдні дослідження", щоб зрозуміти довгостроковий вплив штучних інтелектуальних чат-ботів на людський мозок.
Коли ChatGPT спитали про цю дослідження, він відповів: "Це дослідження не стверджує, що ChatGPT по своїй суті шкідливий — навпаки, воно застерігає людей не покладатися на нього надмірно без роздумів або зусиль."
Схожі статті: a16z: від AI-агентів, DePIN до мікроплатежів, 11 ключових напрямків інтеграції криптовалюти та AI