С ростом популярности таких продуктов, как ChatGPT от OpenAI и других крупных языковых моделей (LLM), компании и люди со всего мира используют LLM почти каждый день. Как и другие инструменты, у LLM есть свои преимущества и ограничения.
Недавно Массачусетский технологический институт (MIT) опубликовал исследовательский отчет на 206 страниц, в котором исследуются когнитивные затраты при использовании LLM (таких как ChatGPT) в образовательном контексте написания статей, раскрывая влияние использования LLM на мозг и когнитивные способности. Исследование показало, что чрезмерная зависимость от искусственных интеллект-чат-ботов, таких как ChatGPT от OpenAI, может снизить когнитивные способности.
Исследовательская группа разделила участников на три группы: группа LLM, группа поисковых систем и группа, полагающаяся только на мозг. Эти участники в течение 4 месяцев использовали заданные инструменты (группа, полагающаяся только на мозг, не использовала инструменты) для написания статей в установленное время, при этом тема статьи была разной в каждом эксперименте. Группа провела 3 раунда одинаковых экспериментов для каждого участника. В 4-м раунде эксперимента группа попросила участников группы LLM не использовать никаких инструментов (названных группой LLM, переходящей на мозг), в то время как участники группы, полагающейся только на мозг, использовали LLM (группа, переходящая с мозга на LLM). Всего было набрано 54 участника для участия в первых 3 раундах эксперимента, из которых 18 человек завершили 4-й раунд.
Исследовательская группа использовала электроэнцефалографию (ЭЭГ) для записи мозговой активности участников с целью оценки их когнитивного вовлечения и когнитивной нагрузки, а также для глубокого понимания нейронной активности во время выполнения задачи написания статьи. Группа провела анализ естественной обработки языка (NLP) и проводила интервью с каждым участником после завершения каждого эксперимента. Команда проводила оценивание с помощью человеческих преподавателей и AI судьи (специально созданного AI агента).
В анализе обработки естественного языка (NLP) участники, использующие только мозг, показывают значительное разнообразие в написании статей по большинству тем. В сравнении с этим, группа LLM демонстрирует статистическую однородность в написании статей по каждой теме, с явно меньшим отклонением по сравнению с другими группами. Группа поисковых систем, по крайней мере в определенной степени, может быть подвержена влиянию продвижения и оптимизации контента поисковыми системами.
Группа LLM использовала наибольшее количество специфических именованных сущностей (NER), таких как персонажи, имена, места, годы и определения; тогда как количество NER, используемое группой поисковых систем, по крайней мере, в два раза меньше, чем у группы LLM; группа, использующая только мозг, использовала на 60% меньше NER, чем группа LLM.
Участники группы LLM и поисковых систем испытывают дополнительное давление из-за ограниченного времени (20 минут), поэтому они склонны сосредотачиваться на результатах, которые выдают их инструменты. Большинство из них сосредоточены на повторном использовании контента, полученного от инструментов, и все время заняты копированием и вставкой, вместо того чтобы интегрировать свои оригинальные идеи и редактировать этот контент с точки зрения своего опыта и наблюдений.
В области нейронных соединительных паттернов исследователи использовали метод динамической направленной передачи функции (dDTF) для измерения когнитивной нагрузки участников. dDTF может выявить систематические и частотно-специфические изменения сетевой когерентности, что имеет важное значение для исполнительной функции, семантической обработки и регулирования внимания.
Анализ электроэнцефалограммы показал, что в группах LLM, поисковых систем и только с мозгом существуют значительные различия в нейронных соединениях, что отражает различные когнитивные стратегии. Степень соединения мозга систематически снижается с увеличением внешней поддержки: группа, полагающаяся только на мозг, демонстрирует самую сильную и широкую сеть, группа поисковых систем проявляет среднюю степень участия, а общая связность группы с поддержкой LLM является наименьшей.
В 4-м раунде эксперимента участники, полагающиеся только на мозг, показали более слабые нейронные связи и низкую активность α и β сетей; в то время как участники, переходящие от полагания только на мозг к LLM, продемонстрировали большую способность к воспоминанию и повторно активировали обширные затылочно-теменные и фронтальные узлы.
В интервью группа LLM имела низкое чувство принадлежности к своим статьям. Группа поисковых систем имела более сильное чувство принадлежности, но ниже, чем группа, работающая исключительно на основе мозга. Группа LLM также отставала в способности цитировать статьи, написанные несколько минут назад, более 83% пользователей ChatGPT не могли сослаться на статьи, написанные несколько минут назад.
Это еще не прошедшее рецензирование исследование показывает, что в ходе 4-месячного исследования участники группы LLM продемонстрировали худшие результаты по нейронным, языковым и оценочным показателям по сравнению с контрольной группой, использующей только мозг. Поскольку образовательное влияние LLM на общество только начинает проявляться, использование искусственного интеллекта LLM может фактически ухудшить развитие навыков обучения, особенно для молодых пользователей.
Исследователи заявляют, что перед тем, как LLM будет признан полезным для человечества, необходимо провести «долгосрочные исследования», чтобы понять долгосрочное воздействие искусственных интеллект-чат-ботов на человеческий мозг.
Когда его спросили о его мнении по этому исследованию, ChatGPT ответил: "Это исследование не утверждает, что ChatGPT по своей сути вреден — наоборот, оно предупреждает людей не полагаться на него слишком сильно без размышлений или усилий."
Связанные материалы: a16z: от AI-агентов, DePIN до микроплатежей, 11 ключевых направлений интеграции криптовалюты и AI
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
MIT实验报告：过度依赖 AI-чат-боты будет Падение мыслительных способностей
Автор: MIT（Массачусетский технологический институт）выдержка
Компиляция: Felix, PANews
С ростом популярности таких продуктов, как ChatGPT от OpenAI и других крупных языковых моделей (LLM), компании и люди со всего мира используют LLM почти каждый день. Как и другие инструменты, у LLM есть свои преимущества и ограничения.
Недавно Массачусетский технологический институт (MIT) опубликовал исследовательский отчет на 206 страниц, в котором исследуются когнитивные затраты при использовании LLM (таких как ChatGPT) в образовательном контексте написания статей, раскрывая влияние использования LLM на мозг и когнитивные способности. Исследование показало, что чрезмерная зависимость от искусственных интеллект-чат-ботов, таких как ChatGPT от OpenAI, может снизить когнитивные способности.
Исследовательская группа разделила участников на три группы: группа LLM, группа поисковых систем и группа, полагающаяся только на мозг. Эти участники в течение 4 месяцев использовали заданные инструменты (группа, полагающаяся только на мозг, не использовала инструменты) для написания статей в установленное время, при этом тема статьи была разной в каждом эксперименте. Группа провела 3 раунда одинаковых экспериментов для каждого участника. В 4-м раунде эксперимента группа попросила участников группы LLM не использовать никаких инструментов (названных группой LLM, переходящей на мозг), в то время как участники группы, полагающейся только на мозг, использовали LLM (группа, переходящая с мозга на LLM). Всего было набрано 54 участника для участия в первых 3 раундах эксперимента, из которых 18 человек завершили 4-й раунд.
Исследовательская группа использовала электроэнцефалографию (ЭЭГ) для записи мозговой активности участников с целью оценки их когнитивного вовлечения и когнитивной нагрузки, а также для глубокого понимания нейронной активности во время выполнения задачи написания статьи. Группа провела анализ естественной обработки языка (NLP) и проводила интервью с каждым участником после завершения каждого эксперимента. Команда проводила оценивание с помощью человеческих преподавателей и AI судьи (специально созданного AI агента).
В анализе обработки естественного языка (NLP) участники, использующие только мозг, показывают значительное разнообразие в написании статей по большинству тем. В сравнении с этим, группа LLM демонстрирует статистическую однородность в написании статей по каждой теме, с явно меньшим отклонением по сравнению с другими группами. Группа поисковых систем, по крайней мере в определенной степени, может быть подвержена влиянию продвижения и оптимизации контента поисковыми системами.
Группа LLM использовала наибольшее количество специфических именованных сущностей (NER), таких как персонажи, имена, места, годы и определения; тогда как количество NER, используемое группой поисковых систем, по крайней мере, в два раза меньше, чем у группы LLM; группа, использующая только мозг, использовала на 60% меньше NER, чем группа LLM.
Участники группы LLM и поисковых систем испытывают дополнительное давление из-за ограниченного времени (20 минут), поэтому они склонны сосредотачиваться на результатах, которые выдают их инструменты. Большинство из них сосредоточены на повторном использовании контента, полученного от инструментов, и все время заняты копированием и вставкой, вместо того чтобы интегрировать свои оригинальные идеи и редактировать этот контент с точки зрения своего опыта и наблюдений.
В области нейронных соединительных паттернов исследователи использовали метод динамической направленной передачи функции (dDTF) для измерения когнитивной нагрузки участников. dDTF может выявить систематические и частотно-специфические изменения сетевой когерентности, что имеет важное значение для исполнительной функции, семантической обработки и регулирования внимания.
Анализ электроэнцефалограммы показал, что в группах LLM, поисковых систем и только с мозгом существуют значительные различия в нейронных соединениях, что отражает различные когнитивные стратегии. Степень соединения мозга систематически снижается с увеличением внешней поддержки: группа, полагающаяся только на мозг, демонстрирует самую сильную и широкую сеть, группа поисковых систем проявляет среднюю степень участия, а общая связность группы с поддержкой LLM является наименьшей.
! Отчет лаборатории Массачусетского технологического института: чрезмерная зависимость от чат-ботов с искусственным интеллектом снижает способность к мышлению
В 4-м раунде эксперимента участники, полагающиеся только на мозг, показали более слабые нейронные связи и низкую активность α и β сетей; в то время как участники, переходящие от полагания только на мозг к LLM, продемонстрировали большую способность к воспоминанию и повторно активировали обширные затылочно-теменные и фронтальные узлы.
В интервью группа LLM имела низкое чувство принадлежности к своим статьям. Группа поисковых систем имела более сильное чувство принадлежности, но ниже, чем группа, работающая исключительно на основе мозга. Группа LLM также отставала в способности цитировать статьи, написанные несколько минут назад, более 83% пользователей ChatGPT не могли сослаться на статьи, написанные несколько минут назад.
Это еще не прошедшее рецензирование исследование показывает, что в ходе 4-месячного исследования участники группы LLM продемонстрировали худшие результаты по нейронным, языковым и оценочным показателям по сравнению с контрольной группой, использующей только мозг. Поскольку образовательное влияние LLM на общество только начинает проявляться, использование искусственного интеллекта LLM может фактически ухудшить развитие навыков обучения, особенно для молодых пользователей.
Исследователи заявляют, что перед тем, как LLM будет признан полезным для человечества, необходимо провести «долгосрочные исследования», чтобы понять долгосрочное воздействие искусственных интеллект-чат-ботов на человеческий мозг.
Когда его спросили о его мнении по этому исследованию, ChatGPT ответил: "Это исследование не утверждает, что ChatGPT по своей сути вреден — наоборот, оно предупреждает людей не полагаться на него слишком сильно без размышлений или усилий."
Связанные материалы: a16z: от AI-агентов, DePIN до микроплатежей, 11 ключевых направлений интеграции криптовалюты и AI