MIT実験報告：AIチャットボットへの過度の依存は思考能力をドロップさせる

著者：MIT（マサチューセッツ工科大学）抜粋

コンパイル:Felix、PANews

OpenAI の ChatGPT などの大規模言語モデル（LLM）製品が広く採用されるにつれて、世界中の企業や人々がほぼ毎日 LLM を使用しています。他のツールと同様に、LLM にはそれ自身の利点と限界があります。

最近、マサチューセッツ工科大学（MIT）は、記事執筆の教育的状況におけるLLM（ChatGPTなど）の認知コストを探る206ページの研究報告を発表し、LLMの使用が脳や認知能力に与える影響を明らかにしました。研究によると、OpenAIのChatGPTなどの人工知能チャットボットに過度に依存することは、認知能力を低下させる可能性があります。

研究チームは、参加者をLLMグループ、検索エンジングループ、脳のみのグループの3つのグループに分け、これらの参加者は、指定されたツール(脳のみのグループにはツールがない)を使用して、4か月にわたる限られた時間内に記事を書き、記事のトピックは実験ごとに異なっていました。 チームは、各参加者に同じグループで3ラウンドの実験を配置しました。 実験の第4ラウンドでは、LLMグループの参加者にはツールを使用しないように依頼し(LLM-to-brainグループと呼びましょう)、脳のみのグループの参加者はLLM(brain-to-LLMグループ)を使用しました。 実験の最初の3ラウンドには合計54人の参加者が募集され、そのうち18人が実験の4ラウンドを完了しました。

研究チームは脳波計（EEG）を使用して参加者の脳の電気活動を記録し、彼らの認知的関与と認知負荷を評価し、記事執筆タスク中の神経の活性化状況を深く理解しました。チームは自然言語処理（NLP）分析を行い、各実験終了後に各参加者にインタビューを実施しました。チームは人間の教師と専用に構築されたAIエージェントであるAI審査員の助けを借りて評価を行いました。

自然言語処理（NLP）分析において、脳だけを使用する参加者は、ほとんどのテーマに関する記事の執筆方法において大きな多様性を示しました。それに対して、LLMグループが各テーマについて執筆した記事は、統計的に同質化する傾向があり、他のグループと比較して明らかにばらつきが小さくなっています。検索エンジングループは、少なくともある程度は検索エンジンのプロモーションやコンテンツの最適化の影響を受けている可能性があります。

LLM グループは、人物、名前、場所、年、定義などの特定の命名エンティティ（NER）を最も多く使用しました。一方、検索エンジングループが使用する NER の数は LLM グループの半分以下でした。脳を使うグループが使用する NER の数は LLM グループよりも 60% 少なかったです。

LLMおよび検索エンジングループに参加しているメンバーは、時間が限られている（20分）ため、追加のプレッシャーを感じており、使用しているツールの出力結果により集中しがちです。彼らの大多数はツールの出力内容を再利用することに焦点を当てており、常にコピー＆ペーストに忙しく、自分のオリジナルなアイデアを取り入れず、自分の視点や経験から内容を編集することができていません。

神経接続モデルに関して、研究者は動的方向性伝達関数（dDTF）法を用いて参加者の認知負荷を測定しました。dDTFはネットワークのコヒーレンスの系統的かつ周波数特異的な変化を明らかにすることができ、実行機能、意味処理、注意調整に重要な意義を持っています。

脳波分析は、LLM グループ、検索エンジン グループ、そして脳だけに頼るグループの神経接続パターンに有意な差があることを示しており、これは異なる認知戦略を反映しています。外部サポートが増加するにつれて、脳の接続度は体系的に低下します：脳だけに頼るグループは最も強く、最も広範なネットワークを示し、検索エンジン グループは中程度の関与を示し、LLM 支援グループの全体的な結合は最も弱いです。

! MITラボレポート:AIチャットボットへの過度の依存は思考能力を低下させる

第 4 ラウンドの実験では、LLM から脳だけの参加者に移行する際、神経接続が弱く、α および β ネットワークの関与が低いことが示されました。一方、脳だけから LLM に移行した参加者は、より高い記憶再呼び出し能力を示し、広範な後頭頂葉および前頭葉のノードを再活性化しました。

インタビューでは、LLM グループは自分の文章への帰属意識が低いことがわかりました。検索エンジングループは帰属意識が強いですが、脳だけに頼るグループには及びません。LLM グループは、数分前に自分が書いた文章を引用する能力でも劣っており、83% 以上の ChatGPT ユーザーが数分前に書いた文章を引用できません。

この査読されていない研究は、4ヶ月間の研究プロセスにおいて、LLMグループの参加者が神経、言語、スコアの面で、単に脳を使用した対照グループに劣っていることを示しています。LLMの一般への教育的影響がようやく現れ始めた今、人工知能LLMの使用は、特に若いユーザーにとって学習スキルの向上を実際に損なう可能性があります。

研究者は、LLMが人間に有益であると認められる前に、人工知能チャットボットが人間の脳に与える長期的な影響を理解するための「縦の研究」が必要であると述べています。

ChatGPTにこの研究についての意見を尋ねたところ、彼の回答は次のようでした。「この研究はChatGPTが本質的に有害であるとは言っていません——むしろ、人々に考えずに努力せずに過度に依存しないよう警告しています。」

関連情報：a16z：AIエージェント、DePINからマイクロペイメントまで、暗号とAIの融合における11の重要な落ち着き方向