Penulis: MIT (Massachusetts Institute of Technology) kutipan
Kompilasi: Felix, PANews
Seiring dengan produk model bahasa besar (LLM) seperti ChatGPT dari OpenAI yang diadopsi secara luas, perusahaan dan orang-orang dari seluruh dunia hampir setiap hari menggunakan LLM. Seperti alat lainnya, LLM juga memiliki keunggulan dan keterbatasannya sendiri.
Baru-baru ini, Massachusetts Institute of Technology (MIT) menerbitkan laporan penelitian sepanjang 206 halaman yang mengeksplorasi biaya kognitif penggunaan LLM (seperti ChatGPT) dalam konteks pendidikan menulis, mengungkapkan dampak penggunaan LLM terhadap otak dan kemampuan kognitif. Penelitian menunjukkan bahwa ketergantungan berlebihan pada chatbot AI seperti ChatGPT dari OpenAI dapat menurunkan kemampuan kognitif.
Tim penelitian membagi peserta menjadi tiga kelompok: kelompok LLM, kelompok mesin pencari, dan kelompok hanya otak. Peserta dalam kelompok ini menulis artikel dalam waktu terbatas selama 4 bulan, menggunakan alat yang ditentukan (kelompok hanya otak tidak menggunakan alat), dengan tema artikel yang berbeda di setiap eksperimen. Tim mengatur 3 putaran eksperimen dengan pengelompokan yang sama untuk setiap peserta. Dalam putaran eksperimen ke-4, tim meminta peserta dari kelompok LLM untuk tidak menggunakan alat apapun (disebut kelompok LLM ke otak), sementara peserta dari kelompok hanya otak menggunakan LLM (kelompok otak ke LLM). Sebanyak 54 peserta direkrut untuk mengikuti 3 putaran eksperimen, di mana 18 orang menyelesaikan putaran ke-4.
Tim peneliti menggunakan elektroensefalogram (EEG) untuk merekam aktivitas otak peserta, guna menilai keterlibatan kognitif dan beban kognitif mereka, serta memahami lebih dalam tentang aktivasi saraf selama tugas penulisan artikel. Tim melakukan analisis pemrosesan bahasa alami (NLP) dan mewawancarai setiap peserta setelah setiap eksperimen selesai. Tim melakukan penilaian dengan bantuan guru manusia dan seorang juri AI (agen AI yang dibangun khusus).
Dalam analisis pemrosesan bahasa alami (NLP), peserta yang hanya menggunakan otak menunjukkan perbedaan yang signifikan dalam cara penulisan artikel pada sebagian besar topik. Sebaliknya, kelompok LLM menunjukkan kecenderungan homogenitas secara statistik dalam penulisan artikel di setiap topik, dengan deviasi yang jelas lebih kecil dibandingkan dengan kelompok lainnya. Kelompok mesin pencari mungkin setidaknya terpengaruh oleh promosi dan pengoptimalan konten oleh mesin pencari.
Kelompok LLM menggunakan entitas bernama tertentu (NER) yang paling banyak, seperti orang, nama, lokasi, tahun, dan definisi; sedangkan kelompok mesin pencari menggunakan jumlah NER yang setidaknya kurang dari setengah kelompok LLM; kelompok yang hanya menggunakan otak menggunakan jumlah NER yang 60% lebih sedikit dibandingkan kelompok LLM.
Anggota kelompok LLM dan mesin pencari mengalami tekanan tambahan karena waktu yang terbatas (20 menit), sehingga mereka lebih cenderung fokus pada hasil keluaran dari alat yang mereka gunakan. Sebagian besar dari mereka fokus pada pemanfaatan kembali konten keluaran alat, sehingga mereka terus sibuk menyalin dan menempel, alih-alih mengintegrasikan pemikiran orisinal mereka sendiri dan mengedit konten tersebut dari perspektif dan pengalaman mereka.
Dalam hal pola koneksi saraf, peneliti menggunakan metode fungsi transfer dinamis terarah (dDTF) untuk mengukur beban kognitif peserta. dDTF dapat mengungkapkan perubahan sistematis dan spesifik frekuensi dalam koherensi jaringan, yang memiliki signifikansi penting untuk fungsi eksekutif, pemrosesan semantik, dan pengaturan perhatian.
Analisis EEG menunjukkan bahwa ada perbedaan signifikan dalam pola koneksi saraf antara kelompok LLM, kelompok mesin pencari, dan kelompok yang hanya mengandalkan otak, yang mencerminkan strategi kognitif yang berbeda. Tingkat koneksi otak secara sistematis menurun seiring dengan peningkatan dukungan eksternal: kelompok yang hanya mengandalkan otak menunjukkan jaringan yang paling kuat dan luas, kelompok mesin pencari menunjukkan tingkat partisipasi sedang, sementara kelompok yang dibantu LLM memiliki penggabungan keseluruhan yang paling lemah.
Dalam eksperimen putaran ke-4, peserta yang beralih dari LLM ke hanya otak menunjukkan koneksi saraf yang lebih lemah, dengan keterlibatan jaringan α dan β yang lebih rendah; sementara peserta yang beralih dari hanya otak ke LLM menunjukkan kemampuan ingatan yang lebih tinggi, dan mengaktifkan kembali node-node parietal dan frontal yang luas.
Dalam wawancara, kelompok LLM memiliki rasa kepemilikan yang rendah terhadap artikel mereka. Kelompok mesin pencari memiliki rasa kepemilikan yang lebih kuat, tetapi masih di bawah kelompok yang hanya mengandalkan otak. Kelompok LLM juga tertinggal dalam kemampuan untuk mengutip artikel yang mereka tulis beberapa menit sebelumnya, di mana lebih dari 83% pengguna ChatGPT tidak dapat mengutip artikel yang ditulis beberapa menit yang lalu.
Penelitian ini yang belum melalui tinjauan sejawat menunjukkan bahwa selama periode penelitian 4 bulan, peserta dari kelompok LLM tampil lebih buruk dalam aspek saraf, bahasa, dan skor dibandingkan dengan kelompok kontrol yang hanya menggunakan otak. Dengan pengaruh pendidikan LLM di kalangan masyarakat baru saja mulai terlihat, penggunaan LLM berbasis kecerdasan buatan mungkin sebenarnya merugikan peningkatan keterampilan belajar, terutama bagi pengguna muda.
Para peneliti menyatakan bahwa sebelum LLM diakui bermanfaat bagi manusia, perlu dilakukan "penelitian longitudinal" untuk memahami dampak jangka panjang dari chatbot kecerdasan buatan terhadap otak manusia.
Ketika ditanya tentang pendapat ChatGPT mengenai penelitian ini, jawabannya adalah: "Penelitian ini tidak mengatakan bahwa ChatGPT pada dasarnya berbahaya—sebaliknya, ia memperingatkan orang-orang untuk tidak terlalu bergantung padanya tanpa berpikir atau berusaha."
Bacaan Terkait: a16z: Dari AI Agent, DePIN hingga Micro Payments, 11 Arah Kunci Integrasi Kripto dan AI
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Laporan Eksperimen MIT: Ketergantungan Berlebihan pada Bot AI Akan Menurunkan Kemampuan Berpikir
Penulis: MIT (Massachusetts Institute of Technology) kutipan
Kompilasi: Felix, PANews
Seiring dengan produk model bahasa besar (LLM) seperti ChatGPT dari OpenAI yang diadopsi secara luas, perusahaan dan orang-orang dari seluruh dunia hampir setiap hari menggunakan LLM. Seperti alat lainnya, LLM juga memiliki keunggulan dan keterbatasannya sendiri.
Baru-baru ini, Massachusetts Institute of Technology (MIT) menerbitkan laporan penelitian sepanjang 206 halaman yang mengeksplorasi biaya kognitif penggunaan LLM (seperti ChatGPT) dalam konteks pendidikan menulis, mengungkapkan dampak penggunaan LLM terhadap otak dan kemampuan kognitif. Penelitian menunjukkan bahwa ketergantungan berlebihan pada chatbot AI seperti ChatGPT dari OpenAI dapat menurunkan kemampuan kognitif.
Tim penelitian membagi peserta menjadi tiga kelompok: kelompok LLM, kelompok mesin pencari, dan kelompok hanya otak. Peserta dalam kelompok ini menulis artikel dalam waktu terbatas selama 4 bulan, menggunakan alat yang ditentukan (kelompok hanya otak tidak menggunakan alat), dengan tema artikel yang berbeda di setiap eksperimen. Tim mengatur 3 putaran eksperimen dengan pengelompokan yang sama untuk setiap peserta. Dalam putaran eksperimen ke-4, tim meminta peserta dari kelompok LLM untuk tidak menggunakan alat apapun (disebut kelompok LLM ke otak), sementara peserta dari kelompok hanya otak menggunakan LLM (kelompok otak ke LLM). Sebanyak 54 peserta direkrut untuk mengikuti 3 putaran eksperimen, di mana 18 orang menyelesaikan putaran ke-4.
Tim peneliti menggunakan elektroensefalogram (EEG) untuk merekam aktivitas otak peserta, guna menilai keterlibatan kognitif dan beban kognitif mereka, serta memahami lebih dalam tentang aktivasi saraf selama tugas penulisan artikel. Tim melakukan analisis pemrosesan bahasa alami (NLP) dan mewawancarai setiap peserta setelah setiap eksperimen selesai. Tim melakukan penilaian dengan bantuan guru manusia dan seorang juri AI (agen AI yang dibangun khusus).
Dalam analisis pemrosesan bahasa alami (NLP), peserta yang hanya menggunakan otak menunjukkan perbedaan yang signifikan dalam cara penulisan artikel pada sebagian besar topik. Sebaliknya, kelompok LLM menunjukkan kecenderungan homogenitas secara statistik dalam penulisan artikel di setiap topik, dengan deviasi yang jelas lebih kecil dibandingkan dengan kelompok lainnya. Kelompok mesin pencari mungkin setidaknya terpengaruh oleh promosi dan pengoptimalan konten oleh mesin pencari.
Kelompok LLM menggunakan entitas bernama tertentu (NER) yang paling banyak, seperti orang, nama, lokasi, tahun, dan definisi; sedangkan kelompok mesin pencari menggunakan jumlah NER yang setidaknya kurang dari setengah kelompok LLM; kelompok yang hanya menggunakan otak menggunakan jumlah NER yang 60% lebih sedikit dibandingkan kelompok LLM.
Anggota kelompok LLM dan mesin pencari mengalami tekanan tambahan karena waktu yang terbatas (20 menit), sehingga mereka lebih cenderung fokus pada hasil keluaran dari alat yang mereka gunakan. Sebagian besar dari mereka fokus pada pemanfaatan kembali konten keluaran alat, sehingga mereka terus sibuk menyalin dan menempel, alih-alih mengintegrasikan pemikiran orisinal mereka sendiri dan mengedit konten tersebut dari perspektif dan pengalaman mereka.
Dalam hal pola koneksi saraf, peneliti menggunakan metode fungsi transfer dinamis terarah (dDTF) untuk mengukur beban kognitif peserta. dDTF dapat mengungkapkan perubahan sistematis dan spesifik frekuensi dalam koherensi jaringan, yang memiliki signifikansi penting untuk fungsi eksekutif, pemrosesan semantik, dan pengaturan perhatian.
Analisis EEG menunjukkan bahwa ada perbedaan signifikan dalam pola koneksi saraf antara kelompok LLM, kelompok mesin pencari, dan kelompok yang hanya mengandalkan otak, yang mencerminkan strategi kognitif yang berbeda. Tingkat koneksi otak secara sistematis menurun seiring dengan peningkatan dukungan eksternal: kelompok yang hanya mengandalkan otak menunjukkan jaringan yang paling kuat dan luas, kelompok mesin pencari menunjukkan tingkat partisipasi sedang, sementara kelompok yang dibantu LLM memiliki penggabungan keseluruhan yang paling lemah.
Dalam eksperimen putaran ke-4, peserta yang beralih dari LLM ke hanya otak menunjukkan koneksi saraf yang lebih lemah, dengan keterlibatan jaringan α dan β yang lebih rendah; sementara peserta yang beralih dari hanya otak ke LLM menunjukkan kemampuan ingatan yang lebih tinggi, dan mengaktifkan kembali node-node parietal dan frontal yang luas.
Dalam wawancara, kelompok LLM memiliki rasa kepemilikan yang rendah terhadap artikel mereka. Kelompok mesin pencari memiliki rasa kepemilikan yang lebih kuat, tetapi masih di bawah kelompok yang hanya mengandalkan otak. Kelompok LLM juga tertinggal dalam kemampuan untuk mengutip artikel yang mereka tulis beberapa menit sebelumnya, di mana lebih dari 83% pengguna ChatGPT tidak dapat mengutip artikel yang ditulis beberapa menit yang lalu.
Penelitian ini yang belum melalui tinjauan sejawat menunjukkan bahwa selama periode penelitian 4 bulan, peserta dari kelompok LLM tampil lebih buruk dalam aspek saraf, bahasa, dan skor dibandingkan dengan kelompok kontrol yang hanya menggunakan otak. Dengan pengaruh pendidikan LLM di kalangan masyarakat baru saja mulai terlihat, penggunaan LLM berbasis kecerdasan buatan mungkin sebenarnya merugikan peningkatan keterampilan belajar, terutama bagi pengguna muda.
Para peneliti menyatakan bahwa sebelum LLM diakui bermanfaat bagi manusia, perlu dilakukan "penelitian longitudinal" untuk memahami dampak jangka panjang dari chatbot kecerdasan buatan terhadap otak manusia.
Ketika ditanya tentang pendapat ChatGPT mengenai penelitian ini, jawabannya adalah: "Penelitian ini tidak mengatakan bahwa ChatGPT pada dasarnya berbahaya—sebaliknya, ia memperingatkan orang-orang untuk tidak terlalu bergantung padanya tanpa berpikir atau berusaha."
Bacaan Terkait: a16z: Dari AI Agent, DePIN hingga Micro Payments, 11 Arah Kunci Integrasi Kripto dan AI