Yazar: MIT (Massachusetts Teknoloji Enstitüsü) alıntı
Derleyen: Felix, PANews
OpenAI'nin ChatGPT gibi büyük dil modeli (LLM) ürünlerinin yaygın bir şekilde benimsenmesiyle, dünya genelinden işletmeler ve bireyler neredeyse her gün LLM kullanıyor. Diğer araçlar gibi, LLM'nin de kendi avantajları ve sınırlamaları vardır.
Son günlerde, MIT (Massachusetts Institute of Technology) 206 sayfalık bir araştırma raporu yayınladı. Bu rapor, makale yazımında LLM'lerin (örneğin ChatGPT) bilişsel maliyetlerini inceleyerek, LLM kullanımının beyin ve bilişsel yetenekler üzerindeki etkilerini ortaya koydu. Araştırma, OpenAI'nin ChatGPT gibi yapay zeka sohbet robotlarına aşırı bağımlılığın bilişsel yetenekleri azaltabileceğini göstermektedir.
Araştırma ekibi katılımcıları üç gruba ayırdı: LLM grubu, arama motoru grubu ve sadece beyin grubu. Bu katılımcılar 4 aylık bir süre içinde belirlenen araçları (sadece beyin grubunun hiçbir araç kullanmadığı) sınırlı bir zaman dilimi içinde makale yazdılar, her deneyde makalenin konusu farklıydı. Ekip, her katılımcı için 3 tur aynı gruplama deneyleri düzenledi. 4. tur deneyinde, ekip LLM grubundaki katılımcılardan hiçbir araç kullanmamalarını istedi (buna LLM'den beyne geçiş grubu denir), ve sadece beyin grubundaki katılımcılar LLM kullanarak (beyinden LLM'e geçiş grubu) çalıştılar. Toplamda, ilk 3 tur deneyine katılmak üzere 54 katılımcı alındı, bunların 18'i 4. tur deneyini tamamladı.
Araştırma ekibi, katılımcıların bilişsel katılım ve bilişsel yüklerini değerlendirmek ve makale yazma görevi sırasında sinirsel aktiviteyi derinlemesine anlamak için katılımcıların beyin elektrik aktivitelerini (EEG) kaydetti. Ekip, doğal dil işleme (NLP) analizi yaptı ve her deneyin sonunda her katılımcıyla röportaj gerçekleştirdi. Ekip, insan öğretmenler ve özel olarak oluşturulmuş bir AI hakemi (AI ajanı) yardımıyla puanlama yaptı.
Doğal dil işleme (NLP) analizinde, yalnızca beyin katılımcıları, çoğu konu için makale yazım şekillerinde büyük farklılıklar göstermektedir. Buna karşın, LLM grubu her bir konuda yazdığı makalelerde istatistiksel olarak homojenleşme eğilimi göstermekte ve diğer gruplara kıyasla belirgin şekilde daha az sapma sergilemektedir. Arama motoru grubu, en azından bir ölçüde, arama motorlarının tanıtım ve içerik optimizasyonu etkisinde kalmış olabilir.
LLM grubu en çok belirli adlandırılmış varlıkları (NER) kullandı; örneğin, kişiler, isimler, yerler, yıllar ve tanımlar; arama motoru grubu NER sayısı en az LLM grubunun yarısından daha azdı; sadece beyin kullanan grubun NER sayısı LLM grubundan %60 daha azdı.
LLM ve arama motoru grubuna katılan kişiler, zaman kısıtlılığı (20 dakika) nedeniyle ekstra bir baskı altında olduklarından, kullandıkları araçların çıktılarına daha fazla odaklanma eğilimindedirler. Bu kişilerin çoğu, araçların çıktılarını tekrar kullanmaya odaklanarak sürekli kopyala-yapıştır ile meşguldürler, kendi özgün fikirlerini katmak ve bu içerikleri kendi bakış açıları ve deneyimlerinden yola çıkarak düzenlemek yerine.
Sinir bağlantı modeli açısından, araştırmacılar katılımcıların bilişsel yükünü ölçmek için dinamik yönlendirilmiş iletim fonksiyonu (dDTF) yöntemini kullanmıştır. dDTF, ağ koherensinin sistematik ve frekansa özgü değişikliklerini ortaya koyabilir ve yürütme işlevi, anlamsal işleme ve dikkat düzenlemesi açısından önemli bir anlam taşır.
EEG analizleri, LLM grubu, arama motoru grubu ve yalnızca beyin grubu arasında sinir bağlantı kalıplarında belirgin farklılıklar olduğunu göstermektedir; bu, farklı bilişsel stratejileri yansıtmaktadır. Dışsal desteğin artmasıyla birlikte beyin bağlantı seviyeleri sistematik olarak azalır: yalnızca beyin grubu en güçlü ve en geniş ağa sahipken, arama motoru grubu orta düzeyde bir katılım gösterirken, LLM destekli grubun genel bağlantısı en zayıftır.
deney turunda, LLM'den yalnızca beyinle katılımcılarda sinir bağlantılarının daha zayıf olduğu, α ve β ağlarının katılımının daha düşük olduğu gözlemlendi; yalnızca beyinle LLM'ye geçiş yapan katılımcılar ise daha yüksek bellek hatırlama yeteneği gösterdi ve geniş bir oksipital-parietal ve prefrontal düğüm ağını yeniden aktive etti.
Röportajda, LLM grubunun makalelerine olan aidiyet duygusu düşük. Arama motoru grubunun aidiyet duygusu daha güçlü, ancak sadece zihin kullanarak çalışan gruptan daha düşük. LLM grubu, birkaç dakika önce yazdığı makaleleri referans verme konusunda da geride kalıyor, ChatGPT kullanıcılarının %83'ünden fazlası, birkaç dakika önce yazdığı makaleleri alıntılayamıyor.
Bu henüz hakemli bir dergide yayımlanmamış araştırma, 4 aylık araştırma sürecinde LLM grubundaki katılımcıların sinir, dil ve puanlama seviyelerinde yalnızca beyinlerini kullanan kontrol grubuna göre daha düşük performans sergilediğini göstermektedir. LLM'nin halk üzerindeki eğitim etkisi daha yeni görünmeye başlarken, yapay zeka LLM kullanmanın öğrenme becerilerinin geliştirilmesini aslında zarar verebileceği, özellikle genç kullanıcılar için geçerli olabilir.
Araştırmacılar, LLM'nin insanlık için faydalı olduğu kabul edilmeden önce, yapay zeka sohbet robotlarının insan beyni üzerindeki uzun vadeli etkilerini anlamak için "dikey araştırmalar" yapılması gerektiğini belirtiyor.
ChatGPT'e bu araştırma hakkındaki görüşü sorulduğunda, yanıtı şu şekilde oldu: "Bu araştırma ChatGPT'nin esasen zararlı olduğunu söylemiyor - aksine, insanları onu düşünmeden ya da çaba harcamadan aşırı derecede kullanmamaları konusunda uyarıyor."
İlgili Yazılar: a16z: AI ajanlarından, DePIN'e kadar, mikro ödemelere, kripto ve AI'nin birleştiği 11 ana odak noktası
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
MIT deney raporu: Aşırı AI sohbet botlarına bağımlılık düşünme yeteneğini düşürür.
Yazar: MIT (Massachusetts Teknoloji Enstitüsü) alıntı
Derleyen: Felix, PANews
OpenAI'nin ChatGPT gibi büyük dil modeli (LLM) ürünlerinin yaygın bir şekilde benimsenmesiyle, dünya genelinden işletmeler ve bireyler neredeyse her gün LLM kullanıyor. Diğer araçlar gibi, LLM'nin de kendi avantajları ve sınırlamaları vardır.
Son günlerde, MIT (Massachusetts Institute of Technology) 206 sayfalık bir araştırma raporu yayınladı. Bu rapor, makale yazımında LLM'lerin (örneğin ChatGPT) bilişsel maliyetlerini inceleyerek, LLM kullanımının beyin ve bilişsel yetenekler üzerindeki etkilerini ortaya koydu. Araştırma, OpenAI'nin ChatGPT gibi yapay zeka sohbet robotlarına aşırı bağımlılığın bilişsel yetenekleri azaltabileceğini göstermektedir.
Araştırma ekibi katılımcıları üç gruba ayırdı: LLM grubu, arama motoru grubu ve sadece beyin grubu. Bu katılımcılar 4 aylık bir süre içinde belirlenen araçları (sadece beyin grubunun hiçbir araç kullanmadığı) sınırlı bir zaman dilimi içinde makale yazdılar, her deneyde makalenin konusu farklıydı. Ekip, her katılımcı için 3 tur aynı gruplama deneyleri düzenledi. 4. tur deneyinde, ekip LLM grubundaki katılımcılardan hiçbir araç kullanmamalarını istedi (buna LLM'den beyne geçiş grubu denir), ve sadece beyin grubundaki katılımcılar LLM kullanarak (beyinden LLM'e geçiş grubu) çalıştılar. Toplamda, ilk 3 tur deneyine katılmak üzere 54 katılımcı alındı, bunların 18'i 4. tur deneyini tamamladı.
Araştırma ekibi, katılımcıların bilişsel katılım ve bilişsel yüklerini değerlendirmek ve makale yazma görevi sırasında sinirsel aktiviteyi derinlemesine anlamak için katılımcıların beyin elektrik aktivitelerini (EEG) kaydetti. Ekip, doğal dil işleme (NLP) analizi yaptı ve her deneyin sonunda her katılımcıyla röportaj gerçekleştirdi. Ekip, insan öğretmenler ve özel olarak oluşturulmuş bir AI hakemi (AI ajanı) yardımıyla puanlama yaptı.
Doğal dil işleme (NLP) analizinde, yalnızca beyin katılımcıları, çoğu konu için makale yazım şekillerinde büyük farklılıklar göstermektedir. Buna karşın, LLM grubu her bir konuda yazdığı makalelerde istatistiksel olarak homojenleşme eğilimi göstermekte ve diğer gruplara kıyasla belirgin şekilde daha az sapma sergilemektedir. Arama motoru grubu, en azından bir ölçüde, arama motorlarının tanıtım ve içerik optimizasyonu etkisinde kalmış olabilir.
LLM grubu en çok belirli adlandırılmış varlıkları (NER) kullandı; örneğin, kişiler, isimler, yerler, yıllar ve tanımlar; arama motoru grubu NER sayısı en az LLM grubunun yarısından daha azdı; sadece beyin kullanan grubun NER sayısı LLM grubundan %60 daha azdı.
LLM ve arama motoru grubuna katılan kişiler, zaman kısıtlılığı (20 dakika) nedeniyle ekstra bir baskı altında olduklarından, kullandıkları araçların çıktılarına daha fazla odaklanma eğilimindedirler. Bu kişilerin çoğu, araçların çıktılarını tekrar kullanmaya odaklanarak sürekli kopyala-yapıştır ile meşguldürler, kendi özgün fikirlerini katmak ve bu içerikleri kendi bakış açıları ve deneyimlerinden yola çıkarak düzenlemek yerine.
Sinir bağlantı modeli açısından, araştırmacılar katılımcıların bilişsel yükünü ölçmek için dinamik yönlendirilmiş iletim fonksiyonu (dDTF) yöntemini kullanmıştır. dDTF, ağ koherensinin sistematik ve frekansa özgü değişikliklerini ortaya koyabilir ve yürütme işlevi, anlamsal işleme ve dikkat düzenlemesi açısından önemli bir anlam taşır.
EEG analizleri, LLM grubu, arama motoru grubu ve yalnızca beyin grubu arasında sinir bağlantı kalıplarında belirgin farklılıklar olduğunu göstermektedir; bu, farklı bilişsel stratejileri yansıtmaktadır. Dışsal desteğin artmasıyla birlikte beyin bağlantı seviyeleri sistematik olarak azalır: yalnızca beyin grubu en güçlü ve en geniş ağa sahipken, arama motoru grubu orta düzeyde bir katılım gösterirken, LLM destekli grubun genel bağlantısı en zayıftır.
Röportajda, LLM grubunun makalelerine olan aidiyet duygusu düşük. Arama motoru grubunun aidiyet duygusu daha güçlü, ancak sadece zihin kullanarak çalışan gruptan daha düşük. LLM grubu, birkaç dakika önce yazdığı makaleleri referans verme konusunda da geride kalıyor, ChatGPT kullanıcılarının %83'ünden fazlası, birkaç dakika önce yazdığı makaleleri alıntılayamıyor.
Bu henüz hakemli bir dergide yayımlanmamış araştırma, 4 aylık araştırma sürecinde LLM grubundaki katılımcıların sinir, dil ve puanlama seviyelerinde yalnızca beyinlerini kullanan kontrol grubuna göre daha düşük performans sergilediğini göstermektedir. LLM'nin halk üzerindeki eğitim etkisi daha yeni görünmeye başlarken, yapay zeka LLM kullanmanın öğrenme becerilerinin geliştirilmesini aslında zarar verebileceği, özellikle genç kullanıcılar için geçerli olabilir.
Araştırmacılar, LLM'nin insanlık için faydalı olduğu kabul edilmeden önce, yapay zeka sohbet robotlarının insan beyni üzerindeki uzun vadeli etkilerini anlamak için "dikey araştırmalar" yapılması gerektiğini belirtiyor.
ChatGPT'e bu araştırma hakkındaki görüşü sorulduğunda, yanıtı şu şekilde oldu: "Bu araştırma ChatGPT'nin esasen zararlı olduğunu söylemiyor - aksine, insanları onu düşünmeden ya da çaba harcamadan aşırı derecede kullanmamaları konusunda uyarıyor."
İlgili Yazılar: a16z: AI ajanlarından, DePIN'e kadar, mikro ödemelere, kripto ve AI'nin birleştiği 11 ana odak noktası