Tác giả: MIT（Viện Công nghệ Massachusetts）trích đoạn
Biên dịch: Felix, PANews
Khi các sản phẩm mô hình ngôn ngữ lớn (LLM) như ChatGPT của OpenAI được áp dụng rộng rãi, các doanh nghiệp và cộng đồng từ khắp nơi trên thế giới gần như đang sử dụng LLM hàng ngày. Giống như các công cụ khác, LLM cũng có những lợi thế và hạn chế riêng.
Gần đây, Viện Công nghệ Massachusetts (MIT) đã phát hành một báo cáo nghiên cứu dài 206 trang, khám phá chi phí nhận thức khi sử dụng LLM (như ChatGPT) trong bối cảnh giáo dục viết bài, tiết lộ ảnh hưởng của việc sử dụng LLM đến não bộ và khả năng nhận thức. Nghiên cứu cho thấy, việc phụ thuộc quá mức vào chatbot trí tuệ nhân tạo như ChatGPT của OpenAI có thể làm giảm khả năng nhận thức.
Nhóm nghiên cứu đã chia các tham gia viên thành ba nhóm: Nhóm LLM, Nhóm công cụ tìm kiếm và Nhóm chỉ sử dụng não. Các tham gia viên trong 4 tháng đã sử dụng công cụ chỉ định (Nhóm chỉ sử dụng não không sử dụng công cụ) để viết bài trong thời gian giới hạn, mỗi lần thí nghiệm có chủ đề bài viết khác nhau. Nhóm đã sắp xếp cho mỗi tham gia viên 3 vòng thí nghiệm giống nhau. Trong vòng thí nghiệm thứ 4, nhóm yêu cầu các tham gia viên của Nhóm LLM không sử dụng bất kỳ công cụ nào (gọi là Nhóm LLM chuyển sang não), trong khi các tham gia viên của Nhóm chỉ sử dụng não thì sử dụng LLM (Nhóm não chuyển sang LLM). Tổng cộng có 54 tham gia viên được tuyển chọn tham gia 3 vòng thí nghiệm đầu tiên, trong đó 18 người hoàn thành vòng thí nghiệm thứ 4.
Nhóm nghiên cứu đã sử dụng điện não đồ (EEG) để ghi lại hoạt động não của người tham gia, nhằm đánh giá mức độ đầu tư nhận thức và tải nhận thức của họ, đồng thời tìm hiểu sâu hơn về tình trạng kích hoạt thần kinh trong quá trình thực hiện nhiệm vụ viết bài. Nhóm đã thực hiện phân tích xử lý ngôn ngữ tự nhiên (NLP) và phỏng vấn từng người tham gia sau mỗi lần thí nghiệm. Nhóm đã nhờ sự trợ giúp của giáo viên con người và một giám khảo AI (đại diện AI được xây dựng đặc biệt) để thực hiện việc chấm điểm.
Trong phân tích xử lý ngôn ngữ tự nhiên (NLP), những người tham gia chỉ sử dụng não bộ cho thấy sự khác biệt lớn trong cách viết bài về hầu hết các chủ đề. Ngược lại, nhóm LLM có xu hướng viết bài trên mỗi chủ đề có tính đồng nhất về mặt thống kê, với độ lệch rõ ràng nhỏ hơn so với các nhóm khác. Nhóm công cụ tìm kiếm có thể ít nhất ở một mức độ nào đó bị ảnh hưởng bởi sự quảng bá và tối ưu hóa nội dung từ các công cụ tìm kiếm.
Nhóm LLM sử dụng nhiều thực thể được đặt tên cụ thể (NER) nhất, chẳng hạn như nhân vật, tên, địa điểm, năm và định nghĩa; trong khi số lượng NER mà nhóm công cụ tìm kiếm sử dụng ít nhất thấp hơn một nửa so với nhóm LLM; nhóm chỉ sử dụng não bộ đã sử dụng số lượng NER ít hơn nhóm LLM 60%.
Những người tham gia nhóm LLM và công cụ tìm kiếm đang chịu áp lực thêm do thời gian hạn chế (20 phút), vì vậy họ có xu hướng tập trung vào kết quả đầu ra của các công cụ mà họ sử dụng. Hầu hết trong số họ đều tập trung vào việc tái sử dụng nội dung đầu ra của công cụ, dẫn đến việc họ luôn bận rộn với việc sao chép và dán, thay vì hòa nhập những ý tưởng sáng tạo của riêng mình và chỉnh sửa nội dung từ góc nhìn và kinh nghiệm của chính họ.
Trong mô hình kết nối thần kinh, các nhà nghiên cứu sử dụng phương pháp hàm truyền động động định hướng (dDTF) để đo tải nhận thức của người tham gia. dDTF có thể tiết lộ sự thay đổi hệ thống và đặc hiệu tần số của tính đồng bộ mạng, có ý nghĩa quan trọng đối với chức năng thực thi, xử lý ngữ nghĩa và điều chỉnh sự chú ý.
Phân tích điện não cho thấy, nhóm LLM, nhóm công cụ tìm kiếm và nhóm chỉ dựa vào não bộ có sự khác biệt đáng kể về mô hình kết nối thần kinh, điều này phản ánh các chiến lược nhận thức khác nhau. Mức độ kết nối não giảm hệ thống theo sự gia tăng hỗ trợ bên ngoài: nhóm chỉ dựa vào não bộ thể hiện mạng lưới mạnh mẽ và rộng rãi nhất, nhóm công cụ tìm kiếm thể hiện mức độ tham gia trung bình, trong khi nhóm hỗ trợ LLM có sự liên kết tổng thể yếu nhất.
Trong vòng thử nghiệm thứ 4, từ LLM đến những người tham gia chỉ dựa vào não cho thấy kết nối thần kinh yếu hơn, mức độ tham gia của mạng α và β thấp hơn; trong khi từ những người tham gia chỉ dựa vào não đến LLM cho thấy khả năng hồi tưởng trí nhớ cao hơn, và kích hoạt lại rộng rãi các nút chẩm đỉnh và trước trán.
Trong các cuộc phỏng vấn, nhóm LLM có cảm giác thuộc về bài báo của họ thấp hơn. Nhóm công cụ tìm kiếm có cảm giác thân thuộc mạnh hơn, nhưng nó thấp hơn nhóm chỉ có não. Nhóm LLM cũng tụt hậu về khả năng trích dẫn các bài báo mà họ đã viết cách đây vài phút, với hơn 83% người dùng ChatGPT không thể trích dẫn các bài báo được viết cách đây vài phút.
Nghiên cứu chưa qua đánh giá đồng nghiệp này cho thấy, trong quá trình nghiên cứu kéo dài 4 tháng, những người tham gia nhóm LLM có hiệu suất kém hơn ở các cấp độ thần kinh, ngôn ngữ và điểm số so với nhóm đối chứng chỉ sử dụng não. Khi ảnh hưởng giáo dục của LLM đối với công chúng chỉ mới bắt đầu xuất hiện, việc sử dụng trí tuệ nhân tạo LLM có thể thực sự làm giảm khả năng nâng cao kỹ năng học tập, đặc biệt là đối với những người dùng trẻ.
Các nhà nghiên cứu cho biết, trước khi LLM được công nhận là có lợi cho con người, cần phải thực hiện "nghiên cứu dọc" để hiểu tác động lâu dài của các chatbot trí tuệ nhân tạo đối với bộ não con người.
Khi được hỏi về quan điểm của ChatGPT đối với nghiên cứu này, câu trả lời của nó cho biết: "Nghiên cứu này không nói rằng ChatGPT về bản chất là có hại - trái lại, nó cảnh báo mọi người không nên phụ thuộc quá mức vào nó mà không suy nghĩ hoặc nỗ lực."
Tài liệu liên quan: a16z: Từ đại lý AI, DePIN đến thanh toán vi mô, 11 hướng phát triển quan trọng cho sự kết hợp giữa tiền điện tử và AI
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Báo cáo thí nghiệm MIT: Việc phụ thuộc quá nhiều vào AI Bots sẽ Thả khả năng tư duy
Tác giả: MIT（Viện Công nghệ Massachusetts）trích đoạn
Biên dịch: Felix, PANews
Khi các sản phẩm mô hình ngôn ngữ lớn (LLM) như ChatGPT của OpenAI được áp dụng rộng rãi, các doanh nghiệp và cộng đồng từ khắp nơi trên thế giới gần như đang sử dụng LLM hàng ngày. Giống như các công cụ khác, LLM cũng có những lợi thế và hạn chế riêng.
Gần đây, Viện Công nghệ Massachusetts (MIT) đã phát hành một báo cáo nghiên cứu dài 206 trang, khám phá chi phí nhận thức khi sử dụng LLM (như ChatGPT) trong bối cảnh giáo dục viết bài, tiết lộ ảnh hưởng của việc sử dụng LLM đến não bộ và khả năng nhận thức. Nghiên cứu cho thấy, việc phụ thuộc quá mức vào chatbot trí tuệ nhân tạo như ChatGPT của OpenAI có thể làm giảm khả năng nhận thức.
Nhóm nghiên cứu đã chia các tham gia viên thành ba nhóm: Nhóm LLM, Nhóm công cụ tìm kiếm và Nhóm chỉ sử dụng não. Các tham gia viên trong 4 tháng đã sử dụng công cụ chỉ định (Nhóm chỉ sử dụng não không sử dụng công cụ) để viết bài trong thời gian giới hạn, mỗi lần thí nghiệm có chủ đề bài viết khác nhau. Nhóm đã sắp xếp cho mỗi tham gia viên 3 vòng thí nghiệm giống nhau. Trong vòng thí nghiệm thứ 4, nhóm yêu cầu các tham gia viên của Nhóm LLM không sử dụng bất kỳ công cụ nào (gọi là Nhóm LLM chuyển sang não), trong khi các tham gia viên của Nhóm chỉ sử dụng não thì sử dụng LLM (Nhóm não chuyển sang LLM). Tổng cộng có 54 tham gia viên được tuyển chọn tham gia 3 vòng thí nghiệm đầu tiên, trong đó 18 người hoàn thành vòng thí nghiệm thứ 4.
Nhóm nghiên cứu đã sử dụng điện não đồ (EEG) để ghi lại hoạt động não của người tham gia, nhằm đánh giá mức độ đầu tư nhận thức và tải nhận thức của họ, đồng thời tìm hiểu sâu hơn về tình trạng kích hoạt thần kinh trong quá trình thực hiện nhiệm vụ viết bài. Nhóm đã thực hiện phân tích xử lý ngôn ngữ tự nhiên (NLP) và phỏng vấn từng người tham gia sau mỗi lần thí nghiệm. Nhóm đã nhờ sự trợ giúp của giáo viên con người và một giám khảo AI (đại diện AI được xây dựng đặc biệt) để thực hiện việc chấm điểm.
Trong phân tích xử lý ngôn ngữ tự nhiên (NLP), những người tham gia chỉ sử dụng não bộ cho thấy sự khác biệt lớn trong cách viết bài về hầu hết các chủ đề. Ngược lại, nhóm LLM có xu hướng viết bài trên mỗi chủ đề có tính đồng nhất về mặt thống kê, với độ lệch rõ ràng nhỏ hơn so với các nhóm khác. Nhóm công cụ tìm kiếm có thể ít nhất ở một mức độ nào đó bị ảnh hưởng bởi sự quảng bá và tối ưu hóa nội dung từ các công cụ tìm kiếm.
Nhóm LLM sử dụng nhiều thực thể được đặt tên cụ thể (NER) nhất, chẳng hạn như nhân vật, tên, địa điểm, năm và định nghĩa; trong khi số lượng NER mà nhóm công cụ tìm kiếm sử dụng ít nhất thấp hơn một nửa so với nhóm LLM; nhóm chỉ sử dụng não bộ đã sử dụng số lượng NER ít hơn nhóm LLM 60%.
Những người tham gia nhóm LLM và công cụ tìm kiếm đang chịu áp lực thêm do thời gian hạn chế (20 phút), vì vậy họ có xu hướng tập trung vào kết quả đầu ra của các công cụ mà họ sử dụng. Hầu hết trong số họ đều tập trung vào việc tái sử dụng nội dung đầu ra của công cụ, dẫn đến việc họ luôn bận rộn với việc sao chép và dán, thay vì hòa nhập những ý tưởng sáng tạo của riêng mình và chỉnh sửa nội dung từ góc nhìn và kinh nghiệm của chính họ.
Trong mô hình kết nối thần kinh, các nhà nghiên cứu sử dụng phương pháp hàm truyền động động định hướng (dDTF) để đo tải nhận thức của người tham gia. dDTF có thể tiết lộ sự thay đổi hệ thống và đặc hiệu tần số của tính đồng bộ mạng, có ý nghĩa quan trọng đối với chức năng thực thi, xử lý ngữ nghĩa và điều chỉnh sự chú ý.
Phân tích điện não cho thấy, nhóm LLM, nhóm công cụ tìm kiếm và nhóm chỉ dựa vào não bộ có sự khác biệt đáng kể về mô hình kết nối thần kinh, điều này phản ánh các chiến lược nhận thức khác nhau. Mức độ kết nối não giảm hệ thống theo sự gia tăng hỗ trợ bên ngoài: nhóm chỉ dựa vào não bộ thể hiện mạng lưới mạnh mẽ và rộng rãi nhất, nhóm công cụ tìm kiếm thể hiện mức độ tham gia trung bình, trong khi nhóm hỗ trợ LLM có sự liên kết tổng thể yếu nhất.
Trong vòng thử nghiệm thứ 4, từ LLM đến những người tham gia chỉ dựa vào não cho thấy kết nối thần kinh yếu hơn, mức độ tham gia của mạng α và β thấp hơn; trong khi từ những người tham gia chỉ dựa vào não đến LLM cho thấy khả năng hồi tưởng trí nhớ cao hơn, và kích hoạt lại rộng rãi các nút chẩm đỉnh và trước trán.
Trong các cuộc phỏng vấn, nhóm LLM có cảm giác thuộc về bài báo của họ thấp hơn. Nhóm công cụ tìm kiếm có cảm giác thân thuộc mạnh hơn, nhưng nó thấp hơn nhóm chỉ có não. Nhóm LLM cũng tụt hậu về khả năng trích dẫn các bài báo mà họ đã viết cách đây vài phút, với hơn 83% người dùng ChatGPT không thể trích dẫn các bài báo được viết cách đây vài phút.
Nghiên cứu chưa qua đánh giá đồng nghiệp này cho thấy, trong quá trình nghiên cứu kéo dài 4 tháng, những người tham gia nhóm LLM có hiệu suất kém hơn ở các cấp độ thần kinh, ngôn ngữ và điểm số so với nhóm đối chứng chỉ sử dụng não. Khi ảnh hưởng giáo dục của LLM đối với công chúng chỉ mới bắt đầu xuất hiện, việc sử dụng trí tuệ nhân tạo LLM có thể thực sự làm giảm khả năng nâng cao kỹ năng học tập, đặc biệt là đối với những người dùng trẻ.
Các nhà nghiên cứu cho biết, trước khi LLM được công nhận là có lợi cho con người, cần phải thực hiện "nghiên cứu dọc" để hiểu tác động lâu dài của các chatbot trí tuệ nhân tạo đối với bộ não con người.
Khi được hỏi về quan điểm của ChatGPT đối với nghiên cứu này, câu trả lời của nó cho biết: "Nghiên cứu này không nói rằng ChatGPT về bản chất là có hại - trái lại, nó cảnh báo mọi người không nên phụ thuộc quá mức vào nó mà không suy nghĩ hoặc nỗ lực."
Tài liệu liên quan: a16z: Từ đại lý AI, DePIN đến thanh toán vi mô, 11 hướng phát triển quan trọng cho sự kết hợp giữa tiền điện tử và AI