Nhân bản tâm trí! Cựu nhà nghiên cứu OpenAI cho phép AI bắt chước suy nghĩ của con người và phiên bản thực của "Máy móc" xuất hiện

**Nguồn:**Xinzhiyuan

Hướng dẫn: Chúng ta cách "Machina" bao xa? Một cựu nhà nghiên cứu OpenAI cho phép AI sao chép suy nghĩ, bắt chước suy nghĩ của con người và hành động trong khi suy nghĩ.

Điều gì sẽ xảy ra khi AI có ý thức tự chủ?

Trong "Machina", Ava sử dụng sự đồng cảm của con người để khiến con người được tự do bằng sự lừa dối, và cuối cùng giết chết "người tạo ra" Nathan của cô.

Gần đây, dưới sự giới thiệu của nhiều cư dân mạng, Sam Altman cuối cùng đã xem bộ phim này.

Và nói: “Phim hay đấy, nhưng không hiểu sao mọi người lại bắt tôi xem”.

Nhiều người có thể muốn cảnh báo rằng đây là kết quả của việc làm cho trí tuệ nhân tạo có ý thức và vượt qua bài kiểm tra Turing.

Nhưng chúng ta vẫn còn cách xa khung cảnh của "Ex Machina" GPT-5 có thể đang được nghiên cứu và phát triển bí mật, và làm cho AI trở nên thông minh vẫn là điều mà các nhà khoa học muốn làm nhất với những nỗ lực thời tiền sử của họ.

Không, hai nhà nghiên cứu từ Đại học British Columbia đã phát hiện ra rằng có nhiều lợi thế khi các đặc vụ có thể suy nghĩ giống con người.

Trong bài báo mới nhất của họ, họ nghiên cứu "nhân bản suy nghĩ" (TC) của các đại lý.

Địa chỉ giấy tờ:

Ở đây, trí tuệ nhân tạo học cách "suy nghĩ" và "hành động" như con người bằng cách bắt chước con người.

Khi AI có suy nghĩ

Biết rằng ngôn ngữ là thứ phân biệt con người với các sinh vật sống khác.

Do đó, các nhà nghiên cứu tưởng tượng rằng nếu các tác nhân có thể hiểu được ngôn ngữ thì sẽ có rất nhiều lợi ích.

Ví dụ, giúp con người khái quát hóa, suy luận, thích nghi với các tình huống mới, kết hợp kiến thức hiện có theo những cách mới, khám phá, lập kế hoạch và lập kế hoạch lại khi cần thiết.

Bất chấp những lợi ích này, các tác nhân AI hiếm khi suy nghĩ, ít nhất là không suy nghĩ bằng ngôn ngữ của con người.

Trong khi các mạng nơ-ron có thể được coi là sự kích hoạt véc-tơ bên trong của tư duy, nhiều người đưa ra giả thuyết rằng có những lợi ích cụ thể khi tư duy bằng các ngôn ngữ ký hiệu, rời rạc.

Điều này có nghĩa là một tác nhân có thể suy nghĩ bằng ngôn ngữ có thể học nhanh hơn, hoạt động tốt hơn và khái quát hóa tốt hơn một tác nhân không sử dụng ngôn ngữ.

Vì tất cả những lý do này, việc nâng cao khả năng suy nghĩ bằng ngôn ngữ của các tác nhân AI có thể mang lại nhiều lợi thế đáng kể.

Jeff Clune và Shengran Hu tin rằng cách hiệu quả nhất để đạt được mục tiêu này là "làm cho AI bắt chước suy nghĩ của con người".

Họ phát hiện ra rằng con người không có được các kỹ năng tư duy một cách cô lập, mà thay vào đó học một phần thông qua sự trình diễn của người khác và phản hồi từ giáo viên.

Do đó, một cách tiếp cận hiệu quả là để tác nhân học hỏi từ các cuộc biểu tình của con người nói lên suy nghĩ của họ khi họ hành động.

Cách tiếp cận này khác với công việc lập kế hoạch hiện có với các LLM được đào tạo trước vì các LLM này chưa được đào tạo về dữ liệu của con người nói ra suy nghĩ của họ khi họ hành động, tức là "dữ liệu suy nghĩ".

Đối với nguồn của "dữ liệu suy nghĩ", các nhà nghiên cứu đã chọn các video và bản ghi văn bản trên YouTube, khoảng hàng triệu giờ, chứa những suy nghĩ đằng sau hành động, kế hoạch, quyết định và lập trình lại của mọi người.

Trong bài báo, các nhà nghiên cứu đã đề xuất một khuôn khổ học tập bắt chước mới lạ "nhân bản suy nghĩ". Trong số đó, tác nhân không chỉ học các hành vi thể hiện của con người, chẳng hạn như nhân bản hành vi, mà còn học cách suy nghĩ trong khi con người hành động.

Trong khuôn khổ đào tạo nhân bản suy nghĩ, tác nhân học cách tạo ra suy nghĩ ở mỗi bước và sau đó điều chỉnh hành động dựa trên những suy nghĩ này.

Khung tổng thể Như thể hiện trong hình, tác nhân TC là một kiến trúc hai lớp: các thành phần trên và dưới.

Tại mỗi bước thời gian, tác nhân nhận đầu vào là một quan sát, một nhiệm vụ và lịch sử suy nghĩ. Các thành phần cấp cao hơn chịu trách nhiệm tạo ý tưởng và các thành phần cấp thấp hơn tạo ra các hành động dựa trên những ý tưởng này.

Sau đó, những suy nghĩ và hành động được tạo ra được so sánh với sự thật cơ bản trong tập dữ liệu demo để tính toán tổn thất.

Mặc dù có thể có các lựa chọn khác nhau đối với các điều kiện của các thành phần trên và dưới, nhưng trong nghiên cứu này, đối với một quỹ đạo cụ thể có độ dài t trong bộ dữ liệu tâm trí, các nhà nghiên cứu đã giảm thiểu:

Đối với các tình huống quy mô lớn hoặc phức tạp hơn, các thành phần lớp trên có thể được triển khai bằng cách sử dụng Mô hình ngôn ngữ hình ảnh (VLM) được đào tạo trước hoặc zero-shot, được tinh chỉnh.

Trong khi các thành phần thấp hơn có thể được đào tạo từ đầu hoặc được điều chỉnh từ các bộ điều khiển điều kiện ngôn ngữ hiện có trong miền đích.

Trong bài báo, các nhà nghiên cứu đã tiến hành nghiên cứu dựa trên hai thành phần của kiến trúc mô hình BabyAI 1.1.

Mô hình tận dụng kiến trúc tăng cường bộ nhớ LSTM để giải quyết một phần thách thức về khả năng quan sát. Ngoài ra, nó sử dụng FiLM để kết hợp phương thức, kết hợp hiệu quả các đầu vào hình ảnh và văn bản.

Ở đây, tác giả nhấn mạnh rằng tất cả các mô hình trong bài viết này đều được đào tạo từ đầu, nhưng tốt hơn hết là sử dụng các mô hình được đào tạo trước trong các trường phức tạp.

Hình dưới đây là một ví dụ về môi trường BabyAI. Hình bên trái chứa các vật phẩm có nhiều màu sắc khác nhau (quả bóng, chìa khóa, hộp, cửa).

Tác nhân có thể nhặt, đặt xuống, di chuyển đồ vật hoặc mở và đóng cửa, trong khi cửa bị khóa chỉ có thể mở được bằng các phím trùng màu.

Đặc vụ có thể nhìn thấy các ô lưới 7×7 phía trước, bị chặn bởi các bức tường và cửa đóng.

Nhiệm vụ của đặc vụ "nhân bản tâm trí" là đến ô màu tím (được đánh dấu) và bắt đầu lên kế hoạch cho lộ trình.

Nhưng khi mở cánh cửa màu xanh lam, sẵn sàng hoàn thành nhiệm vụ, nó phát hiện một quả bóng màu tím chặn đường. Sau đó, tác nhân nhân bản tâm trí được lên kế hoạch lại.

Từ đó, có thể thấy rằng suy nghĩ và hành động của tác nhân cho thấy rằng khi gặp chướng ngại vật, nó sẽ loại bỏ chướng ngại vật đó trước và lập kế hoạch lại lộ trình trước khi tiếp tục với mục tiêu trước đó.

Quá trình này đặc biệt giống như cách Ava lên kế hoạch từng bước, để cuối cùng con người sẽ tin tưởng và giúp đỡ chính mình, thoát khỏi chiếc lồng kính đã giam cầm bấy lâu nay.

Kết quả thực nghiệm

Các phát hiện cho thấy rằng "nhân bản suy nghĩ" vượt trội hơn so với nhân bản hành vi.

Hơn nữa, trong cài đặt zero-shot và tinh chỉnh, nhân bản tâm trí hoạt động tốt hơn so với nhân bản hành vi trong các tác vụ không phân phối.

Thật thú vị, các nhà nghiên cứu cũng đã phát triển "các biện pháp can thiệp trước tội phạm" cho phép người dùng xác định các hành vi không an toàn sau khi mô hình đã được đào tạo.

Khi những suy nghĩ nguy hiểm được phát hiện, tác nhân có thể bị chấm dứt. Trong các cuộc thử nghiệm, Can thiệp tiền tội phạm hoạt động gần như hoàn hảo, cho thấy tiềm năng của nó đối với sự an toàn của AI.

"Nhân bản tâm trí" không chỉ giúp trí tuệ nhân tạo thông minh hơn mà còn an toàn và dễ hiểu hơn.

Tức là trước khi AI phạm tội, mọi thứ vẫn có thể cứu vãn được.

Theo quan điểm của Jeff Clune, "nhân bản suy nghĩ" góp phần đảm bảo an toàn cho trí tuệ nhân tạo.

Bởi vì chúng ta có thể quan sát tâm trí của tác nhân: (1) có thể dễ dàng chẩn đoán hơn tại sao mọi thứ lại sai, (2) hướng dẫn tác nhân bằng cách điều chỉnh tâm trí của tác nhân, (3) hoặc ngăn tác nhân thực hiện vấn đề không an toàn đã được lên kế hoạch.

Giới thiệu về tác giả

Jeff Clune

Hiện tại, Jeff Clune là Phó Giáo sư Khoa học Máy tính tại Đại học British Columbia. Nghiên cứu của ông tập trung vào học sâu, bao gồm cả học tăng cường sâu.

Trước đây, ông cũng là trưởng nhóm nghiên cứu OpenAI, quản lý nghiên cứu cấp cao và là thành viên sáng lập của Phòng thí nghiệm trí tuệ nhân tạo Uber.

Trước đây, anh và nhóm OpenAI đã phát hành một mô hình đào tạo trước bằng video - VPT, cho phép AI học các cuốc đá từ dữ liệu video trong Minecraft.

Shengran Hu

Hiện đang là nghiên cứu sinh tại Đại học British Columbia, quan tâm đến học sâu, các thuật toán tạo ra trí tuệ nhân tạo.

Người giới thiệu: