Mengingatkan saya pada puisi penyair Wales Dylan Thomas "Do not go gentle into that good night"
"Singularity yang lembut" adalah tangan takdir yang datang dengan diam-diam, lembut tetapi tak terhindarkan, seperti seorang tua yang sekarat yang dapat dengan lembut melangkah ke dalam "malam yang baik" itu, mengundang umat manusia untuk melangkah ke dalam kedalaman yang tidak diketahui.
Manusia mungkin tidak akan melawan arus takdir dengan teriakan, melainkan seperti seorang tua yang dengan sedikit rasa ingin tahu dan kepatuhan, lembut ditelan oleh titik singularitas di tengah senja.
Sebelum membaca Altman, kita harus merenungkan kalimat ini dalam puisi:
Jangan pergi lembut ke malam yang baik itu;
marah, marah melawan matinya cahaya
Berikut adalah teks lengkap blog, dalam bahasa Cina dan Inggris:
The Gentle Singularity Singularity yang Lembut
Sam Altman
Sam Ultraman
Kami telah melewati horizon peristiwa; lepas landas telah dimulai. Umat manusia dekat untuk membangun kecerdasan super digital, dan setidaknya sejauh ini, itu jauh lebih sedikit aneh daripada yang seharusnya.
Kami telah melewati horizon peristiwa; lepas landas telah dimulai. Manusia akan segera membangun kecerdasan super digital, dan setidaknya hingga saat ini, bentuknya tidak seaneh yang kita bayangkan.
Robot belum berjalan di jalanan, dan sebagian besar dari kita juga tidak berbicara dengan AI sepanjang hari. Orang masih mati karena penyakit, kita masih tidak bisa dengan mudah pergi ke luar angkasa, dan ada banyak hal tentang alam semesta yang tidak kita mengerti.
Robot belum merata di jalanan, dan sebagian besar dari kita juga belum berbicara dengan kecerdasan buatan sepanjang hari. Orang masih akan mati karena penyakit, kita masih belum bisa dengan mudah memasuki luar angkasa, dan masih banyak misteri di alam semesta yang tidak kita pahami.
Namun, kami baru-baru ini membangun sistem yang lebih pintar daripada manusia dalam banyak hal, dan mampu secara signifikan memperkuat output orang yang menggunakannya. Bagian yang paling tidak mungkin dari pekerjaan ada di belakang kita; wawasan ilmiah yang membawa kita ke sistem seperti GPT-4 dan o3 diperoleh dengan susah payah, tetapi akan membawa kita sangat jauh.
然而,我们最近已经构建出在许多方面比人类更智能的系统,它们能够显有放大使用者的产出。 这项工作中看似最不可能实现的部分已经完成; 那些催生了像GPT-4和o3这样系统的科学洞见来之不易,但它们将引领我们走得非常远。
AI akan memberikan kontribusi kepada dunia dalam banyak cara, tetapi keuntungan bagi kualitas hidup dari AI yang mendorong kemajuan ilmiah yang lebih cepat dan peningkatan produktivitas akan sangat besar; masa depan bisa jauh lebih baik daripada saat ini. Kemajuan ilmiah adalah pendorong terbesar dari kemajuan secara keseluruhan; sangat menggembirakan untuk memikirkan seberapa banyak lagi yang bisa kita miliki.
人工智能将从多方面为世界造贡献,但由人工智能推动的更快科学进步和更高生产力所带来的生活质量提升将是巨大的; 未来可能远比现在更加美好。 科学进步是整体进步的最大驱动力; Berpikir bahwa saya bisa memiliki lebih banyak adalah hal yang sangat menarik.
Dalam arti besar, ChatGPT sudah lebih kuat daripada manusia mana pun yang pernah hidup. Ratusan juta orang mengandalkannya setiap hari dan untuk tugas-tugas yang semakin penting; kemampuan baru yang kecil dapat menciptakan dampak yang sangat positif; Ketidaksejajaran kecil yang dikalikan dengan ratusan juta orang dapat menyebabkan banyak dampak negatif.
Dalam arti yang besar, ChatGPT sudah lebih kuat daripada manusia mana pun yang pernah hidup. Setiap hari, ratusan juta orang bergantung padanya untuk menangani tugas-tugas yang semakin penting; sebuah fungsi baru yang kecil dapat menghasilkan dampak positif yang besar; dan sebuah kesalahan kecil, ketika diperbesar oleh ratusan juta orang, juga dapat menyebabkan dampak negatif yang besar.
2025 telah melihat kedatangan agen yang dapat melakukan pekerjaan kognitif nyata; menulis kode komputer tidak akan pernah sama. 2026 kemungkinan akan melihat kedatangan sistem yang dapat menemukan wawasan baru. 2027 mungkin akan melihat kedatangan robot yang dapat melakukan tugas di dunia nyata.
2025年见证了能够从事真正认知工作的智能体的诞生; 编写计算机代码的方式将从此改变。 2026年可能会出现能够发现新颖见解的系统。 2027年可能会出现能够在现实世界中执行任务的机器人。
Lebih banyak orang akan dapat membuat perangkat lunak, dan seni. Tetapi dunia menginginkan lebih banyak dari keduanya, dan para ahli mungkin masih akan jauh lebih baik daripada pemula, selama mereka merangkul alat baru. Secara umum, kemampuan satu orang untuk menyelesaikan lebih banyak hal pada tahun 2030 daripada yang mereka bisa lakukan pada tahun 2020 akan menjadi perubahan yang mencolok, dan banyak orang akan menemukan cara untuk mendapatkan manfaat darinya.
更多的人将能够创造软件和艺术。 但世界对这两者的需求也会大大增加,只要专家们拥抱新工具,他们可能仍然会比新手出色得多。 总的来说,一个人在2030年能完成工作的量远超2020年,这将是一个显座的变化,许多人会找到从中受益的方法。
Dalam cara yang paling penting, tahun 2030-an mungkin tidak akan sangat berbeda. Orang-orang akan tetap mencintai keluarga mereka, mengekspresikan kreativitas mereka, bermain game, dan berenang di danau.
Selain itu, tahun 2030-an mungkin merupakan dunia perubahan. Para pelayan masih mencintai keluarga mereka, menunjukkan kekuatan mereka, bermain berenang, dan berenang di danau.
Namun, dalam cara yang masih sangat penting, tahun 2030-an kemungkinan akan sangat berbeda dari waktu mana pun yang telah terjadi sebelumnya. Kita tidak tahu seberapa jauh kita bisa melampaui kecerdasan tingkat manusia, tetapi kita akan segera mengetahuinya.
Namun dalam beberapa aspek yang masih sangat penting, tahun 2030-an mungkin akan sangat berbeda dari era sebelumnya. Kita tidak tahu seberapa jauh kita dapat melampaui kecerdasan tingkat manusia, tetapi kita akan segera menemukan jawabannya.
Pada tahun 2030-an, kecerdasan dan energi—ide-ide, dan kemampuan untuk mewujudkan ide-ide tersebut—akan menjadi sangat melimpah. Keduanya telah menjadi pembatas fundamental kemajuan manusia selama waktu yang lama; dengan kecerdasan dan energi yang melimpah ( dan tata kelola yang baik ), secara teori kita bisa memiliki apa pun yang lain.
Pada tahun 2030-an, kecerdasan dan energi—yaitu ide serta kemampuan untuk mewujudkan ide—akan menjadi sangat melimpah. Keduanya telah lama menjadi faktor pembatas fundamental bagi kemajuan manusia; dengan kecerdasan dan energi yang melimpah (serta tata kelola yang baik), secara teoritis kita dapat memiliki segalanya.
Kita sudah hidup dengan kecerdasan digital yang luar biasa, dan setelah beberapa kejutan awal, sebagian besar dari kita cukup terbiasa dengan hal itu. Sangat cepat kita beralih dari kagum bahwa AI dapat menghasilkan paragraf yang ditulis dengan indah, menjadi bertanya-tanya kapan ia dapat menghasilkan novel yang ditulis dengan indah; atau dari kagum bahwa ia dapat membuat diagnosis medis yang menyelamatkan nyawa, menjadi bertanya-tanya kapan ia dapat mengembangkan obatnya; atau dari kagum bahwa ia dapat membuat program komputer kecil, menjadi bertanya-tanya kapan ia dapat menciptakan perusahaan baru secara keseluruhan. Inilah cara singularitas berjalan: keajaiban menjadi rutinitas, dan kemudian menjadi hal yang biasa.
我们已经生活在令人难以置信的数字智能中,在最初的振惊之后,我们大多数人已经习以为常。 我们很快就从惊叹于AI能生成一段文笔优美的段落,转而思考它何时能写出一部文笔优美小说; 从惊叹于它能造猻疗诊断,转而思考它何时能研发出治方法; 从惊叹于它能创建一个小程序,转而思考它何时能创建一家全新的公司。 奇点就是这样发生的:奇迹变为常态,然后成为基本要求。
Kita sudah mendengar dari para ilmuwan bahwa mereka dua atau tiga kali lebih produktif daripada sebelum AI. AI canggih menarik karena berbagai alasan, tetapi mungkin tidak ada yang sepenting fakta bahwa kita dapat menggunakannya untuk melakukan penelitian AI yang lebih cepat. Kita mungkin dapat menemukan substrat komputasi baru, algoritme yang lebih baik, dan siapa yang tahu apa lagi. Jika kita dapat melakukan penelitian selama satu dekade dalam setahun, atau sebulan, maka tingkat kemajuannya jelas akan sangat berbeda.
Kami telah mendengar para ilmuwan mengatakan bahwa produktivitas mereka adalah dua hingga tiga kali lipat dari sebelum menggunakan kecerdasan buatan. Ada banyak alasan mengapa kecerdasan buatan yang canggih sangat menarik, tetapi mungkin tidak ada yang lebih penting daripada kemampuan kita untuk mempercepat penelitian kecerdasan buatan. Kita mungkin dapat menemukan dasar komputasi baru, algoritma yang lebih baik, dan siapa yang tahu apa lagi. Jika kita dapat menyelesaikan penelitian yang biasanya memerlukan sepuluh tahun dalam satu bulan atau setahun, maka kecepatan kemajuan jelas akan sangat berbeda.
Mulai sekarang, alat yang telah kami bangun akan membantu kami menemukan wawasan ilmiah lebih lanjut dan membantu kami dalam menciptakan sistem AI yang lebih baik. Tentu saja ini tidak sama dengan sistem AI yang sepenuhnya secara mandiri memperbarui kodenya sendiri, tetapi bagaimanapun ini adalah versi larva dari peningkatan diri rekursif.
从现在开始,我们已经构建的工具将帮助我们发现更深入的科学见解,并协助我们创造更优秀的人工智能系统。 当然,这与一个人工智能系统完全自主地更新自己的代码并非一回事,但这已是递归式自我改进的雏形。
Ada loop penguatan diri lainnya yang bermain. Penciptaan nilai ekonomi telah memulai roda gila pembangunan infrastruktur peracikan untuk menjalankan sistem AI yang semakin kuat ini. Dan robot yang dapat membangun robot lain (and dalam arti tertentu, pusat data yang dapat membangun datacenters) lain tidak terlalu jauh.
还有其他的自我强化循环正在发挥作用。 经济价值的创造已经启动了一个飞轮效应,不断推动基础设施建设,以运行这些日益强大的人工智慧智能系统。 而能够制造其他机器人机器人(在某种意义上,能够建其他数据中心的数据中心)也并非遥不可和。
Jika kita harus membuat jutaan robot humanoid pertama dengan cara kuno, tetapi kemudian mereka dapat mengoperasikan seluruh rantai pasokan—menggali dan memurnikan mineral, mengendarai truk, menjalankan pabrik, dll Untuk membangun lebih banyak robot, yang dapat membangun lebih banyak fasilitas fabrikasi chip, pusat data, dll, maka tingkat kemajuannya jelas akan sangat berbeda.
如果我们必须用传统方式制造出最初的一百万个类人机器人,但之后它们能够运营整个供应链——挖掘和精炼矿物、驾驶卡车、运营工厂等等——来制造更多的机器人,而这些机器人又能建更多的chip片制造厂、数据中心等,那么进步的速度显然将截然不同。
Ketika produksi pusat data menjadi otomatis, biaya intelijen pada akhirnya akan menyatu mendekati biaya listrik. (People sering penasaran tentang berapa banyak energi yang digunakan kueri ChatGPT; Kueri rata-rata menggunakan sekitar 0,34 watt-jam, tentang apa yang akan digunakan oven dalam waktu lebih dari satu detik, atau bola lampu efisiensi tinggi akan digunakan dalam beberapa menit. Ini juga menggunakan sekitar 0,000085 galon air; kira-kira seperlima belas sendok teh.)
随着数据中心生产的自动化,智能的成本最终应会趋近于电力的成本。 (Orang sering bertanya-tanya berapa banyak energi yang dibutuhkan untuk melakukan pencarian ChatGPT; 平均一次查询大约消耗0.34 Wa时,相当于一个oven一秒多一点的用量,或一个高效灯泡几分钟的用量。 它还消耗大约0.000085加仑水;约sama dengan 19,茶spoon的15/1。 )
Kecepatan kemajuan teknologi akan terus meningkat, sementara kemampuan manusia untuk beradaptasi dengan hampir segala sesuatu akan tetap sama. Akan ada bagian yang sangat sulit dalam prosesnya, seperti hilangnya seluruh jenis pekerjaan, tetapi di sisi lain, dunia akan menjadi begitu kaya dan cepat, sehingga kita dapat mempertimbangkan secara serius ide-ide kebijakan baru yang sebelumnya tidak pernah kita bayangkan. Kita mungkin tidak akan mengadopsi kontrak sosial baru secara langsung, tetapi ketika melihat kembali beberapa dekade kemudian, perubahan-perubahan bertahap ini akan berkumpul menjadi transformasi yang besar.
Jika sejarah adalah panduan, kita akan menemukan hal-hal baru yang harus dilakukan dan hal-hal baru yang diinginkan, dan mengasimilasi alat-alat baru dengan cepat (job perubahan setelah revolusi industri adalah baru-baru ini yang baik example). Ekspektasi akan naik, tetapi kemampuan akan naik sama cepatnya, dan kita semua akan mendapatkan hal-hal yang lebih baik. Kita akan membangun hal-hal yang lebih indah untuk satu sama lain. Orang-orang memiliki keunggulan jangka panjang yang penting dan aneh dibandingkan AI: kita tertanam untuk peduli dengan orang lain dan apa yang mereka pikirkan dan lakukan, dan kita tidak terlalu peduli dengan mesin.
如果历史可为借鉴,我们将找到新事去,产生新需求,并迅速menyerap 新工具(工业revolution后的职业变迁是一个很好的一般的例子)。 期望会提高,但能力也会同样快速了提高,我们都会得到更好的东西。 我们将为彼此创造出越来越indah things。 与人工智能相比,人类拥有一种长期、重要且奇特的优势:我们的天性决定了我们在caring 人以及人的所思所为,而对机器则不那么在乎。
thousand years ago 的自给自足的农民看到我们许多人现在的工作,会说我们做的是"假工作",认为我们只是在玩游戏自娱自乐,因为我们有充足的食和难以想象的luxu。 我希望一千后我们看待未来的工作时,也会觉得它们是"非常假工作",但我毫不怀疑,从事这些工作的人会覺得它们无比重要和满足。
Tingkat keajaiban baru yang dicapai akan sangat besar. Sulit untuk membayangkan hari ini apa yang akan kita temukan pada tahun 2035; mungkin kita akan berpindah dari memecahkan fisika energi tinggi satu tahun ke mulai kolonisasi luar angkasa tahun berikutnya; atau dari terobosan besar dalam ilmu material satu tahun ke antarmuka otak-komputer bandwidth tinggi yang sebenarnya tahun berikutnya. Banyak orang akan memilih untuk menjalani hidup mereka dengan cara yang sama, tetapi setidaknya beberapa orang mungkin akan memutuskan untuk "menyambung".
新奇迹实现的速度将是巨大的。 Today,我们甚至难以想象到2035年会有什么发现; 也许我们会在一年内解决高能物理问题,然后在下年开启太空colony; 或者在年内得重大材料科学breakthrough,然后在下年实现真高band 宽脑机接口。 许多人会选择以大致相同的方式生活,但至少有些人可能会决定"接入"。
展望未来,这一切听起来似乎难以理解。 但亲身经历时,可能会覺得shock但尚可应对。 从相对论的视角看,奇点是点滴发生的,fusi is 缓慢进行的。 我们正攀登在指数级技术进步的漫长arc线上; 前看总是显得陡,后看则显得平,but 它是一条平滑的曲线。 (回想一下2020年,如果有人说2025年将出现接近通用人工智慧智能的东西,听起来会是什么感觉,再对比一下过去5年实际的经历。 )
Ada tantangan serius yang harus dihadapi bersama dengan keuntungan besar. Kita memang perlu menyelesaikan masalah keamanan, baik secara teknis maupun sosial, tetapi kemudian sangat penting untuk mendistribusikan akses ke superintelligence secara luas mengingat implikasi ekonominya. Jalur terbaik ke depan mungkin seperti ini:
伴随着巨大的好处,也严峻的挑战需要面对。 我们确实需要从技术和社会层面解决安全问题,但鉴于其经济影响,广泛地普及超级智能的访问权限也至关重要。 最佳的前进路可能是这样的:
Memecahkan masalah penyelarasan, yang berarti bahwa kita dapat dengan kuat menjamin bahwa kita mendapatkan sistem AI untuk belajar dan bertindak terhadap apa yang benar-benar kita inginkan secara kolektif selama (social jangka panjang umpan media adalah contoh AI yang tidak sejajar; Algoritme yang menggerakkan mereka luar biasa dalam membuat Anda terus menggulir dan memahami dengan jelas preferensi jangka pendek Anda, tetapi mereka melakukannya dengan mengeksploitasi sesuatu di otak Anda yang mengganti preference) jangka panjang Anda.
Memecahkan masalah penyelarasan berarti kita dapat dengan kuat menjamin bahwa sistem kecerdasan buatan belajar dan bertindak sesuai dengan keinginan jangka panjang kita yang sebenarnya secara kolektif (aliran informasi di media sosial adalah salah satu contoh kecerdasan buatan yang tidak selaras; algoritma yang menggerakkannya sangat baik dalam membuat Anda terus menggulir dan dapat memahami preferensi jangka pendek Anda dengan jelas, tetapi mereka melakukannya dengan memanfaatkan sesuatu di otak Anda yang mengalahkan preferensi jangka panjang Anda).
Kemudian fokus untuk membuat kecerdasan super murah, tersedia secara luas, dan tidak terlalu terkonsentrasi dengan orang, perusahaan, atau negara mana pun. Masyarakat tangguh, kreatif, dan beradaptasi dengan cepat. Jika kita dapat memanfaatkan kemauan kolektif dan kebijaksanaan orang-orang, maka meskipun kita akan membuat banyak kesalahan dan beberapa hal akan menjadi sangat salah, kita akan belajar dan beradaptasi dengan cepat dan dapat menggunakan ini teknologi untuk mendapatkan keuntungan maksimal dan penurunan minimal. Memberi pengguna banyak kebebasan, dalam batas-batas luas yang harus diputuskan oleh masyarakat, tampaknya sangat penting. Semakin cepat dunia dapat memulai percakapan tentang apa itu batas-batas luas ini dan bagaimana kita mendefinisikan keselarasan kolektif, semakin baik.
然后,专注于让超级智能变得廉价、普及,并且不过度集中于任何个人、公司或国家。 社会具有韧性、创造力并且适应快速。 如果我们能够驾驭人类的集体意愿和智慧,那么尽管我们会犯很多错误,有些事情会出错,但我们将迅速学习和适应,并能够利用这项技术来获得最大的好处和最小的坏处。 在社会必须决定的广泛boundary 内,给予用户大量的自由似乎非常重要。 世界越早开始就这些广泛boundary 是什么以及我们如何定义集体对齐展开对话,就越好。
我们(整个行业,不仅仅是OpenAI)正在为世界构建一个大脑。 它将是高度个性化的,并且对每个人来说都易于使用; 我们将受限于好的想法。 Pada hari-hari awal Dinasti Qiqi, orang-orang teknis dari dunia perusahaan awal selalu mengolok-olok "Tuan Jizi" itu; 那些有想法却在寻找团队来实现它的人。 现在 di mataku 来,he 们即将Welcome your own spring。
OpenAI sekarang adalah banyak hal, tetapi sebelum segalanya, kami adalah perusahaan penelitian superintelligence. Kami memiliki banyak pekerjaan di depan kami, tetapi sebagian besar jalan di depan kami sekarang sudah terang, dan area gelap semakin mundur dengan cepat. Kami merasa sangat bersyukur bisa melakukan apa yang kami lakukan.
Saat ini OpenAI memiliki banyak peran, tetapi pertama-tama, kami adalah perusahaan penelitian kecerdasan super. Masih ada banyak pekerjaan yang harus dilakukan di depan kami, tetapi sebagian besar jalan di depan telah diterangi, dan area gelap cepat menghilang. Kami sangat bersyukur dapat terlibat dalam usaha ini.
Kecerdasan yang terlalu murah untuk diukur sudah dalam jangkauan. Ini mungkin terdengar gila untuk dikatakan, tetapi jika kami memberi tahu Anda pada tahun 2020 bahwa kami akan berada di tempat kami hari ini, itu mungkin terdengar lebih gila daripada prediksi kami saat ini tentang tahun 2030.
廉价到无法计量的智能已触手可。 这么说可能听起来很疯狂,但如果我们在2020年告诉你我们将达到今天的水平,那听起来可能比我们现在对2030年的预测更疯狂。
Semoga kita dapat berkembang dengan lancar, secara eksponensial, dan tanpa kejadian melalui kecerdasan super.
Semoga kita dapat melangkah dengan lancar, secara eksponensial, dan tanpa gelombang menuju era super kecerdasan.
![]()