9 червня дводенна «Пекінська конференція Чжиюань» була успішно відкрита в Національному незалежному інноваційному демонстраційному центрі Zhongguancun Conference Center.
Zhiyuan Conference — це щорічний міжнародний висококласний захід професійного обміну з питань штучного інтелекту, який проводить Науково-дослідний інститут Zhiyuan (також відомий як найпотужніший китайський Науково-дослідний інститут OpenAI у Китаї). Весняний фестиваль Гала" — як видно зі списку учасників гості:
Лауреати премії Тюрінга Джеффрі Хінтон, Янн ЛеКун (це також другий із великої трійки в глибокому навчанні, ще один Бенгіо відвідав попередню конференцію), Джозеф Сіфакіс і Яо Цічжі, Чжан Бо, Чжен Наннін, Се Сяолян, Чжан Хунцзян, Чжан Яцінь та інші вчені, Стюарт Рассел, засновник Центру систем штучного інтелекту в Університеті Каліфорнії в Берклі, Макс Тегмарк, засновник Інституту майбутнього життя в Массачусетському технологічному інституті, **Генеральний директор OpenAI Сем Альтман ** (це також його перша промова в Китаї, хоча вона онлайн), Meta, Microsoft, Google та інші великі компанії, а також DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI та інші зіркові члени команди, загалом понад 200 найкращі експерти зі штучного інтелекту...
Останні два дні я стежив за прямою трансляцією конференції, як студент гуманітарного факультету, який не розуміється на техніці, слухав з великим інтересом і багато чого отримав.
Однак після прочитання промови Джеффрі Хінтона, останнього лауреата премії Тюрінга та «батька глибокого навчання», мене охопила сильна та складна емоція:
З одного боку, спостерігаючи, як дослідники штучного інтелекту досліджують і створюють різноманітні передові технології, вони, природно, матимуть більше впевненості в реалізації штучного інтелекту та навіть майбутнього загального штучного інтелекту AGI**;
З іншого боку, слухати передових експертів і вчених, які обговорюють ризики штучного інтелекту, а також людське невігластво та презирство до того, як боротися з ризиками, і повне занепокоєння щодо майбутнього людей - це найважливіша проблема в Слова Хінтона: історія. У світі ніколи не було прецеденту, коли більш розумна річ контролювалася б менш розумною.** Якщо жаби винайдуть людей, хто, на вашу думку, візьме контроль? Це жаба, чи людина? **
Через вибух інформації під час дводенної конференції я знайшов час, щоб відсортувати матеріали деяких важливих виступів, і до речі записав деякі свої думки, щоб потім переглянути їх і поділитися з усіма, піклується про прогрес ШІ.
Пояснення: Частина, позначена нижче [приміткою], є моєю особистою думкою, а зміст підсумовано як цитата (я не можу це виписати -_-|| через свої обмежені можливості), джерелом є посилання на кінці кожної частини, а деякі з них були змінені.
Генеральний директор OpenAI Сем Альтман: AGI може з’явитися протягом десяти років
На форумі «Безпека та вирівнювання штучного інтелекту», який проходив увесь день 10 червня, співзасновник OpenAI Сем Альтман виступив із вступною промовою — також своєю першою промовою в Китаї, хоча вона була онлайн.
У розмові було розглянуто можливість інтерпретації моделі, її масштабованість і можливість узагальнення. Згодом Сем Альтман і Чжан Хунцзян, голова Науково-дослідного інституту Zhiyuan, провели саміт Q&A, головним чином обговорюючи, як поглибити міжнародну співпрацю, як проводити більш безпечні дослідження ШІ та як боротися з майбутніми ризиками ШІ в поточну епоху великомасштабні моделі ШІ.
Чудове резюме:
Причина, чому нинішня революція штучного інтелекту настільки вражаюча, полягає не лише в масштабі її впливу, але й у швидкості її прогресу. Це приносить як дивіденди, так і ризики.
Потенційні дивіденди від ШІ величезні. Але ми повинні разом керувати ризиками, щоб ми могли використовувати їх для підвищення продуктивності та рівня життя.
З появою дедалі потужніших систем штучного інтелекту* ставки на глобальну співпрацю ніколи не були вищими. В історії великі держави часто мають розбіжності в поглядах, але з деяких найважливіших питань потрібна співпраця та координація. **Покращення безпеки AGI є однією з найважливіших сфер, де нам потрібно знайти спільні інтереси. У своїй промові Альтман неодноразово наголошував на необхідності глобального вирівнювання та нагляду за безпекою штучного інтелекту, зокрема процитував речення з «Дао Де Цзин»: «Мандрівка в тисячу миль починається з одного кроку». Вирівнювання все ще залишається відкритим питанням.
**Уявіть майбутню систему AGI із, можливо, 100 000 рядків двійкового коду, наглядачі навряд чи дізнаються, чи така модель робить щось мерзенне. **
**GPT-4 знадобилося вісім місяців, щоб завершити узгодження. **Однак відповідні дослідження все ще вдосконалюються.**Воно в основному поділяється на два аспекти: масштабованість та інтерпретабельність. Одна з них — це масштабований нагляд, який намагається використовувати системи штучного інтелекту для допомоги людям у нагляді за іншими системами штучного інтелекту. По-друге, це можливість інтерпретації, спроба зрозуміти «чорний ящик» внутрішньої роботи великої моделі. Зрештою, OpenAI має на меті навчити системи ШІ допомагати в дослідженні вирівнювання.
На запитання Чжана Хунцзяна, наскільки далеко від ери загального штучного інтелекту (AGI), Сем Альтман відповів: «У наступні 10 років народяться системи суперштучного інтелекту, але важко передбачити конкретний момент часу». він також наголосив: «Швидкість, з якою нові технології повністю змінили світ, далеко перевищує уяву».
Відповідаючи на запитання, чи буде OpenAI відкривати великі моделі з відкритим кодом, **Альтман сказав, що в майбутньому буде більше відкритих вихідних кодів, але конкретної моделі та графіка немає. Крім того, він також сказав, що GPT-5 найближчим часом не буде. ** Після зустрічі Альтман опублікував повідомлення, щоб висловити свою вдячність за запрошення виступити з доповіддю на конференції Чжіюань.
Ян Лікунь, лауреат Премії Тюрінга: Ніхто не буде використовувати модель GPT через п’ять років, а світова модель — це майбутнє AGI
Ян Лікун, один із трьох гігантів глибокого навчання та лауреат премії Тюрінга, виступив із основною промовою під назвою «Назустріч машинам, які можуть навчатися, міркувати та планувати». Як завжди, він поставив під сумнів поточний Маршрут LLM пропонує іншу ідею машини, яка може навчатися, міркувати та планувати: модель світу.
Ключові моменти виступу:
**Здатності штучного інтелекту все ще далекі від можливостей людей і тварин - розрив в основному відображається в логічних міркуваннях і плануванні, а велика модель наразі може лише "інстинктивно реагувати". ****Що таке самоконтрольоване навчання? Самоконтрольоване навчання — це фіксація залежностей у вхідних даних. **
Система навчання фіксує залежність між тим, що ми бачимо, і тим, чого ми не бачили. Продуктивність поточних великих моделей вражає, якщо вони навчаються на даних одного трильйона токенів або двох трильйонів токенів.
**Нас легко обдурити його текучістю. Але врешті-решт вони роблять дурні помилки. Вони допускають фактичні помилки, логічні помилки, невідповідності, у них обмежені міркування, вони створюють шкідливий контент. **Цю велику модель необхідно перенавчати.
**Як зробити так, щоб штучний інтелект справді планував, як люди? Подивіться, як люди та тварини швидко навчаються, бачачи та відчуваючи світ. **
Ян Лікун вважає, що розробка штучного інтелекту в майбутньому стикається з трьома основними проблемами: **вивчення уявлень про світ, прогнозування моделей світу та використання самоконтролю. **
По-перше, це вивчити модель представлення та передбачення світу, Звичайно, це можна вивчити шляхом самостійного контролю.
**По-друге, навчіться міркувати. **Це відповідає концепції психолога Даніеля Канемана про Систему 1 і Систему 2. Система 1 — це поведінка або дії людини, які відповідають підсвідомим розрахункам, тим речам, які можна робити, не задумуючись; тоді як Система 2 — це завдання, для виконання яких ви свідомо й цілеспрямовано використовуєте всю свою розумову силу. В даний час штучний інтелект може в основному реалізувати лише функції в Системі 1, і це не повно;
Останнє завдання полягає в тому, як спланувати складну послідовність дій шляхом розкладання складних завдань на простіші, діючи в ієрархічній структурі.
У результаті Ян Лікун запропонував ** «Модель світу», яка складається з шести незалежних модулів, включаючи: **модуль конфігуратора, модуль сприйняття, модель світу, модуль вартості, модуль актора, модуль короткочасної пам’яті. **Він вважає, що розробка архітектури та парадигми навчання для моделі світу є справжньою перешкодою на шляху розвитку штучного інтелекту в найближчі кілька десятиліть.
ЛеКун завжди висловлював зневагу до ідеї, що ШІ знищить людей, і вважає, що сьогоднішній ШІ не такий розумний, як собака, і це занепокоєння зайве. **Коли його запитали, чи буде система штучного інтелекту становити ризик для існування людей, Лекун відповів: «У нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною? **
** «Запитайте людей сьогодні, чи можемо ми гарантувати, що надрозумна система безпечна для людей, це питання без відповіді. Тому що у нас немає дизайну для надрозумної системи. Тому, поки у вас не буде базової конструкції, ви не зможете Make a thing safe.**Це як якщо б ви запитали аерокосмічного інженера в 1930 році, чи можете ви зробити турбореактивний двигун безпечним і надійним? І інженер відповів би: «Що таке турбореактивний двигун?» «Тому що турбореактивний двигун не був винайдений у 1930 році. Отже, ми перебуваємо в тій самій ситуації. Трохи передчасно стверджувати, що ми не можемо зробити ці системи безпечними, тому що ми їх не винайшли. винайшов їх... можливо, вони будуть схожі на план, який я придумав, тоді це варто обговорити».
Професор Макс Тегмарк, Центр штучного інтелекту та базових досліджень взаємодії Массачусетського технологічного інституту: керування штучним інтелектом за допомогою механічних пояснень
Макс Тегмарк, який зараз є штатним професором фізики в Массачусетському технологічному інституті, науковим директором Інституту фундаментальних питань, засновником Інституту майбутнього життя та відомим «ініціатором ініціативи щодо призупинення досліджень ШІ» ( ініціатива наприкінці березня: Ілон Маск, лауреат премії Тюрінга Йошуа Бенгіо, співзасновник Apple Стів Возняк та інші 1000+ знаменитостей) виступили з чудовою промовою на конференції Zhiyuan на тему «Як контролювати ШІ» (тримати ШІ під контролем), і мав діалог із Чжан Яцінем, академіком Університету Цінхуа, щоб обговорити питання етичної безпеки ШІ та запобігання ризикам.
У промові детально обговорювалася механічна пояснюваність штучного інтелекту, яка фактично є дослідженням того, як людські знання зберігаються в цих складних зв’язках у нейронних мережах. Якщо дослідження в цьому напрямку продовжуватимуться, воно, нарешті, зможе справді пояснити головне питання про те, чому модель великої мови LLM виробляє інтелект.
На додаток до виступу, цікавим фактом є те, що, як ініціатор «Pause AI Research Initiative», основна доповідь зосереджена на тому, як провести більш поглиблене дослідження великомасштабної моделі AI. Можливо, як сам Макс сказав наприкінці, він не та приречена людина, як сказав професор Ян Лікунь, один із гігантів штучного інтелекту, він насправді сповнений надії та прагне ШІ, але ми можемо гарантувати, що всі ці потужніші інтелект служить нам і використовує його Це приходить, щоб створити більш надихаюче майбутнє, ніж письменники наукової фантастики мріяли в минулому. **
Примітка: я думав, що буде дуже нудно, але неочікувано вийшло дуже захоплююче, і я годину із задоволенням дивився найдовший виступ! **Як і очікується від професора, який часто читає лекції, він дуже захоплюючий, теоретично глибокий і легкий для розуміння. Що ще дивніше, це те, що він не тільки не є стійким супротивником ШІ, але він насправді є прихильником кращого ШІ! **Я також можу розмовляти китайською, і я не забуваю залучати себе під час виступу...
Уривки з чудових ідей:
Механічна інтерпретація є дуже цікавою сферою. Ви навчаєте складну нейронну мережу, яку ви не розумієте, виконувати інтелектуальні завдання, а потім намагаєтеся зрозуміти, як вона це робить.
Як нам це зробити? Ви можете мати три різні рівні амбіцій. **Найнижчий рівень амбіцій – це просто діагностувати його довіру, наскільки ви повинні йому довіряти. **Наприклад, коли ви керуєте автомобілем, навіть якщо ви не розумієте, як працюють ваші гальма, ви принаймні хочете знати, чи можете ви довіряти йому сповільнення.
**Наступний рівень амбіцій полягає в тому, щоб краще зрозуміти це, щоб воно було більш надійним. **Остання мета дуже амбітна, і я очікую, що ми зможемо отримати всі знання, які вони отримають із систем машинного навчання, і повторно впровадити їх в інших системах, щоб продемонструвати, що вони будуть робити те, що ми хочемо. **
Давайте сповільнимо, давайте переконаємося, що ми розробимо кращі огорожі. Тож у листі говорилося, що давайте на мить зупинимось, про що згадувалося раніше. Я хочу бути ясним, тут не сказано, що ми повинні призупинити ШІ, це не сказано, що ми повинні призупинити майже все. На цій зустрічі ми вже чули, що нам слід продовжувати майже всі чудові дослідження, які ви робите. **Це просто говорить, що ми повинні призупинити розробку систем, потужніших за GPT-4. **Тож для деяких західних компаній це переважно пауза.
Тепер причина в тому, що це саме ті системи, які можуть вивести нас з-під контролю над найшвидшими, надпотужними системами, які ми недостатньо розуміємо. Мета паузи — зробити штучний інтелект більш схожим на біотехнологію, у сфері біотехнологій ви не можете просто сказати, що ви компанія, привіт, у мене є новий препарат, я його відкрив, і завтра він почне продаватися у великих супермаркетах Пекіна. Спочатку ви повинні переконати експертів в уряді Китаю чи уряді США, що це безпечний препарат, що його переваги переважають його недоліки, що існує процес перевірки, і тоді ви зможете це зробити.
Давайте не робити цієї помилки, давайте станемо більше схожими на біотехнологію, використовуючи наші найпотужніші системи, на відміну від Фукусіми та Чорнобиля.
**3、**Чжан Якінь: Ну, Макс, твоя кар’єра пов’язана з математикою, фізикою, неврологією і, звичайно, штучним інтелектом. Очевидно, що в майбутньому ми будемо все більше покладатися на міждисциплінарні компетенції та знання. У нас багато аспірантів, багато майбутньої молоді.
Що ви порадите молодим людям щодо вибору професії?
Макс Тегмарк: По-перше, моя порада — зосередитися на основах в епоху ШІ. Тому що економіка і ринок праці змінюються все швидше і швидше. Отже, ми відходимо від цієї моделі навчання протягом 12 або 20 років, а потім робимо те саме до кінця нашого життя. Так не буде.
Більше того, **Ви маєте міцну основу та дуже добре творчо, відкрито мислите. Тільки так ми можемо бути гнучкими та слідувати тенденціям. **
Звичайно, слідкуйте за тим, що відбувається в області штучного інтелекту в цілому, а не тільки у вашій власній сфері**. Тому що на ринку праці перше, що відбувається, це не заміна людей машинами. Але **людей, які не працюють зі ШІ, замінять люди, які працюють. **
Чи можу я додати ще трохи? Я бачу, як час там мерехтить.
Я просто хочу сказати щось оптимістичне. Я думаю, що Янн ЛеКун висміює мене. Він назвав мене приреченим. Але якщо ви подивіться на мене, я насправді дуже щасливий і веселий. **Насправді я більш оптимістично налаштований, ніж Янн ЛеКун, щодо нашої здатності розуміти майбутні системи ШІ. **Я думаю, що це дуже, дуже перспективно.
Я думаю, що якщо ми підемо на повну швидкість і передамо більше контролю від людей машинам, яких ми не розуміємо, це закінчиться дуже погано. Але ми не повинні цього робити. Я думаю, що якщо ми наполегливо попрацюємо над механістичною пояснюваністю та над багатьма іншими технічними темами, які сьогодні тут будуть почуті, ми зможемо переконатися, що весь цей більший інтелект буде до наших послуг, і використаємо його для створення світу більш надихаючого майбутнє.
Розмова із засновником Midjourney: зображення — це лише перший крок, ШІ зробить революцію в навчанні, творчості та організації
MidJourney наразі є найпопулярнішим движком для генерації зображень. В умовах жорсткої конкуренції DALL·E 2 від OpenAI та моделі з відкритим кодом Stable Diffusion він усе ще зберігає абсолютне лідерство в різноманітних ефектах генерації стилів.
Midjourney — дивовижна компанія, 11 людей змінюють світ і створюють чудовий продукт, якому судилося стати історією ранніх років Pre AGI.
Примітка. Довгоочікуваний діалог між засновником і генеральним директором Midjourney Девідом Хольцом і Geek Park Zhang Peng, все англійською мовою, без субтитрів, я не очікував, що зрозумію це повністю, і мені це дуже цікаво, тому що запитання та відповіді є так чудово, особливо Девід, я не міг стримати сміху, коли відповів. Він сміявся, як невинна дитина. Маючи досвід керування великими командами, він сказав: «Я ніколи не хотів мати компанію, я хотів мати дім». Він взяв це до тих пір, поки. Зараз Midjourney, який налічує лише 20 людей, став єдинорогом, який привертає увагу всього світу, що може змінити парадигму майбутніх стартапів.
Підприємницька ініціатива: розкриття людської уяви
**Чжан Пен:**За останні 20 років я познайомився з багатьма підприємцями вдома та за кордоном. Я виявив, що у них є щось спільне. Усі вони мають сильне бажання досліджувати та створювати «з нічого».
Мені було цікаво, коли ви починали MidJourney, що було вашою рушійною силою? Чого ти прагнеш у цей момент?
**Девід Хольц: Я ніколи не думав про створення компанії. Я просто хочу "дім". **
Я сподіваюся, що в наступні 10 або 20 років, тут, у Midjourney, я зможу створювати речі, які мене справді хвилюють і які я дійсно хочу представити цьому світу.
Я часто думаю про різні проблеми. Можливо, я не можу розв’язати кожну проблему, але я можу** спробувати зробити так, щоб кожен був більш здатний вирішувати проблеми. **
Тому я намагаюся думати про те, як це вирішити, як щось створити. На мою думку, це можна звести до трьох пунктів. **По-перше, ми повинні замислитися над собою: чого ми хочемо? У чому саме проблема? ****Тоді ми повинні уявити: куди ми прямуємо? Які є можливості? ****Зрештою, ми повинні координувати роботу один з одним і співпрацювати з іншими, щоб досягти того, що ми собі уявляємо. **
Я думаю, що в штучному інтелекті є величезна можливість об’єднати ці три частини та створити значну інфраструктуру, яка допоможе нам краще вирішувати цю проблему. У певному сенсі **штучний інтелект має допомогти нам замислитися над собою, краще уявити собі наші майбутні напрямки, допомогти нам краще знаходити один одного та співпрацювати. Ми можемо робити ці речі разом і об’єднати їх у якусь єдину структуру. Я думаю, що це змінить те, як ми створюємо речі та вирішуємо проблеми. Це велика справа, яку я хочу зробити. **
Мені здається, що іноді (ми це зробили спочатку) генерація зображень може заплутати, але багато в чому створення зображень є усталеною концепцією. **Midjourney стала надзвичайно творчою колекцією мільйонів людей, які досліджують можливості цього простору. **
**У найближчі роки буде більше можливостей для візуальних і художніх досліджень, ніж усі попередні історичні дослідження разом узяті. **
Це не вирішує всіх проблем, з якими ми стикаємося, але я думаю, що це тест, експеримент. Якщо ми зможемо завершити це дослідження поля зору, то ми зможемо зробити це і в інших речах.Я думаю, що всі інші речі, які вимагають від нас дослідження та спільного мислення, можна вирішити подібним чином.
Тож коли я думав про те, як почати вирішувати цю проблему, у нас було багато ідей, ми побудували багато прототипів, але раптом стався прорив у сфері штучного інтелекту, особливо в баченні, і ми зрозуміли, що це унікальний можливість мати можливість створити те, чого ніхто раніше не пробував. Це змусило нас спробувати.
Ми думаємо, що невдовзі все об’єднається у щось особливе. Це лише початок.
Чжан Пен: Отже, зображення (генерація) — це лише перший крок, і ваша кінцева мета — звільнити людську уяву. Це те, що привернуло вас до Midjourney?
Девід Хольц: Мені дуже подобаються фантазії. Я також сподіваюся, що у світі може бути більше творчості. Так весело бачити божевільні ідеї щодня.
Перерозуміння знань: історичні знання стають силою творення
Чжан Пен: Це дуже цікаво. Ми зазвичай говоримо порожні слова, покажи мені свій код (ідея дешева, покажи мені код). Але наразі ідеї, здається, єдине, що має значення. Поки ви можете висловити свої ідеї за допомогою серії чудових слів, ШІ може допомогти вам їх реалізувати. Отже, чи змінюються визначення навчання та творчості? Що ти думаєш?
**Девід Хольц: **Я думаю, що одна з цікавих речей полягає в тому, що коли ви даєте людям більше часу на творчість, вони також більше зацікавлені в самому навчанні. **
Наприклад, у Сполучених Штатах є дуже популярний стиль мистецтва під назвою Ар-деко. Мене ніколи не хвилювало, що таке мистецтво, доки одного разу, коли я міг створювати роботи в цьому стилі мистецтва за допомогою інструкцій, я раптом не зацікавився цим і захотів більше дізнатися про його історію.
Я вважаю цікавим те, що ми більше зацікавлені в історії, коли це те, що ви можете використати негайно та полегшити вам створення. **Якщо інтерфейс користувача стає достатньо хорошим, користувачі відчувають, що ШІ став продовженням нашого мислення. ШІ — це як частина нашого тіла та розуму, і ШІ певною мірою тісно пов’язаний з історією, і ми також будемо тісно пов’язані з історією. Це так цікаво.
Коли ми запитуємо наших користувачів, чого вони хочуть найбільше, відповідь номер один і друга полягає в тому, що вони хочуть навчальні матеріали, не лише як використовувати інструменти, але й мистецтво, історію, об’єктиви камер, блиск, хочуть зрозуміти та оволодіти всіма знаннями та поняттями доступні для створення.
**Раніше знання були лише минулою історією, але тепер знання — це сила творити. **
**Знання можуть відразу відіграти більшу роль, і люди прагнуть отримати більше знань. **Це так круто.
Брайан Крістіан: випущена китайська версія нової книги «Людина-машина Alignment»
Була випущена китайська версія «Людина-машина Alignment». Автор Браян Крістіан коротко представив основний зміст усієї книги за 10 хвилин. Це звучить дуже насичено та захоплююче, а також це відлуння поточного стрімкого розвитку ШІ.
Брайан Крістіан — науковий автор, лауреат нагород. Його книга «Краса алгоритмів» була названа найкращою науковою книгою року за версією Amazon і найкращою книгою року за версією MIT Technology Review. Його нову книгу «Проблема вирівнювання: машинне навчання та людські цінності», яка зараз перекладається китайською, генеральний директор Microsoft Сатья Наделла назвав п’ятіркою найкращих книг, які надихнули його в 2021 році**.
Книга «Людина-машина Alignment» розділена на 3 частини.
У першій частині досліджуються питання етики та безпеки, які сьогодні впливають на системи машинного навчання.
Друга частина називається агентами, яка зміщує фокус з навчання під наглядом і самоконтролю на навчання з підкріпленням.
Частина III базується на нагляді, самонагляді та навчанні з підкріпленням, щоб обговорити, як ми можемо вирівняти складні системи ШІ в реальному світі.
Ян Яодун, доцент Інституту штучного інтелекту Пекінського університету: Огляд прогресу безпечного узгодження великих мовних моделей
Примітка. Доповідь Ян Яодуна, доцента Інституту штучного інтелекту Пекінського університету «Вирівнювання безпеки великих мовних моделей», була дуже захоплюючою. По-перше, він міг зрозуміти промову китайською. По-друге, він пояснив поточну безпека великих мовних моделей дуже легкою для розуміння мовою Основний прогрес у дослідженні узгодження, окреслює ключові моменти та перевищує багато змісту про прогрес RLHF у глибину.
Оскільки я не знаю детальної технології, я можу лише приблизно зрозуміти принцип і записати деякі цікаві моменти:
Три методи вирівнювання, запропоновані OpenAI:
Навчіть штучний інтелект за допомогою зворотного зв’язку людини
Ринок вирівнювання великих моделей ШІ все ще залишається блакитним океаном:
** Існуючі великі моделі, за винятком GPT, майже не змогли досягти узгодження в будь-якому сенсі**
Технологія перетворення від загального призначення до спеціального для великомасштабних моделей стане наступною командною висотою в розробці великомасштабних моделей
3 безпечних способи вирівнювання:
На етапі попереднього навчання, шляхом ручного скринінгу та очищення даних, щоб отримати дані вищої якості
Використовуйте модель винагороди за відхилену вибірку на вихідному етапі, щоб покращити якість і безпеку виведення. Або в активному продукті ** відмовляється відповідати на введення користувача. **
На етапі тонкого налаштування (SFT і BLHF) Додайте більш різноманітні та нешкідливі інструкції для користувача, щоб узгодити їх з моделями переваг людини, включаючи RBRM, Constitution Al.
Від RLHF до RLAIF: конституційний AI
Лауреат премії Тьюринга Джеффрі Хінтон: Суперінтелект буде набагато швидшим, ніж очікувалося, і я дуже хвилююся, що він буде контролювати людей
Заключна промова лауреата премії Тюрінга, «батька глибокого навчання» Джеффрі Гінтона, тема «Два шляхи до інтелекту».
Хрещений батько ШІ представляє нам дослідження, яке переконало його, що суперінтелект буде набагато швидшим, ніж очікувалося: Mortal Computation. У промові було описано нову обчислювальну структуру після відмови від принципу поділу програмного та апаратного забезпечення, тобто як реалізувати інтелектуальні обчислення без використання зворотного поширення для опису внутрішнього шляху нейронної мережі.
Основні моменти виступу:
Хінтон пропонує нову можливість для штучного інтелекту: обчислення смертних. Смертельне обчислення робить програмне та апаратне забезпечення більше не розділеними та використовує фізичне обладнання для більш точного виконання паралельних обчислень. Це може призвести до меншого споживання енергії та простішого обладнання для виготовлення, але його складніше навчити та масштабувати до великомасштабних моделей.
Для інтелектуальних груп існує два способи обміну знаннями: біологічні та цифрові обчислення. Біологічний обмін має низьку пропускну здатність і дуже повільний, тоді як цифрове копіювання має високу пропускну здатність і дуже швидке. Люди є біологічними, тоді як штучний інтелект є цифровим, тому щойно штучний інтелект засвоїть більше знань за допомогою мультимодальності, швидкість їхнього обміну стане дуже високою та незабаром перевершить людську.
Коли штучний інтелект стане розумнішим за людей, він, ймовірно, створить величезний ризик. Включно з експлуатацією та обманом людей у спробі отримати владу. І, ймовірно, він недружній до людини.
Причина, чому Хінтон назвав абсолютно нову обчислювальну модель Mortal computing, має глибоке значення:
Хінтон раніше сказав, що безсмертя дійсно досягнуто. Оскільки поточна модель великої мови штучного інтелекту навчила людські знання трильйонами параметрів, і вона не залежить від апаратного забезпечення: доки відтворюється апаратне забезпечення, сумісне з інструкціями, той самий код і вага моделі можна буде безпосередньо запускати в майбутньому. У цьому сенсі людський інтелект (а не люди) увічнений.
Однак це окреме обчислення апаратного та програмного забезпечення є вкрай неефективним з точки зору енергоефективності та масштабу впровадження. Якщо ми відмовимося від принципу комп’ютерного дизайну, який передбачає розділення апаратного та програмного забезпечення, і реалізуємо інтелект в єдиній чорній скриньці, це буде новий спосіб реалізації інтелекту.
Цей вид обчислювальної конструкції, який більше не розділяє програмне та апаратне забезпечення, значно зменшить споживання енергії та масштаб обчислення (вважайте, що енергоспоживання людського мозку становить лише 20 Вт)
Але в той же час це означає, що вага не може бути ефективно скопійована, щоб скопіювати мудрість, тобто відмовляється від вічного життя.
Чи є штучні нейронні мережі розумнішими за справжні нейронні мережі?
Що, якби велика нейронна мережа, що працює на кількох цифрових комп’ютерах, могла б отримувати знання безпосередньо зі світу, на додаток до імітації людської мови для людських знань?
Очевидно, він стане набагато кращим за людей, оскільки спостерігав більше даних.
Якщо ця нейронна мережа може безконтрольно моделювати зображення чи відео, а її копії також можуть маніпулювати фізичним світом – це не фантазія.
Примітка: саме тоді, коли всі думали, що промова Синцзяна закінчилася, на передостанній сторінці Хінтон — тоном, який відрізнявся від усіх попередніх вчених, дещо емоційно та змішаними почуттями — висловив свої думки щодо поточних проблем швидкого розвитку ШІ, які є також цікавий голос світу після того, як він нещодавно рішуче покинув Google і «жалкує про роботу свого життя та турбується про небезпеку штучного інтелекту»:
Я думаю, що реалізація цього суперінтелекту може бути набагато швидше, ніж я раніше думав.
Погані хлопці захочуть використати їх, щоб маніпулювати виборцями. Вони вже використовують їх для цього в США та багатьох інших місцях. І це буде використано для перемоги у війнах.
Щоб зробити цифровий інтелект ефективнішим, нам потрібно дозволити йому встановити певні цілі. Однак тут є очевидна проблема. Існує дуже очевидна проміжна ціль, яка дуже корисна майже для всього, чого ви хочете досягти, а саме отримати більше влади, більше контролю**. Більший контроль полегшує досягнення ваших цілей. І мені важко уявити, як ми можемо перешкодити цифровому інтелекту прагнути отримати більше контролю для досягнення інших цілей.
**Щойно цифровий інтелект почне прагнути до більшого контролю, ми можемо зіткнутися з більшими проблемами. **
**На відміну від цього, люди рідко думають про види, які розумніші за них самих, і про те, як взаємодіяти з цими видами. За моїм спостереженням, цей тип штучного інтелекту вправно опанував дії з обману людей, оскільки він може використовувати Читайте романи, щоб навчитися обманювати інших, і коли штучний інтелект матиме здатність «обманювати», він також матиме вищезгадану здатність легко контролювати людей. **Так званий контроль, наприклад, якщо ви хочете зламати будівлю у Вашингтоні, вам не потрібно йти туди особисто, вам просто потрібно змусити людей подумати, що, зламавши будівлю, вони можуть врятувати демократію і зрештою досягнете своєї мети (сарказм Трампа).
У цей час Герфері Хінтон, якому було понад шістдесят років і який присвятив своє життя штучному інтелекту, сказав:
«Я почуваюся жахливо, я не знаю, як цьому запобігти, але я старий, і я сподіваюся, що багато молодих і талановитих дослідників, як ви, зрозуміють, як у нас є ці суперінтелектуальні здібності, які роблять наше життя кращим і припинити такий контроль через обман... можливо, ми можемо дати їм моральні принципи, але на даний момент я все ще нервую, **тому що поки що я не можу цього придумати - достатньо в розриві інтелекту. - приклад того, як чимось більш розумним керує щось менш розумне.****Якби жаби винайшли людей, як ви думаєте, хто б узяв контроль? Жаби чи люди?**Це також «Піднесіть мій останній PPT, кінець».
Коли я слухав це, мені здавалося, що я слухаю "хлопчика, який одного разу вбив дракона, коли він досяг повних літ і озирнувся на своє життя, він зробив пророцтво про кінець світу". Я глибоко усвідомлюю, що величезний ризик ШІ для людей, і я безмежно збентежений.
Порівняно з Хінтоном Лекун, один із молодших гігантів глибокого навчання, очевидно, більш оптимістичний:
Коли його запитали, чи буде система штучного інтелекту становити ризик для існування людей, ЛеКун відповів: **У нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною? **
Це змушує людей думати про різне ставлення земних людей до цивілізації трьох тіл у «Проблемі трьох тіл»...
Того дня я все ще збирався вимкнути комп’ютер у настрої нескінченного жалю.Неочікувано Хуан Тіцзюнь, директор дослідницького інституту Чжиюань, виголосив ідеальну заключну промову: «Не можу закрити».
Хуан Тецзюнь спочатку резюмував погляди попередніх промов:
ШІ стає все сильнішим і сильнішим, а ризики очевидні та зростають з кожним днем;
Як побудувати безпечний ШІ, ми знаємо дуже мало;
Може вивчити історичний досвід: управління наркотиками, контроль ядерної зброї, квантові обчислення...
Але високоскладні системи штучного інтелекту важко передбачити: тестування ризиків, пояснення механізмів, узагальнення розуміння... це лише початок
Нова ціль виклику: ШІ служить власним цілям чи людським цілям?
По суті, чи хочуть люди створити загальний штучний інтелект ДАІ чи штучний загальний інтелект AGI?
Академічний консенсус полягає в тому, що штучний загальний інтелект AGI: штучний інтелект, який досяг людського рівня в усіх аспектах людського інтелекту та може адаптивно реагувати на виклики зовнішнього середовища та виконувати всі завдання, які може виконати людина; його також можна назвати автономним штучним інтелектом, надлюдським. інтелект і сильний інтелект. штучний інтелект.
З одного боку, всі в захваті від створення загального штучного інтелекту та поспішають інвестувати.
З іншого боку, я насміхаюся з того, що штучний інтелект перетворює людей на громадян другого сорту, але це бінарне протиставлення — не найскладніше. Головне — це голосування. Найважче — що нам робити перед обличчям штучний інтелект, наприклад Near AGI, наприклад ChatGPT? **
Якщо люди реагуватимуть на ризики з таким же ентузіазмом, як і на інвестування в створення штучного інтелекту, все ще можливо створити безпечний штучний інтелект,** але чи вірите ви, що люди зможуть це зробити? Я не знаю, дякую! **
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Після конференції Zhiyuan 2023: я більше впевнений у штучному інтелекті та більше хвилююся за людей
9 червня дводенна «Пекінська конференція Чжиюань» була успішно відкрита в Національному незалежному інноваційному демонстраційному центрі Zhongguancun Conference Center.
Zhiyuan Conference — це щорічний міжнародний висококласний захід професійного обміну з питань штучного інтелекту, який проводить Науково-дослідний інститут Zhiyuan (також відомий як найпотужніший китайський Науково-дослідний інститут OpenAI у Китаї). Весняний фестиваль Гала" — як видно зі списку учасників гості:
Лауреати премії Тюрінга Джеффрі Хінтон, Янн ЛеКун (це також другий із великої трійки в глибокому навчанні, ще один Бенгіо відвідав попередню конференцію), Джозеф Сіфакіс і Яо Цічжі, Чжан Бо, Чжен Наннін, Се Сяолян, Чжан Хунцзян, Чжан Яцінь та інші вчені, Стюарт Рассел, засновник Центру систем штучного інтелекту в Університеті Каліфорнії в Берклі, Макс Тегмарк, засновник Інституту майбутнього життя в Массачусетському технологічному інституті, **Генеральний директор OpenAI Сем Альтман ** (це також його перша промова в Китаї, хоча вона онлайн), Meta, Microsoft, Google та інші великі компанії, а також DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI та інші зіркові члени команди, загалом понад 200 найкращі експерти зі штучного інтелекту...
Останні два дні я стежив за прямою трансляцією конференції, як студент гуманітарного факультету, який не розуміється на техніці, слухав з великим інтересом і багато чого отримав.
Однак після прочитання промови Джеффрі Хінтона, останнього лауреата премії Тюрінга та «батька глибокого навчання», мене охопила сильна та складна емоція:
З одного боку, спостерігаючи, як дослідники штучного інтелекту досліджують і створюють різноманітні передові технології, вони, природно, матимуть більше впевненості в реалізації штучного інтелекту та навіть майбутнього загального штучного інтелекту AGI**;
З іншого боку, слухати передових експертів і вчених, які обговорюють ризики штучного інтелекту, а також людське невігластво та презирство до того, як боротися з ризиками, і повне занепокоєння щодо майбутнього людей - це найважливіша проблема в Слова Хінтона: історія. У світі ніколи не було прецеденту, коли більш розумна річ контролювалася б менш розумною.** Якщо жаби винайдуть людей, хто, на вашу думку, візьме контроль? Це жаба, чи людина? **
Через вибух інформації під час дводенної конференції я знайшов час, щоб відсортувати матеріали деяких важливих виступів, і до речі записав деякі свої думки, щоб потім переглянути їх і поділитися з усіма, піклується про прогрес ШІ.
Пояснення: Частина, позначена нижче [приміткою], є моєю особистою думкою, а зміст підсумовано як цитата (я не можу це виписати -_-|| через свої обмежені можливості), джерелом є посилання на кінці кожної частини, а деякі з них були змінені.
Генеральний директор OpenAI Сем Альтман: AGI може з’явитися протягом десяти років
На форумі «Безпека та вирівнювання штучного інтелекту», який проходив увесь день 10 червня, співзасновник OpenAI Сем Альтман виступив із вступною промовою — також своєю першою промовою в Китаї, хоча вона була онлайн.
У розмові було розглянуто можливість інтерпретації моделі, її масштабованість і можливість узагальнення. Згодом Сем Альтман і Чжан Хунцзян, голова Науково-дослідного інституту Zhiyuan, провели саміт Q&A, головним чином обговорюючи, як поглибити міжнародну співпрацю, як проводити більш безпечні дослідження ШІ та як боротися з майбутніми ризиками ШІ в поточну епоху великомасштабні моделі ШІ.
Чудове резюме:
На запитання Чжана Хунцзяна, наскільки далеко від ери загального штучного інтелекту (AGI), Сем Альтман відповів: «У наступні 10 років народяться системи суперштучного інтелекту, але важко передбачити конкретний момент часу». він також наголосив: «Швидкість, з якою нові технології повністю змінили світ, далеко перевищує уяву».
Відповідаючи на запитання, чи буде OpenAI відкривати великі моделі з відкритим кодом, **Альтман сказав, що в майбутньому буде більше відкритих вихідних кодів, але конкретної моделі та графіка немає. Крім того, він також сказав, що GPT-5 найближчим часом не буде. ** Після зустрічі Альтман опублікував повідомлення, щоб висловити свою вдячність за запрошення виступити з доповіддю на конференції Чжіюань.
Ян Лікунь, лауреат Премії Тюрінга: Ніхто не буде використовувати модель GPT через п’ять років, а світова модель — це майбутнє AGI
Ян Лікун, один із трьох гігантів глибокого навчання та лауреат премії Тюрінга, виступив із основною промовою під назвою «Назустріч машинам, які можуть навчатися, міркувати та планувати». Як завжди, він поставив під сумнів поточний Маршрут LLM пропонує іншу ідею машини, яка може навчатися, міркувати та планувати: модель світу.
Ключові моменти виступу:
**По-друге, навчіться міркувати. **Це відповідає концепції психолога Даніеля Канемана про Систему 1 і Систему 2. Система 1 — це поведінка або дії людини, які відповідають підсвідомим розрахункам, тим речам, які можна робити, не задумуючись; тоді як Система 2 — це завдання, для виконання яких ви свідомо й цілеспрямовано використовуєте всю свою розумову силу. В даний час штучний інтелект може в основному реалізувати лише функції в Системі 1, і це не повно;
Останнє завдання полягає в тому, як спланувати складну послідовність дій шляхом розкладання складних завдань на простіші, діючи в ієрархічній структурі.
ЛеКун завжди висловлював зневагу до ідеї, що ШІ знищить людей, і вважає, що сьогоднішній ШІ не такий розумний, як собака, і це занепокоєння зайве. **Коли його запитали, чи буде система штучного інтелекту становити ризик для існування людей, Лекун відповів: «У нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною? **
** «Запитайте людей сьогодні, чи можемо ми гарантувати, що надрозумна система безпечна для людей, це питання без відповіді. Тому що у нас немає дизайну для надрозумної системи. Тому, поки у вас не буде базової конструкції, ви не зможете Make a thing safe.**Це як якщо б ви запитали аерокосмічного інженера в 1930 році, чи можете ви зробити турбореактивний двигун безпечним і надійним? І інженер відповів би: «Що таке турбореактивний двигун?» «Тому що турбореактивний двигун не був винайдений у 1930 році. Отже, ми перебуваємо в тій самій ситуації. Трохи передчасно стверджувати, що ми не можемо зробити ці системи безпечними, тому що ми їх не винайшли. винайшов їх... можливо, вони будуть схожі на план, який я придумав, тоді це варто обговорити».
Професор Макс Тегмарк, Центр штучного інтелекту та базових досліджень взаємодії Массачусетського технологічного інституту: керування штучним інтелектом за допомогою механічних пояснень
Макс Тегмарк, який зараз є штатним професором фізики в Массачусетському технологічному інституті, науковим директором Інституту фундаментальних питань, засновником Інституту майбутнього життя та відомим «ініціатором ініціативи щодо призупинення досліджень ШІ» ( ініціатива наприкінці березня: Ілон Маск, лауреат премії Тюрінга Йошуа Бенгіо, співзасновник Apple Стів Возняк та інші 1000+ знаменитостей) виступили з чудовою промовою на конференції Zhiyuan на тему «Як контролювати ШІ» (тримати ШІ під контролем), і мав діалог із Чжан Яцінем, академіком Університету Цінхуа, щоб обговорити питання етичної безпеки ШІ та запобігання ризикам.
У промові детально обговорювалася механічна пояснюваність штучного інтелекту, яка фактично є дослідженням того, як людські знання зберігаються в цих складних зв’язках у нейронних мережах. Якщо дослідження в цьому напрямку продовжуватимуться, воно, нарешті, зможе справді пояснити головне питання про те, чому модель великої мови LLM виробляє інтелект.
На додаток до виступу, цікавим фактом є те, що, як ініціатор «Pause AI Research Initiative», основна доповідь зосереджена на тому, як провести більш поглиблене дослідження великомасштабної моделі AI. Можливо, як сам Макс сказав наприкінці, він не та приречена людина, як сказав професор Ян Лікунь, один із гігантів штучного інтелекту, він насправді сповнений надії та прагне ШІ, але ми можемо гарантувати, що всі ці потужніші інтелект служить нам і використовує його Це приходить, щоб створити більш надихаюче майбутнє, ніж письменники наукової фантастики мріяли в минулому. **
Примітка: я думав, що буде дуже нудно, але неочікувано вийшло дуже захоплююче, і я годину із задоволенням дивився найдовший виступ! **Як і очікується від професора, який часто читає лекції, він дуже захоплюючий, теоретично глибокий і легкий для розуміння. Що ще дивніше, це те, що він не тільки не є стійким супротивником ШІ, але він насправді є прихильником кращого ШІ! **Я також можу розмовляти китайською, і я не забуваю залучати себе під час виступу...
Уривки з чудових ідей:
Як нам це зробити? Ви можете мати три різні рівні амбіцій. **Найнижчий рівень амбіцій – це просто діагностувати його довіру, наскільки ви повинні йому довіряти. **Наприклад, коли ви керуєте автомобілем, навіть якщо ви не розумієте, як працюють ваші гальма, ви принаймні хочете знати, чи можете ви довіряти йому сповільнення.
**Наступний рівень амбіцій полягає в тому, щоб краще зрозуміти це, щоб воно було більш надійним. **Остання мета дуже амбітна, і я очікую, що ми зможемо отримати всі знання, які вони отримають із систем машинного навчання, і повторно впровадити їх в інших системах, щоб продемонструвати, що вони будуть робити те, що ми хочемо. **
Тепер причина в тому, що це саме ті системи, які можуть вивести нас з-під контролю над найшвидшими, надпотужними системами, які ми недостатньо розуміємо. Мета паузи — зробити штучний інтелект більш схожим на біотехнологію, у сфері біотехнологій ви не можете просто сказати, що ви компанія, привіт, у мене є новий препарат, я його відкрив, і завтра він почне продаватися у великих супермаркетах Пекіна. Спочатку ви повинні переконати експертів в уряді Китаю чи уряді США, що це безпечний препарат, що його переваги переважають його недоліки, що існує процес перевірки, і тоді ви зможете це зробити.
Давайте не робити цієї помилки, давайте станемо більше схожими на біотехнологію, використовуючи наші найпотужніші системи, на відміну від Фукусіми та Чорнобиля.
**3、**Чжан Якінь: Ну, Макс, твоя кар’єра пов’язана з математикою, фізикою, неврологією і, звичайно, штучним інтелектом. Очевидно, що в майбутньому ми будемо все більше покладатися на міждисциплінарні компетенції та знання. У нас багато аспірантів, багато майбутньої молоді.
Що ви порадите молодим людям щодо вибору професії?
Макс Тегмарк: По-перше, моя порада — зосередитися на основах в епоху ШІ. Тому що економіка і ринок праці змінюються все швидше і швидше. Отже, ми відходимо від цієї моделі навчання протягом 12 або 20 років, а потім робимо те саме до кінця нашого життя. Так не буде.
Більше того, **Ви маєте міцну основу та дуже добре творчо, відкрито мислите. Тільки так ми можемо бути гнучкими та слідувати тенденціям. **
Звичайно, слідкуйте за тим, що відбувається в області штучного інтелекту в цілому, а не тільки у вашій власній сфері**. Тому що на ринку праці перше, що відбувається, це не заміна людей машинами. Але **людей, які не працюють зі ШІ, замінять люди, які працюють. **
Чи можу я додати ще трохи? Я бачу, як час там мерехтить.
Я просто хочу сказати щось оптимістичне. Я думаю, що Янн ЛеКун висміює мене. Він назвав мене приреченим. Але якщо ви подивіться на мене, я насправді дуже щасливий і веселий. **Насправді я більш оптимістично налаштований, ніж Янн ЛеКун, щодо нашої здатності розуміти майбутні системи ШІ. **Я думаю, що це дуже, дуже перспективно.
Я думаю, що якщо ми підемо на повну швидкість і передамо більше контролю від людей машинам, яких ми не розуміємо, це закінчиться дуже погано. Але ми не повинні цього робити. Я думаю, що якщо ми наполегливо попрацюємо над механістичною пояснюваністю та над багатьма іншими технічними темами, які сьогодні тут будуть почуті, ми зможемо переконатися, що весь цей більший інтелект буде до наших послуг, і використаємо його для створення світу більш надихаючого майбутнє.
Розмова із засновником Midjourney: зображення — це лише перший крок, ШІ зробить революцію в навчанні, творчості та організації
MidJourney наразі є найпопулярнішим движком для генерації зображень. В умовах жорсткої конкуренції DALL·E 2 від OpenAI та моделі з відкритим кодом Stable Diffusion він усе ще зберігає абсолютне лідерство в різноманітних ефектах генерації стилів.
Midjourney — дивовижна компанія, 11 людей змінюють світ і створюють чудовий продукт, якому судилося стати історією ранніх років Pre AGI.
Примітка. Довгоочікуваний діалог між засновником і генеральним директором Midjourney Девідом Хольцом і Geek Park Zhang Peng, все англійською мовою, без субтитрів, я не очікував, що зрозумію це повністю, і мені це дуже цікаво, тому що запитання та відповіді є так чудово, особливо Девід, я не міг стримати сміху, коли відповів. Він сміявся, як невинна дитина. Маючи досвід керування великими командами, він сказав: «Я ніколи не хотів мати компанію, я хотів мати дім». Він взяв це до тих пір, поки. Зараз Midjourney, який налічує лише 20 людей, став єдинорогом, який привертає увагу всього світу, що може змінити парадигму майбутніх стартапів.
Підприємницька ініціатива: розкриття людської уяви
**Чжан Пен:**За останні 20 років я познайомився з багатьма підприємцями вдома та за кордоном. Я виявив, що у них є щось спільне. Усі вони мають сильне бажання досліджувати та створювати «з нічого».
Мені було цікаво, коли ви починали MidJourney, що було вашою рушійною силою? Чого ти прагнеш у цей момент?
**Девід Хольц: Я ніколи не думав про створення компанії. Я просто хочу "дім". **
Я сподіваюся, що в наступні 10 або 20 років, тут, у Midjourney, я зможу створювати речі, які мене справді хвилюють і які я дійсно хочу представити цьому світу.
Я часто думаю про різні проблеми. Можливо, я не можу розв’язати кожну проблему, але я можу** спробувати зробити так, щоб кожен був більш здатний вирішувати проблеми. **
Тому я намагаюся думати про те, як це вирішити, як щось створити. На мою думку, це можна звести до трьох пунктів. **По-перше, ми повинні замислитися над собою: чого ми хочемо? У чому саме проблема? ****Тоді ми повинні уявити: куди ми прямуємо? Які є можливості? ****Зрештою, ми повинні координувати роботу один з одним і співпрацювати з іншими, щоб досягти того, що ми собі уявляємо. **
Я думаю, що в штучному інтелекті є величезна можливість об’єднати ці три частини та створити значну інфраструктуру, яка допоможе нам краще вирішувати цю проблему. У певному сенсі **штучний інтелект має допомогти нам замислитися над собою, краще уявити собі наші майбутні напрямки, допомогти нам краще знаходити один одного та співпрацювати. Ми можемо робити ці речі разом і об’єднати їх у якусь єдину структуру. Я думаю, що це змінить те, як ми створюємо речі та вирішуємо проблеми. Це велика справа, яку я хочу зробити. **
Мені здається, що іноді (ми це зробили спочатку) генерація зображень може заплутати, але багато в чому створення зображень є усталеною концепцією. **Midjourney стала надзвичайно творчою колекцією мільйонів людей, які досліджують можливості цього простору. **
**У найближчі роки буде більше можливостей для візуальних і художніх досліджень, ніж усі попередні історичні дослідження разом узяті. **
Це не вирішує всіх проблем, з якими ми стикаємося, але я думаю, що це тест, експеримент. Якщо ми зможемо завершити це дослідження поля зору, то ми зможемо зробити це і в інших речах.Я думаю, що всі інші речі, які вимагають від нас дослідження та спільного мислення, можна вирішити подібним чином.
Тож коли я думав про те, як почати вирішувати цю проблему, у нас було багато ідей, ми побудували багато прототипів, але раптом стався прорив у сфері штучного інтелекту, особливо в баченні, і ми зрозуміли, що це унікальний можливість мати можливість створити те, чого ніхто раніше не пробував. Це змусило нас спробувати.
Ми думаємо, що невдовзі все об’єднається у щось особливе. Це лише початок.
Чжан Пен: Отже, зображення (генерація) — це лише перший крок, і ваша кінцева мета — звільнити людську уяву. Це те, що привернуло вас до Midjourney?
Девід Хольц: Мені дуже подобаються фантазії. Я також сподіваюся, що у світі може бути більше творчості. Так весело бачити божевільні ідеї щодня.
Перерозуміння знань: історичні знання стають силою творення
Чжан Пен: Це дуже цікаво. Ми зазвичай говоримо порожні слова, покажи мені свій код (ідея дешева, покажи мені код). Але наразі ідеї, здається, єдине, що має значення. Поки ви можете висловити свої ідеї за допомогою серії чудових слів, ШІ може допомогти вам їх реалізувати. Отже, чи змінюються визначення навчання та творчості? Що ти думаєш?
**Девід Хольц: **Я думаю, що одна з цікавих речей полягає в тому, що коли ви даєте людям більше часу на творчість, вони також більше зацікавлені в самому навчанні. **
Наприклад, у Сполучених Штатах є дуже популярний стиль мистецтва під назвою Ар-деко. Мене ніколи не хвилювало, що таке мистецтво, доки одного разу, коли я міг створювати роботи в цьому стилі мистецтва за допомогою інструкцій, я раптом не зацікавився цим і захотів більше дізнатися про його історію.
Я вважаю цікавим те, що ми більше зацікавлені в історії, коли це те, що ви можете використати негайно та полегшити вам створення. **Якщо інтерфейс користувача стає достатньо хорошим, користувачі відчувають, що ШІ став продовженням нашого мислення. ШІ — це як частина нашого тіла та розуму, і ШІ певною мірою тісно пов’язаний з історією, і ми також будемо тісно пов’язані з історією. Це так цікаво.
Коли ми запитуємо наших користувачів, чого вони хочуть найбільше, відповідь номер один і друга полягає в тому, що вони хочуть навчальні матеріали, не лише як використовувати інструменти, але й мистецтво, історію, об’єктиви камер, блиск, хочуть зрозуміти та оволодіти всіма знаннями та поняттями доступні для створення.
**Раніше знання були лише минулою історією, але тепер знання — це сила творити. **
**Знання можуть відразу відіграти більшу роль, і люди прагнуть отримати більше знань. **Це так круто.
Брайан Крістіан: випущена китайська версія нової книги «Людина-машина Alignment»
Була випущена китайська версія «Людина-машина Alignment». Автор Браян Крістіан коротко представив основний зміст усієї книги за 10 хвилин. Це звучить дуже насичено та захоплююче, а також це відлуння поточного стрімкого розвитку ШІ.
Брайан Крістіан — науковий автор, лауреат нагород. Його книга «Краса алгоритмів» була названа найкращою науковою книгою року за версією Amazon і найкращою книгою року за версією MIT Technology Review. Його нову книгу «Проблема вирівнювання: машинне навчання та людські цінності», яка зараз перекладається китайською, генеральний директор Microsoft Сатья Наделла назвав п’ятіркою найкращих книг, які надихнули його в 2021 році**.
Книга «Людина-машина Alignment» розділена на 3 частини.
У першій частині досліджуються питання етики та безпеки, які сьогодні впливають на системи машинного навчання.
Друга частина називається агентами, яка зміщує фокус з навчання під наглядом і самоконтролю на навчання з підкріпленням.
Частина III базується на нагляді, самонагляді та навчанні з підкріпленням, щоб обговорити, як ми можемо вирівняти складні системи ШІ в реальному світі.
Ян Яодун, доцент Інституту штучного інтелекту Пекінського університету: Огляд прогресу безпечного узгодження великих мовних моделей
Примітка. Доповідь Ян Яодуна, доцента Інституту штучного інтелекту Пекінського університету «Вирівнювання безпеки великих мовних моделей», була дуже захоплюючою. По-перше, він міг зрозуміти промову китайською. По-друге, він пояснив поточну безпека великих мовних моделей дуже легкою для розуміння мовою Основний прогрес у дослідженні узгодження, окреслює ключові моменти та перевищує багато змісту про прогрес RLHF у глибину.
Оскільки я не знаю детальної технології, я можу лише приблизно зрозуміти принцип і записати деякі цікаві моменти:
Три методи вирівнювання, запропоновані OpenAI:
Ринок вирівнювання великих моделей ШІ все ще залишається блакитним океаном:
3 безпечних способи вирівнювання:
Від RLHF до RLAIF: конституційний AI
Лауреат премії Тьюринга Джеффрі Хінтон: Суперінтелект буде набагато швидшим, ніж очікувалося, і я дуже хвилююся, що він буде контролювати людей
Заключна промова лауреата премії Тюрінга, «батька глибокого навчання» Джеффрі Гінтона, тема «Два шляхи до інтелекту».
Хрещений батько ШІ представляє нам дослідження, яке переконало його, що суперінтелект буде набагато швидшим, ніж очікувалося: Mortal Computation. У промові було описано нову обчислювальну структуру після відмови від принципу поділу програмного та апаратного забезпечення, тобто як реалізувати інтелектуальні обчислення без використання зворотного поширення для опису внутрішнього шляху нейронної мережі.
Основні моменти виступу:
Причина, чому Хінтон назвав абсолютно нову обчислювальну модель Mortal computing, має глибоке значення:
Хінтон раніше сказав, що безсмертя дійсно досягнуто. Оскільки поточна модель великої мови штучного інтелекту навчила людські знання трильйонами параметрів, і вона не залежить від апаратного забезпечення: доки відтворюється апаратне забезпечення, сумісне з інструкціями, той самий код і вага моделі можна буде безпосередньо запускати в майбутньому. У цьому сенсі людський інтелект (а не люди) увічнений.
Однак це окреме обчислення апаратного та програмного забезпечення є вкрай неефективним з точки зору енергоефективності та масштабу впровадження. Якщо ми відмовимося від принципу комп’ютерного дизайну, який передбачає розділення апаратного та програмного забезпечення, і реалізуємо інтелект в єдиній чорній скриньці, це буде новий спосіб реалізації інтелекту.
Цей вид обчислювальної конструкції, який більше не розділяє програмне та апаратне забезпечення, значно зменшить споживання енергії та масштаб обчислення (вважайте, що енергоспоживання людського мозку становить лише 20 Вт)
Але в той же час це означає, що вага не може бути ефективно скопійована, щоб скопіювати мудрість, тобто відмовляється від вічного життя.
Чи є штучні нейронні мережі розумнішими за справжні нейронні мережі?
Що, якби велика нейронна мережа, що працює на кількох цифрових комп’ютерах, могла б отримувати знання безпосередньо зі світу, на додаток до імітації людської мови для людських знань?
Очевидно, він стане набагато кращим за людей, оскільки спостерігав більше даних.
Якщо ця нейронна мережа може безконтрольно моделювати зображення чи відео, а її копії також можуть маніпулювати фізичним світом – це не фантазія.
Примітка: саме тоді, коли всі думали, що промова Синцзяна закінчилася, на передостанній сторінці Хінтон — тоном, який відрізнявся від усіх попередніх вчених, дещо емоційно та змішаними почуттями — висловив свої думки щодо поточних проблем швидкого розвитку ШІ, які є також цікавий голос світу після того, як він нещодавно рішуче покинув Google і «жалкує про роботу свого життя та турбується про небезпеку штучного інтелекту»:
Я думаю, що реалізація цього суперінтелекту може бути набагато швидше, ніж я раніше думав.
Погані хлопці захочуть використати їх, щоб маніпулювати виборцями. Вони вже використовують їх для цього в США та багатьох інших місцях. І це буде використано для перемоги у війнах.
Щоб зробити цифровий інтелект ефективнішим, нам потрібно дозволити йому встановити певні цілі. Однак тут є очевидна проблема. Існує дуже очевидна проміжна ціль, яка дуже корисна майже для всього, чого ви хочете досягти, а саме отримати більше влади, більше контролю**. Більший контроль полегшує досягнення ваших цілей. І мені важко уявити, як ми можемо перешкодити цифровому інтелекту прагнути отримати більше контролю для досягнення інших цілей.
**Щойно цифровий інтелект почне прагнути до більшого контролю, ми можемо зіткнутися з більшими проблемами. **
**На відміну від цього, люди рідко думають про види, які розумніші за них самих, і про те, як взаємодіяти з цими видами. За моїм спостереженням, цей тип штучного інтелекту вправно опанував дії з обману людей, оскільки він може використовувати Читайте романи, щоб навчитися обманювати інших, і коли штучний інтелект матиме здатність «обманювати», він також матиме вищезгадану здатність легко контролювати людей. **Так званий контроль, наприклад, якщо ви хочете зламати будівлю у Вашингтоні, вам не потрібно йти туди особисто, вам просто потрібно змусити людей подумати, що, зламавши будівлю, вони можуть врятувати демократію і зрештою досягнете своєї мети (сарказм Трампа).
У цей час Герфері Хінтон, якому було понад шістдесят років і який присвятив своє життя штучному інтелекту, сказав:
«Я почуваюся жахливо, я не знаю, як цьому запобігти, але я старий, і я сподіваюся, що багато молодих і талановитих дослідників, як ви, зрозуміють, як у нас є ці суперінтелектуальні здібності, які роблять наше життя кращим і припинити такий контроль через обман... можливо, ми можемо дати їм моральні принципи, але на даний момент я все ще нервую, **тому що поки що я не можу цього придумати - достатньо в розриві інтелекту. - приклад того, як чимось більш розумним керує щось менш розумне.****Якби жаби винайшли людей, як ви думаєте, хто б узяв контроль? Жаби чи люди?**Це також «Піднесіть мій останній PPT, кінець».
Коли я слухав це, мені здавалося, що я слухаю "хлопчика, який одного разу вбив дракона, коли він досяг повних літ і озирнувся на своє життя, він зробив пророцтво про кінець світу". Я глибоко усвідомлюю, що величезний ризик ШІ для людей, і я безмежно збентежений.
Порівняно з Хінтоном Лекун, один із молодших гігантів глибокого навчання, очевидно, більш оптимістичний:
Коли його запитали, чи буде система штучного інтелекту становити ризик для існування людей, ЛеКун відповів: **У нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною? **
Це змушує людей думати про різне ставлення земних людей до цивілізації трьох тіл у «Проблемі трьох тіл»...
Того дня я все ще збирався вимкнути комп’ютер у настрої нескінченного жалю.Неочікувано Хуан Тіцзюнь, директор дослідницького інституту Чжиюань, виголосив ідеальну заключну промову: «Не можу закрити».
Хуан Тецзюнь спочатку резюмував погляди попередніх промов:
ШІ стає все сильнішим і сильнішим, а ризики очевидні та зростають з кожним днем;
Як побудувати безпечний ШІ, ми знаємо дуже мало;
Може вивчити історичний досвід: управління наркотиками, контроль ядерної зброї, квантові обчислення...
Але високоскладні системи штучного інтелекту важко передбачити: тестування ризиків, пояснення механізмів, узагальнення розуміння... це лише початок
Нова ціль виклику: ШІ служить власним цілям чи людським цілям?
По суті, чи хочуть люди створити загальний штучний інтелект ДАІ чи штучний загальний інтелект AGI?
Академічний консенсус полягає в тому, що штучний загальний інтелект AGI: штучний інтелект, який досяг людського рівня в усіх аспектах людського інтелекту та може адаптивно реагувати на виклики зовнішнього середовища та виконувати всі завдання, які може виконати людина; його також можна назвати автономним штучним інтелектом, надлюдським. інтелект і сильний інтелект. штучний інтелект.
З одного боку, всі в захваті від створення загального штучного інтелекту та поспішають інвестувати.
З іншого боку, я насміхаюся з того, що штучний інтелект перетворює людей на громадян другого сорту, але це бінарне протиставлення — не найскладніше. Головне — це голосування. Найважче — що нам робити перед обличчям штучний інтелект, наприклад Near AGI, наприклад ChatGPT? **
Якщо люди реагуватимуть на ризики з таким же ентузіазмом, як і на інвестування в створення штучного інтелекту, все ще можливо створити безпечний штучний інтелект,** але чи вірите ви, що люди зможуть це зробити? Я не знаю, дякую! **