9 июня в конференц-центре Национальной независимой демонстрационной зоны инноваций Чжунгуаньцунь успешно открылась двухдневная «Пекинская конференция Чжиюань».
Конференция Чжиюань — это ежегодное международное мероприятие по обмену профессионалами высокого класса в области искусственного интеллекта, организованное Исследовательским институтом Чжиюань (также известным как сильнейший китайский исследовательский институт искусственного интеллекта OpenAI в Китае). Гала-концерт «Весенний фестиваль» — как видно из состава участников гости:
Лауреаты премии Тьюринга Джеффри Хинтон, Янн ЛеКун (это также вторая из «большой тройки» в области глубокого обучения, еще один Бенжио посетил предыдущую конференцию), Джозеф Сифакис и Яо Цичжи, Чжан Бо, Чжэн Наньнин, Се Сяолян, Чжан Хунцзян, Чжан Яцинь и другие академики, Стюарт Рассел, основатель Центра систем искусственного интеллекта Калифорнийского университета в Беркли, Макс Тегмарк, основатель Института будущего жизни Массачусетского технологического института, **генеральный директор OpenAI Сэм Альтман ** (это тоже его первое выступление в Китае, хоть и онлайн), Meta, Microsoft, Google и другие крупные компании и DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI и другие члены звездной команды, всего более 200 ведущие специалисты по искусственному интеллекту...
Последние два дня я следил за прямой трансляцией конференции и как студент гуманитарных наук, не разбирающийся в технологиях, слушал с большим интересом и многому научился.
Однако после прочтения выступления Джеффри Хинтона, финального лауреата премии Тьюринга и «отца глубокого обучения», меня охватила сильная и сложная эмоция:
С одной стороны, видя, как исследователи ИИ изучают и изобретают различные передовые технологии, они, естественно, будут больше доверять реализации ИИ и даже будущего общего искусственного интеллекта AGI**;
С другой стороны, слушая, как передовые эксперты и ученые обсуждают риски ИИ, а также человеческое невежество и презрение к тому, как справляться с рисками, и полные беспокойства о будущем людей - самая важная проблема, в Слова Хинтона: история В мире никогда не было прецедента, когда более разумное существо контролировалось менее разумным **Если лягушки изобретут людей, кто, по-вашему, возьмет на себя управление? Это лягушка или человек? **
Из-за информационного взрыва на двухдневной конференции я потратил некоторое время на то, чтобы разобраться в материалах некоторых важных выступлений, и, между прочим, записал некоторые свои мысли, чтобы потом просмотреть их и поделиться со всеми, кто заботится о прогрессе ИИ.
Объяснение: часть, отмеченная [примечание] ниже, является моим личным мнением, а содержание резюмировано в виде цитаты (не могу расписать -_-|| из-за ограниченных возможностей), источником является ссылка на конце каждой части, и некоторые из них были изменены.
Генеральный директор OpenAI Сэм Альтман: ОИИ может появиться в ближайшие десять лет
На форуме AI Safety and Alignment, который проходил весь день 10 июня, соучредитель OpenAI Сэм Альтман выступил со вступительной программной речью — также его первой речью в Китае, хотя она и была онлайн.
Доклад дал представление об интерпретируемости, масштабируемости и обобщаемости модели. Впоследствии Сэм Альтман и Чжан Хунцзян, председатель Исследовательского института Чжиюань, провели саммит вопросов и ответов, в основном обсудив, как углубить международное сотрудничество, как проводить более безопасные исследования ИИ и как справиться с будущими рисками ИИ в нынешнюю эпоху. масштабные модели ИИ.
Отличное резюме:
Причина, по которой нынешняя революция ИИ так эффективна, заключается не только в масштабе ее влияния, но и в скорости ее развития. Это приносит как дивиденды, так и риски.
Потенциальные дивиденды от ИИ огромны. Но мы должны вместе управлять рисками, чтобы использовать их для повышения производительности и уровня жизни.
С появлением все более мощных систем искусственного интеллекта* ставки глобального сотрудничества как никогда высоки. В истории великие державы часто расходятся во мнениях, но по некоторым наиболее важным вопросам необходимы сотрудничество и координация. **Повышение безопасности AGI — одна из самых важных областей, в которой нам необходимо найти общие интересы. В своем выступлении Альтман неоднократно подчеркивал необходимость глобального согласования и контроля безопасности ИИ и специально процитировал предложение из Дао Дэ Цзин: Путешествие в тысячу миль начинается с одного шага. Выравнивание по-прежнему остается открытым вопросом.
** Представьте себе будущую систему ОИИ с примерно 100 000 строк двоичного кода, люди-руководители вряд ли узнают, делает ли такая модель что-то гнусное. **
**На настройку GPT-4 ушло восемь месяцев. **Однако соответствующие исследования все еще совершенствуются.**Они в основном делятся на два аспекта: масштабируемость и интерпретируемость. Одним из них является масштабируемое наблюдение, пытающееся использовать системы ИИ, чтобы помочь людям контролировать другие системы искусственного интеллекта. Во-вторых, интерпретируемость, попытка понять «черный ящик» внутренней работы большой модели. В конечном счете, OpenAI нацелен на обучение систем ИИ для помощи в исследованиях выравнивания.
На вопрос Чжан Хунцзяна, насколько далеко до эры всеобщего искусственного интеллекта (AGI), Сэм Альтман ответил: «В ближайшие 10 лет родятся системы суперИИ, но трудно предсказать конкретный момент времени». он также подчеркнул: «Скорость, с которой новые технологии полностью изменили мир, выходит за рамки воображения».
На вопрос, будет ли OpenAI открывать большие модели с открытым исходным кодом, **Альтман сказал, что в будущем будет больше открытого исходного кода, но конкретной модели и графика нет. Кроме того, он также сказал, что GPT-5 в ближайшее время не будет. ** После встречи Альтман опубликовал сообщение, в котором выразил благодарность за приглашение выступить с речью на Чжиюаньской конференции.
Ян Ликунь, обладатель премии Тьюринга: Через пять лет никто не будет использовать модель GPT, а мировая модель — это будущее ОИИ
Ян Ликунь, один из трех гигантов глубокого обучения и обладатель премии Тьюринга, выступил с программной речью под названием «На пути к машинам, которые могут учиться, рассуждать и планировать». Как всегда, он поставил под сомнение текущее направление LLM предлагает другую идею машины, которая может учиться, рассуждать и планировать: модель мира.
Ключевые моменты выступления:
** Способности ИИ все еще далеки от способностей людей и животных — разрыв в основном отражается в логическом мышлении и планировании, а большая модель в настоящее время может только «инстинктивно реагировать». **** Что такое самоконтролируемое обучение? Обучение с самоконтролем заключается в фиксации зависимостей во входных данных. **
Система обучения фиксирует зависимости между тем, что мы видим, и тем, чего мы не видели. Производительность современных больших моделей поражает, если они обучаются на данных одного триллиона токенов или двух триллионов токенов.
** Нас легко обмануть его текучестью. Но в итоге они совершают глупые ошибки. Они допускают фактические ошибки, логические ошибки, несоответствия, у них ограниченные рассуждения, они создают вредоносный контент. **Эта большая модель нуждается в переобучении.
**Как заставить ИИ действительно планировать, как люди? Посмотрите, как быстро учатся люди и животные, видя и познавая мир. **
Ян Ликунь считает, что развитие ИИ в будущем сталкивается с тремя основными проблемами: ** Изучение представлений о мире, прогнозирование моделей мира и использование обучения с самоконтролем. **
Во-первых, изучить модель представления и предсказания мира. Конечно, это можно изучить и под самоконтролем.
** Во-вторых, научитесь рассуждать. **Это соответствует концепции психолога Дэниела Канемана о Системе 1 и Системе 2. Система 1 — это человеческое поведение или действие, соответствующее подсознательным расчетам, те вещи, которые можно делать, не задумываясь, тогда как Система 2 — это задачи, для решения которых вы сознательно и целенаправленно используете всю свою мыслительную силу. В настоящее время искусственный интеллект в основном может реализовать только функции Системы 1, и она не является полной;
Последняя проблема заключается в том, как планировать сложные последовательности действий, разбивая сложные задачи на более простые, работая в иерархическом порядке.
В результате Ян Ликунь предложил ** «Модель мира», которая состоит из шести независимых модулей, в том числе: ** модуль конфигуратора, модуль восприятия, модель мира, модуль стоимости, модуль актора, модуль кратковременной памяти. ** Он считает, что проектирование архитектуры и парадигмы обучения модели мира является реальным препятствием на пути развития искусственного интеллекта в ближайшие несколько десятилетий.
ЛеКун всегда выражал презрение к идее, что ИИ уничтожит людей, и считает, что сегодняшний ИИ не так умен, как собака, и это беспокойство излишне. ** Когда его спросили, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил: ** У нас пока нет супер-ИИ, так как же мы можем сделать систему супер-ИИ безопасной? **
** «Спросите людей сегодня, можем ли мы гарантировать, что сверхразумная система безопасна для людей, это вопрос без ответа. Потому что у нас нет проекта сверхразумной системы. Поэтому, пока у вас нет базового проекта, вы не можете Сделайте вещь безопасной.** Это как если бы вы спросили аэрокосмического инженера в 1930 году, можете ли вы сделать турбореактивный двигатель безопасным и надежным, и инженер ответил бы: «Что такое турбореактивный двигатель?» «Потому что турбореактивный двигатель не был изобретен в 1930 году. Таким образом, мы находимся в той же ситуации. Немного преждевременно утверждать, что мы не можем сделать эти системы безопасными, потому что мы их не изобрели. изобрел их——может быть, они будут похожи на схему, которую я придумал, тогда стоит обсудить».
Профессор Макс Тегмарк, Центр искусственного интеллекта и фундаментальных исследований взаимодействия Массачусетского технологического института: управление ИИ с помощью механической объяснимости
Макс Тегмарк, в настоящее время штатный профессор физики в Массачусетском технологическом институте, научный руководитель Института фундаментальных проблем, основатель Института будущего жизни и известный «инициатор инициативы по приостановке исследований ИИ» (англ. инициативе в конце марта выступили Илон Маск, обладатель премии Тьюринга Йошуа Бенжио, соучредитель Apple Стив Возняк и другие 1000+ знаменитостей) выступили на конференции в Чжиюане с замечательным докладом «Как контролировать ИИ» (удерживая ИИ под контролем), и провел диалог с Чжаном Яцинем, академиком Университета Цинхуа, чтобы обсудить вопросы этической безопасности ИИ и предотвращения рисков.
В выступлении подробно обсуждалась механическая объяснимость ИИ, которая на самом деле является исследованием того, как человеческие знания хранятся в этих сложных связях в нейронных сетях. Если исследования в этом направлении будут продолжены, они, возможно, наконец смогут действительно объяснить главный вопрос, почему модель большого языка LLM производит интеллект.
В дополнение к речи интересным фактом является то, что в качестве инициатора «Инициативы по исследованию искусственного интеллекта в паузе» в программной речи основное внимание уделяется тому, как провести более глубокое исследование крупномасштабной модели искусственного интеллекта. Может быть, как сказал в конце сам Макс, он не тот обреченный человек, как сказал профессор Ян Ликунь, один из гигантов ИИ, он на самом деле полон надежд и тоски по ИИ, но мы можем гарантировать, что все эти более мощные разум служит нам и использует его. Он приходит, чтобы создать более вдохновляющее будущее, чем писатели-фантасты мечтали в прошлом. **
Примечание: я думал, что это будет очень скучно, но неожиданно оказалось очень увлекательно, и я с удовольствием смотрел самое длинное выступление в течение часа! ** Как и ожидалось от профессора, который часто читает лекции, он очень увлекательный, очень теоретически глубокий и простой для понимания. Что еще более удивительно, так это то, что он не только не является стойким противником ИИ, но на самом деле является сторонником лучшего ИИ! **Я также могу говорить по-китайски, и я не забываю завербовать себя во время выступления...
Отрывки из замечательных идей:
Механическая интерпретируемость — очень интересная область. Вы тренируете сложную нейронную сеть, которую не понимаете, для выполнения интеллектуальных задач, а затем пытаетесь понять, как она это делает.
как нам это сделать? У вас может быть три разных уровня амбиций. **Самый низкий уровень амбиций — просто диагностировать его достоверность, насколько вы должны ему доверять. **Например, когда вы ведете машину, даже если вы не понимаете, как работают ваши тормоза, вы, по крайней мере, хотите знать, можете ли вы доверять им, чтобы замедлить вас.
**Следующий уровень амбиций — лучше понять его, чтобы он вызывал больше доверия. ** Конечная цель очень амбициозна, и я ожидаю, что мы сможем извлечь все знания, которые они извлекают из систем машинного обучения, и повторно внедрить их в другие системы, чтобы продемонстрировать, что они будут делать то, что мы хотим. **
Давайте притормозим, давайте позаботимся о том, чтобы у нас были лучшие ограждения. Итак, в письме говорилось, что давайте остановимся на мгновение, упомянутое ранее. Я хочу внести ясность: здесь не говорится, что мы должны приостанавливать работу ИИ, и не говорится, что мы должны приостанавливать почти все. На этом собрании мы уже слышали, что нам следует продолжать почти все замечательные исследования, которые вы, ребята, делаете. **Это просто говорит, что мы должны приостановить, приостановить разработку систем, более мощных, чем GPT-4. ** Так что это в основном пауза для некоторых западных компаний.
Причина в том, что это именно те системы, которые могут вывести нас из-под контроля, самые быстрые, сверхмощные системы, которые мы недостаточно понимаем. Цель паузы просто сделать искусственный интеллект более похожим на биотехнологию, в области биотехнологии нельзя просто сказать, что вы компания, эй, у меня есть новое лекарство, я его открыл, и он начнет продаваться в крупных супермаркетах Пекина завтра. Сначала вы должны убедить экспертов в китайском правительстве или правительстве США, что это безопасный препарат, что его преимущества перевешивают его недостатки, что есть процесс проверки, а затем вы можете это сделать.
Давайте не будем делать эту ошибку, давайте больше походить на биотехнологии, используя наши самые мощные системы, в отличие от Фукусимы и Чернобыля.
**3、**Чжан Яцинь: Макс, ваша карьера связана с математикой, физикой, неврологией и, конечно же, с искусственным интеллектом. Очевидно, что в будущем мы будем все больше полагаться на междисциплинарные компетенции и знания. У нас много аспирантов, много будущей молодежи.
Какой совет вы можете дать молодым людям по поводу выбора профессии?
Макс Тегмарк: Во-первых, мой совет — сосредоточиться на основах в эпоху ИИ. Потому что экономика и рынок труда меняются все быстрее и быстрее. Итак, мы отходим от этой модели обучения на 12 или 20 лет, а затем делаем то же самое до конца жизни. Это не будет так.
Более того, ** у вас есть прочная основа и вы очень хорошо мыслите творчески и непредубежденно. Только так мы можем быть гибкими и следовать тренду. **
Конечно, следите за тем, что происходит в области ИИ в целом, а не только в вашей области**. Потому что на рынке труда первое, что происходит, — это не замена людей машинами. Но ** людей, которые не работают с ИИ, заменят люди, которые с ними работают. **
Могу ли я добавить немного больше? Я вижу, как там мерцает время.
Я просто хочу сказать что-то оптимистичное. Я думаю, что Янн ЛеКун смеется надо мной. Он назвал меня обреченным. Но если вы посмотрите на меня, я на самом деле очень счастлив и весел. ** На самом деле я более оптимистичен, чем Янн ЛеКун, в отношении нашей способности понимать будущие системы искусственного интеллекта. ** Я думаю, что это очень, очень многообещающе.
Я думаю, что если мы пойдем вперед на полной скорости и передадим больше контроля от людей машинам, которых мы не понимаем, это закончится очень плохо. Но мы не обязаны этого делать. Я думаю, что если мы усердно поработаем над механистической объяснимостью и над многими другими техническими темами, которые сегодня здесь будут обсуждаться, мы действительно сможем убедиться, что весь этот интеллектуальный потенциал находится в нашем распоряжении, и использовать его для создания мира более вдохновляющего мира. будущее.
Беседа с основателем Midjourney: изображения — это только первый шаг, искусственный интеллект произведет революцию в обучении, творчестве и организации
MidJourney в настоящее время является самым популярным движком для генерации изображений.В условиях жесткой конкуренции DALL·E 2 от OpenAI и модели с открытым исходным кодом Stable Diffusion он по-прежнему сохраняет абсолютное лидерство в различных эффектах генерации стилей.
Midjourney — потрясающая компания, 11 человек меняют мир и создают отличный продукт, которому суждено стать историей ранних лет Pre AGI.
Примечание: Долгожданный диалог между основателем и генеральным директором Midjourney Дэвидом Хольцем и Geek Park Zhang Peng, весь на английском, без субтитров, я не ожидал, что пойму его полностью, и мне он очень интересен, потому что вопросы и ответы такой замечательный, особенно Дэвид, я не мог сдержать смех, когда ответил. Он рассмеялся, как невинный ребенок. Имея опыт управления большими командами, он сказал: «Я никогда не хотел иметь компанию, я хотел иметь дом». Он взял его, пока В настоящее время Midjourney, в котором работает всего 20 человек, стал единорогом, привлекающим внимание всего мира, что может изменить парадигму будущих стартапов.
Предпринимательский драйв: раскрытие человеческого воображения
**Чжан Пэн:**За последние 20 лет я познакомился со многими предпринимателями дома и за границей. Я обнаружил, что у них есть что-то общее: у них всех есть сильное стремление исследовать и создавать «из ничего».
Мне интересно, когда вы начинали MidJourney, что было вашей движущей силой? Чего ты жаждешь в этот момент?
**Дэвид Хольц: Я никогда не думал о создании компании. Я просто хочу "дом". **
Я надеюсь, что в следующие 10 или 20 лет здесь, в Midjourney, я смогу создавать вещи, которые мне действительно небезразличны и которые я действительно хочу принести в этот мир.
Я часто думаю о различных проблемах. Может быть, я не могу решить все проблемы, но я могу** попытаться сделать так, чтобы все были более способны решать проблемы. **
Поэтому я пытаюсь думать о том, как ее решить, как что-то создать. На мой взгляд, это можно свести к трем пунктам. **Во-первых, мы должны подумать о себе: чего мы хотим? в чем именно проблема?: **** Тогда надо представить: куда мы идем? Каковы возможности? **** В конце концов, мы должны координировать свои действия друг с другом и сотрудничать с другими, чтобы достичь того, что мы себе представляем. **
Я думаю, что у ИИ есть огромные возможности объединить эти три части и создать значительную инфраструктуру, которая поможет нам лучше решать эту проблему. В каком-то смысле **искусственный интеллект должен помогать нам размышлять о себе, лучше представлять наши будущие направления, помогать нам лучше находить друг друга и сотрудничать. Мы можем делать эти вещи вместе и объединять их в какую-то единую структуру. Я думаю, это изменит то, как мы создаем вещи и решаем проблемы. Это большое дело, которое я хочу сделать. **
Иногда я думаю (мы сделали это первым) генерация изображений может сбивать с толку, но во многих отношениях генерация изображений является хорошо зарекомендовавшей себя концепцией. **Midjourney стал супер-воображаемой коллекцией миллионов людей, исследующих возможности этого пространства. **
** В ближайшие годы будет больше возможностей для визуальных и художественных исследований, чем все предыдущие исторические исследования вместе взятые. **
Это не решает всех проблем, с которыми мы сталкиваемся, но я думаю, что это тест, эксперимент. Если мы сможем завершить это исследование поля зрения, то мы сможем сделать это и в других вещах.Все остальные вещи, которые требуют от нас исследовать и думать вместе, я думаю, могут быть решены аналогичным образом.
Поэтому, когда я думал о том, как начать решать эту проблему, у нас было много идей, мы построили много прототипов, но вдруг произошел прорыв в области ИИ, особенно в зрении, и мы поняли, что это уникальная возможность создать то, что еще никто не пробовал. Это вызвало у нас желание попробовать.
Мы думаем, что, возможно, пройдет совсем немного времени, прежде чем все соберется воедино, чтобы сформировать нечто особенное. Это только начало.
Чжан Пэн: Итак, изображение (генерация) — это только первый шаг, и ваша конечная цель — освободить человеческое воображение. Это то, что привлекло вас в Midjourney?
Дэвид Хольц: Мне очень нравятся творческие вещи. Я также надеюсь, что в мире может быть больше творчества. Так весело видеть сумасшедшие идеи каждый день.
Переосмысление знаний: историческое знание становится силой созидания
Чжан Пэн: Это очень интересно. Мы обычно говорим пустые слова, покажи мне свой код (Идея дешевая, покажи мне код). Но сейчас идеи, кажется, единственное, что имеет значение. Пока вы можете выражать свои идеи с помощью набора отличных слов, ИИ может помочь вам их реализовать. Итак, меняются ли определения обучения и творчества? Что вы думаете?
**Дэвид Хольц: **Я думаю, одна из интересных вещей заключается в том, что, когда вы даете людям больше времени для творчества, они также больше заинтересованы в самом обучении. **
Например, в США очень популярен художественный стиль под названием ар-деко. Я никогда не заботился о том, что это за искусство, пока однажды, когда я не смог делать работы в этом художественном стиле с помощью инструкций, я вдруг очень заинтересовался им и захотел узнать больше о его истории.
Я думаю, интересно, что нас больше интересует история, когда ее можно использовать немедленно и упростить создание. **Если пользовательский интерфейс станет достаточно хорошим, пользователи почувствуют, что ИИ стал продолжением нашего мышления. ИИ подобен части нашего тела и разума, и ИИ в определенной степени тесно связан с историей, и мы тоже будем тесно связаны с историей. Это так интересно.
Когда мы спрашиваем наших пользователей, чего они хотят больше всего, ответ номер один и второй заключается в том, что им нужны учебные материалы, а не только то, как использовать инструменты, но искусство, история, объективы камеры, блеск, хотят понять и освоить все знания и концепции. доступны для создания.
**Раньше знание было просто прошлым, но теперь знание — это сила творить. **
** Знания могут играть большую роль немедленно, и люди стремятся получить больше знаний. **Это так круто.
Брайан Кристиан: Вышла китайская версия новой книги «Выравнивание человека и машины»
Вышла китайская версия "Human-Machine Alignment". Автор Брайан Кристиан кратко изложил основное содержание всей книги за 10 минут. Звучит очень насыщенно и увлекательно, а также перекликается с нынешним бурным развитием ИИ.
Брайан Кристиан — отмеченный наградами автор научных работ. Его книга «Красота алгоритмов» была названа лучшей научной книгой года по версии Amazon и лучшей книгой года по версии MIT Technology Review. Его новая книга «Проблема выравнивания: машинное обучение и человеческие ценности», которая в настоящее время переводится на китайский язык, была названа генеральным директором Microsoft Сатьей Наделлой пятеркой лучших книг, которые вдохновят его в 2021 году**.
Книга "Человеко-машинное взаимодействие" разделена на 3 части.
В первой части рассматриваются вопросы этики и безопасности, влияющие на системы машинного обучения сегодня.
Вторая часть называется агентами, что смещает акцент с обучения с учителем и самоконтролем на обучение с подкреплением.
Часть III основана на контроле, самоконтроле и обучении с подкреплением, чтобы обсудить, как мы можем согласовать сложные системы ИИ с реальным миром.
Ян Яодун, доцент Института искусственного интеллекта Пекинского университета: обзор прогресса в области безопасного выравнивания больших языковых моделей
Примечание: Доклад Ян Яодуна, доцента Института искусственного интеллекта Пекинского университета, "Безопасность выравнивания моделей больших языков" был очень захватывающим. Во-первых, он мог понимать речь на китайском языке. Во-вторых, он объяснил текущую безопасность больших языковых моделей на очень простом для понимания языке.Основной прогресс исследования выравнивания, обрисовывает в общих чертах ключевые моменты и превосходит многие содержания о прогрессе RLHF в глубину.
Т.к. подробной технологии не знаю, могу только примерно понять принцип и зафиксировать некоторые интересные моменты:
Три метода выравнивания, предложенные OpenAI:
Обучайте ИИ, используя обратную связь от человека
Обучайте ИИ, чтобы он помогал оценивать людей
Обучите ИИ проводить исследования выравнивания
Рынок выравнивания больших моделей ИИ по-прежнему представляет собой голубой океан:
** Существующие большие модели, за исключением GPT, почти не смогли добиться выравнивания в каком-либо смысле**
Технология трансформации из универсальной в специальную для крупномасштабных моделей станет следующей вершиной в разработке крупномасштабных моделей
3 безопасных способа выравнивания:
На этапе предварительного обучения путем ручного скрининга и очистки данных для получения данных более высокого качества
Используйте модель вознаграждения за отклонение выборки на этапе вывода, чтобы улучшить качество и безопасность вывода. Или в реальном продукте ** отказывается реагировать на ввод пользователя. **
На этапе тонкой настройки (SFT и BLHF) добавьте более разнообразные и безвредные инструкции для пользователей, чтобы привести их в соответствие с моделями предпочтений человека, включая RBRM, конституционный Al.
От RLHF до RLAIF: Конституционный ИИ
Лауреат премии Тьюринга Джеффри Хинтон: Сверхразум будет намного быстрее, чем ожидалось, и я очень беспокоюсь, что люди будут им управлять
Лауреат премии Тьюринга, «Отец глубокого обучения» Джеффри Хинтон, финальная речь, тема «Два пути к разуму».
Крестный отец ИИ представляет нам исследование, которое убедило его в том, что сверхразум будет работать намного быстрее, чем ожидалось: Mortal Computation. В докладе была описана новая вычислительная структура после отказа от принципа разделения программного и аппаратного обеспечения, то есть как реализовать интеллектуальные вычисления без использования обратного распространения для описания внутреннего пути нейронной сети.
Ключевые моменты выступления:
Хинтон предлагает новую возможность для искусственного интеллекта: смертные вычисления. Смертные вычисления больше не разделяют программное и аппаратное обеспечение и используют физическое оборудование для более точного выполнения параллельных вычислений. Это может привести к снижению энергопотребления и упрощению аппаратного обеспечения, но его сложнее обучить и масштабировать до крупномасштабных моделей.
У интеллектуальных групп есть два способа обмена знаниями: биологические и цифровые вычисления.Биологический обмен имеет низкую пропускную способность и очень медленный, в то время как цифровое копирование имеет высокую пропускную способность и очень быстрое. Люди являются биологическими, а ИИ — цифровым, поэтому, как только ИИ освоит больше знаний с помощью мультимодальности, скорость их обмена будет очень высокой, и вскоре он превзойдет людей.
Когда ИИ станет более разумным, чем люди, он, вероятно, будет представлять огромные риски. Включая эксплуатацию и обман людей в попытке получить власть. И это, вероятно, будет недружелюбно к людям.
Причина, по которой новая вычислительная модель Хинтона названа «Смертельные вычисления», имеет глубокий смысл:
Хинтон сказал ранее, что бессмертие действительно достигнуто. Поскольку текущая модель большого языка ИИ изучила человеческие знания в триллионах параметров и не зависит от аппаратного обеспечения: до тех пор, пока воспроизводится совместимое с инструкциями аппаратное обеспечение, тот же код и вес модели могут быть напрямую запущены в будущем. В этом смысле человеческий разум (не человеческий) увековечен.
Однако такое раздельное вычисление аппаратного и программного обеспечения крайне неэффективно с точки зрения энергоэффективности и масштаба реализации. Если мы откажемся от принципа проектирования компьютеров, разделяющего аппаратное и программное обеспечение, и реализуем интеллект в едином черном ящике, это будет новый способ реализации интеллекта.
Такой дизайн вычислений, который больше не разделяет программное и аппаратное обеспечение, значительно снизит потребление энергии и масштаб вычислений (учитывайте, что потребление энергии человеческим мозгом составляет всего 20 Вт).
Но в то же время это означает, что вес не может быть скопирован эффективно для копирования мудрости, то есть от вечной жизни отказываются.
Являются ли искусственные нейронные сети умнее, чем настоящие нейронные сети?
Что, если бы большая нейронная сеть, работающая на нескольких цифровых компьютерах, могла бы получать знания непосредственно из мира, в дополнение к имитации человеческого языка для получения человеческих знаний?
Очевидно, что он станет намного лучше, чем люди, потому что он наблюдал больше данных.
Если эта нейронная сеть может выполнять неконтролируемое моделирование изображений или видео, а ее копии также могут манипулировать физическим миром — это не фантазия.
Примечание: когда все думали, что речь Синьцзяна окончена, на предпоследней странице Хинтон — тоном, отличным от всех предыдущих ученых, немного эмоциональным и смешанным чувством — высказал свои мысли по поводу текущих проблем быстрого развития ИИ, которые также любопытный голос мира после того, как он недавно решительно покинул Google и «сожалеет о работе всей своей жизни и беспокоится об опасностях искусственного интеллекта»:
Я думаю, что реализация этих сверхразумов может произойти намного быстрее, чем я думал.
Плохие парни захотят использовать их для таких вещей, как манипулирование избирателями. Они уже используют их в США и многих других местах для этого. И это будет использоваться для победы в войнах.
Чтобы сделать цифровой интеллект более эффективным, нам нужно позволить ему ставить перед собой некоторые цели. Однако здесь есть очевидная проблема. Есть очень очевидная подцель, которая очень полезна почти для всего, чего вы хотите достичь, и это обретение большей силы, большего контроля**. Наличие большего контроля облегчает достижение ваших целей. И мне трудно представить, как мы можем предотвратить стремление цифрового интеллекта получить больший контроль для достижения других целей.
**Как только цифровой интеллект начнет стремиться к большему контролю, мы можем столкнуться с новыми проблемами. **
**Напротив, люди редко думают о видах, которые более разумны, чем они сами, и о том, как взаимодействовать с этими видами.По моему наблюдению, этот тип искусственного интеллекта мастерски освоил действия по обману людей, потому что он может использовать Читать романы, чтобы научиться обманывать других, и как только искусственный интеллект сможет «обманывать», он также будет обладать вышеупомянутой способностью легко контролировать людей. **Так называемый контроль, например, если вы хотите взломать здание в Вашингтоне, вам не нужно туда идти лично, вам просто нужно обмануть людей, чтобы они думали, что, взломав здание, они могут спасти демократию. и в конечном итоге достичь своей Цели (сарказм Трампа).
В это время Герффери Хинтон, которому было за шестьдесят лет и который посвятил свою жизнь искусственному интеллекту, сказал:
«Я чувствую себя ужасно, я не знаю, как предотвратить это, но я стар, и я надеюсь, что многие молодые и талантливые исследователи, такие как вы, поймут, как у нас есть эти сверхразумы, которые сделают нашу жизнь лучше и остановить этот вид контроля через обман ... может быть, мы можем дать им моральные принципы, но в данный момент я все еще нервничаю, ** потому что пока что я не могу думать об этом - достаточно в разведывательном пробеле Большое время - пример того, как что-то более разумное контролируется чем-то менее разумным. ****Если лягушки изобрели людей, кто, по вашему мнению, возьмет на себя управление? Лягушки или люди?**Это также «Поднимите мой последний PPT, финал».
Когда я слушал это, мне казалось, что я слушаю «мальчик, который однажды убил дракона, когда он достиг своих сумеречных лет и оглянулся на свою жизнь, он сделал пророчество конца света». огромный риск ИИ для людей, и я бесконечно смущен.
По сравнению с Хинтоном, Лекун, один из молодых гигантов глубокого обучения, явно более оптимистичен:
Когда его спросили, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил: **У нас пока нет суперИИ, так как же мы можем сделать систему суперИИ безопасной? **
Это заставляет задуматься о различном отношении земных людей к цивилизации трех тел в «Проблеме трех тел»…
В тот день я все еще планировал выключить компьютер в настроении бесконечного сожаления, но неожиданно Хуан Тецзюнь, директор научно-исследовательского института Чжиюань, произнес прекрасную заключительную речь: «Не могу закрыть».
Хуан Тецзюнь сначала резюмировал взгляды предыдущих выступлений:
ИИ становится все сильнее и сильнее, а риски очевидны и растут день ото дня;
Как построить безопасный ИИ, мы знаем очень мало;
Может учиться на историческом опыте: управление наркотиками, контроль над ядерным оружием, квантовые вычисления...
Но системы искусственного интеллекта высокой сложности трудно предсказать: тестирование рисков, объяснение механизма, обобщение понимания... только начало
Новая цель вызова: ИИ служит своим целям или целям человека?
По сути, хотят ли люди создавать общий искусственный интеллект GAI или искусственный общий интеллект AGI?
Академический консенсус заключается в том, что искусственный общий интеллект ОИИ: искусственный интеллект, который достиг человеческого уровня во всех аспектах человеческого интеллекта и может адаптивно реагировать на вызовы внешней среды и выполнять все задачи, которые могут выполнять люди; его также можно назвать автономным искусственным интеллектом, сверхчеловеческим интеллектом. интеллект и сильный интеллект искусственный интеллект.
С одной стороны, все увлечены созданием общего искусственного интеллекта и спешат инвестировать.
С другой стороны, я насмехаюсь над тем, что ИИ делает людей людьми второго сорта, но это бинарное противостояние не самое сложное. искусственный интеллект, такой как Near AGI, такой как ChatGPT? **
Если люди реагируют на риски с таким же энтузиазмом, как и инвестиции в создание искусственного интеллекта, возможно, все же удастся создать безопасный искусственный интеллект**, но верите ли вы, что люди могут это сделать? Я не знаю, спасибо! **
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
После Чжиюаньской конференции 2023 года: я больше уверен в ИИ и больше беспокоюсь о людях
9 июня в конференц-центре Национальной независимой демонстрационной зоны инноваций Чжунгуаньцунь успешно открылась двухдневная «Пекинская конференция Чжиюань».
Конференция Чжиюань — это ежегодное международное мероприятие по обмену профессионалами высокого класса в области искусственного интеллекта, организованное Исследовательским институтом Чжиюань (также известным как сильнейший китайский исследовательский институт искусственного интеллекта OpenAI в Китае). Гала-концерт «Весенний фестиваль» — как видно из состава участников гости:
Лауреаты премии Тьюринга Джеффри Хинтон, Янн ЛеКун (это также вторая из «большой тройки» в области глубокого обучения, еще один Бенжио посетил предыдущую конференцию), Джозеф Сифакис и Яо Цичжи, Чжан Бо, Чжэн Наньнин, Се Сяолян, Чжан Хунцзян, Чжан Яцинь и другие академики, Стюарт Рассел, основатель Центра систем искусственного интеллекта Калифорнийского университета в Беркли, Макс Тегмарк, основатель Института будущего жизни Массачусетского технологического института, **генеральный директор OpenAI Сэм Альтман ** (это тоже его первое выступление в Китае, хоть и онлайн), Meta, Microsoft, Google и другие крупные компании и DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI и другие члены звездной команды, всего более 200 ведущие специалисты по искусственному интеллекту...
Последние два дня я следил за прямой трансляцией конференции и как студент гуманитарных наук, не разбирающийся в технологиях, слушал с большим интересом и многому научился.
Однако после прочтения выступления Джеффри Хинтона, финального лауреата премии Тьюринга и «отца глубокого обучения», меня охватила сильная и сложная эмоция:
С одной стороны, видя, как исследователи ИИ изучают и изобретают различные передовые технологии, они, естественно, будут больше доверять реализации ИИ и даже будущего общего искусственного интеллекта AGI**;
С другой стороны, слушая, как передовые эксперты и ученые обсуждают риски ИИ, а также человеческое невежество и презрение к тому, как справляться с рисками, и полные беспокойства о будущем людей - самая важная проблема, в Слова Хинтона: история В мире никогда не было прецедента, когда более разумное существо контролировалось менее разумным **Если лягушки изобретут людей, кто, по-вашему, возьмет на себя управление? Это лягушка или человек? **
Из-за информационного взрыва на двухдневной конференции я потратил некоторое время на то, чтобы разобраться в материалах некоторых важных выступлений, и, между прочим, записал некоторые свои мысли, чтобы потом просмотреть их и поделиться со всеми, кто заботится о прогрессе ИИ.
Объяснение: часть, отмеченная [примечание] ниже, является моим личным мнением, а содержание резюмировано в виде цитаты (не могу расписать -_-|| из-за ограниченных возможностей), источником является ссылка на конце каждой части, и некоторые из них были изменены.
Генеральный директор OpenAI Сэм Альтман: ОИИ может появиться в ближайшие десять лет
На форуме AI Safety and Alignment, который проходил весь день 10 июня, соучредитель OpenAI Сэм Альтман выступил со вступительной программной речью — также его первой речью в Китае, хотя она и была онлайн.
Доклад дал представление об интерпретируемости, масштабируемости и обобщаемости модели. Впоследствии Сэм Альтман и Чжан Хунцзян, председатель Исследовательского института Чжиюань, провели саммит вопросов и ответов, в основном обсудив, как углубить международное сотрудничество, как проводить более безопасные исследования ИИ и как справиться с будущими рисками ИИ в нынешнюю эпоху. масштабные модели ИИ.
Отличное резюме:
На вопрос Чжан Хунцзяна, насколько далеко до эры всеобщего искусственного интеллекта (AGI), Сэм Альтман ответил: «В ближайшие 10 лет родятся системы суперИИ, но трудно предсказать конкретный момент времени». он также подчеркнул: «Скорость, с которой новые технологии полностью изменили мир, выходит за рамки воображения».
На вопрос, будет ли OpenAI открывать большие модели с открытым исходным кодом, **Альтман сказал, что в будущем будет больше открытого исходного кода, но конкретной модели и графика нет. Кроме того, он также сказал, что GPT-5 в ближайшее время не будет. ** После встречи Альтман опубликовал сообщение, в котором выразил благодарность за приглашение выступить с речью на Чжиюаньской конференции.
Ян Ликунь, обладатель премии Тьюринга: Через пять лет никто не будет использовать модель GPT, а мировая модель — это будущее ОИИ
Ян Ликунь, один из трех гигантов глубокого обучения и обладатель премии Тьюринга, выступил с программной речью под названием «На пути к машинам, которые могут учиться, рассуждать и планировать». Как всегда, он поставил под сомнение текущее направление LLM предлагает другую идею машины, которая может учиться, рассуждать и планировать: модель мира.
Ключевые моменты выступления:
** Во-вторых, научитесь рассуждать. **Это соответствует концепции психолога Дэниела Канемана о Системе 1 и Системе 2. Система 1 — это человеческое поведение или действие, соответствующее подсознательным расчетам, те вещи, которые можно делать, не задумываясь, тогда как Система 2 — это задачи, для решения которых вы сознательно и целенаправленно используете всю свою мыслительную силу. В настоящее время искусственный интеллект в основном может реализовать только функции Системы 1, и она не является полной;
Последняя проблема заключается в том, как планировать сложные последовательности действий, разбивая сложные задачи на более простые, работая в иерархическом порядке.
ЛеКун всегда выражал презрение к идее, что ИИ уничтожит людей, и считает, что сегодняшний ИИ не так умен, как собака, и это беспокойство излишне. ** Когда его спросили, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил: ** У нас пока нет супер-ИИ, так как же мы можем сделать систему супер-ИИ безопасной? **
** «Спросите людей сегодня, можем ли мы гарантировать, что сверхразумная система безопасна для людей, это вопрос без ответа. Потому что у нас нет проекта сверхразумной системы. Поэтому, пока у вас нет базового проекта, вы не можете Сделайте вещь безопасной.** Это как если бы вы спросили аэрокосмического инженера в 1930 году, можете ли вы сделать турбореактивный двигатель безопасным и надежным, и инженер ответил бы: «Что такое турбореактивный двигатель?» «Потому что турбореактивный двигатель не был изобретен в 1930 году. Таким образом, мы находимся в той же ситуации. Немного преждевременно утверждать, что мы не можем сделать эти системы безопасными, потому что мы их не изобрели. изобрел их——может быть, они будут похожи на схему, которую я придумал, тогда стоит обсудить».
Профессор Макс Тегмарк, Центр искусственного интеллекта и фундаментальных исследований взаимодействия Массачусетского технологического института: управление ИИ с помощью механической объяснимости
Макс Тегмарк, в настоящее время штатный профессор физики в Массачусетском технологическом институте, научный руководитель Института фундаментальных проблем, основатель Института будущего жизни и известный «инициатор инициативы по приостановке исследований ИИ» (англ. инициативе в конце марта выступили Илон Маск, обладатель премии Тьюринга Йошуа Бенжио, соучредитель Apple Стив Возняк и другие 1000+ знаменитостей) выступили на конференции в Чжиюане с замечательным докладом «Как контролировать ИИ» (удерживая ИИ под контролем), и провел диалог с Чжаном Яцинем, академиком Университета Цинхуа, чтобы обсудить вопросы этической безопасности ИИ и предотвращения рисков.
В выступлении подробно обсуждалась механическая объяснимость ИИ, которая на самом деле является исследованием того, как человеческие знания хранятся в этих сложных связях в нейронных сетях. Если исследования в этом направлении будут продолжены, они, возможно, наконец смогут действительно объяснить главный вопрос, почему модель большого языка LLM производит интеллект.
В дополнение к речи интересным фактом является то, что в качестве инициатора «Инициативы по исследованию искусственного интеллекта в паузе» в программной речи основное внимание уделяется тому, как провести более глубокое исследование крупномасштабной модели искусственного интеллекта. Может быть, как сказал в конце сам Макс, он не тот обреченный человек, как сказал профессор Ян Ликунь, один из гигантов ИИ, он на самом деле полон надежд и тоски по ИИ, но мы можем гарантировать, что все эти более мощные разум служит нам и использует его. Он приходит, чтобы создать более вдохновляющее будущее, чем писатели-фантасты мечтали в прошлом. **
Примечание: я думал, что это будет очень скучно, но неожиданно оказалось очень увлекательно, и я с удовольствием смотрел самое длинное выступление в течение часа! ** Как и ожидалось от профессора, который часто читает лекции, он очень увлекательный, очень теоретически глубокий и простой для понимания. Что еще более удивительно, так это то, что он не только не является стойким противником ИИ, но на самом деле является сторонником лучшего ИИ! **Я также могу говорить по-китайски, и я не забываю завербовать себя во время выступления...
Отрывки из замечательных идей:
как нам это сделать? У вас может быть три разных уровня амбиций. **Самый низкий уровень амбиций — просто диагностировать его достоверность, насколько вы должны ему доверять. **Например, когда вы ведете машину, даже если вы не понимаете, как работают ваши тормоза, вы, по крайней мере, хотите знать, можете ли вы доверять им, чтобы замедлить вас.
**Следующий уровень амбиций — лучше понять его, чтобы он вызывал больше доверия. ** Конечная цель очень амбициозна, и я ожидаю, что мы сможем извлечь все знания, которые они извлекают из систем машинного обучения, и повторно внедрить их в другие системы, чтобы продемонстрировать, что они будут делать то, что мы хотим. **
Причина в том, что это именно те системы, которые могут вывести нас из-под контроля, самые быстрые, сверхмощные системы, которые мы недостаточно понимаем. Цель паузы просто сделать искусственный интеллект более похожим на биотехнологию, в области биотехнологии нельзя просто сказать, что вы компания, эй, у меня есть новое лекарство, я его открыл, и он начнет продаваться в крупных супермаркетах Пекина завтра. Сначала вы должны убедить экспертов в китайском правительстве или правительстве США, что это безопасный препарат, что его преимущества перевешивают его недостатки, что есть процесс проверки, а затем вы можете это сделать.
Давайте не будем делать эту ошибку, давайте больше походить на биотехнологии, используя наши самые мощные системы, в отличие от Фукусимы и Чернобыля.
**3、**Чжан Яцинь: Макс, ваша карьера связана с математикой, физикой, неврологией и, конечно же, с искусственным интеллектом. Очевидно, что в будущем мы будем все больше полагаться на междисциплинарные компетенции и знания. У нас много аспирантов, много будущей молодежи.
Какой совет вы можете дать молодым людям по поводу выбора профессии?
Макс Тегмарк: Во-первых, мой совет — сосредоточиться на основах в эпоху ИИ. Потому что экономика и рынок труда меняются все быстрее и быстрее. Итак, мы отходим от этой модели обучения на 12 или 20 лет, а затем делаем то же самое до конца жизни. Это не будет так.
Более того, ** у вас есть прочная основа и вы очень хорошо мыслите творчески и непредубежденно. Только так мы можем быть гибкими и следовать тренду. **
Конечно, следите за тем, что происходит в области ИИ в целом, а не только в вашей области**. Потому что на рынке труда первое, что происходит, — это не замена людей машинами. Но ** людей, которые не работают с ИИ, заменят люди, которые с ними работают. **
Могу ли я добавить немного больше? Я вижу, как там мерцает время.
Я просто хочу сказать что-то оптимистичное. Я думаю, что Янн ЛеКун смеется надо мной. Он назвал меня обреченным. Но если вы посмотрите на меня, я на самом деле очень счастлив и весел. ** На самом деле я более оптимистичен, чем Янн ЛеКун, в отношении нашей способности понимать будущие системы искусственного интеллекта. ** Я думаю, что это очень, очень многообещающе.
Я думаю, что если мы пойдем вперед на полной скорости и передадим больше контроля от людей машинам, которых мы не понимаем, это закончится очень плохо. Но мы не обязаны этого делать. Я думаю, что если мы усердно поработаем над механистической объяснимостью и над многими другими техническими темами, которые сегодня здесь будут обсуждаться, мы действительно сможем убедиться, что весь этот интеллектуальный потенциал находится в нашем распоряжении, и использовать его для создания мира более вдохновляющего мира. будущее.
Беседа с основателем Midjourney: изображения — это только первый шаг, искусственный интеллект произведет революцию в обучении, творчестве и организации
MidJourney в настоящее время является самым популярным движком для генерации изображений.В условиях жесткой конкуренции DALL·E 2 от OpenAI и модели с открытым исходным кодом Stable Diffusion он по-прежнему сохраняет абсолютное лидерство в различных эффектах генерации стилей.
Midjourney — потрясающая компания, 11 человек меняют мир и создают отличный продукт, которому суждено стать историей ранних лет Pre AGI.
Примечание: Долгожданный диалог между основателем и генеральным директором Midjourney Дэвидом Хольцем и Geek Park Zhang Peng, весь на английском, без субтитров, я не ожидал, что пойму его полностью, и мне он очень интересен, потому что вопросы и ответы такой замечательный, особенно Дэвид, я не мог сдержать смех, когда ответил. Он рассмеялся, как невинный ребенок. Имея опыт управления большими командами, он сказал: «Я никогда не хотел иметь компанию, я хотел иметь дом». Он взял его, пока В настоящее время Midjourney, в котором работает всего 20 человек, стал единорогом, привлекающим внимание всего мира, что может изменить парадигму будущих стартапов.
Предпринимательский драйв: раскрытие человеческого воображения
**Чжан Пэн:**За последние 20 лет я познакомился со многими предпринимателями дома и за границей. Я обнаружил, что у них есть что-то общее: у них всех есть сильное стремление исследовать и создавать «из ничего».
Мне интересно, когда вы начинали MidJourney, что было вашей движущей силой? Чего ты жаждешь в этот момент?
**Дэвид Хольц: Я никогда не думал о создании компании. Я просто хочу "дом". **
Я надеюсь, что в следующие 10 или 20 лет здесь, в Midjourney, я смогу создавать вещи, которые мне действительно небезразличны и которые я действительно хочу принести в этот мир.
Я часто думаю о различных проблемах. Может быть, я не могу решить все проблемы, но я могу** попытаться сделать так, чтобы все были более способны решать проблемы. **
Поэтому я пытаюсь думать о том, как ее решить, как что-то создать. На мой взгляд, это можно свести к трем пунктам. **Во-первых, мы должны подумать о себе: чего мы хотим? в чем именно проблема?: **** Тогда надо представить: куда мы идем? Каковы возможности? **** В конце концов, мы должны координировать свои действия друг с другом и сотрудничать с другими, чтобы достичь того, что мы себе представляем. **
Я думаю, что у ИИ есть огромные возможности объединить эти три части и создать значительную инфраструктуру, которая поможет нам лучше решать эту проблему. В каком-то смысле **искусственный интеллект должен помогать нам размышлять о себе, лучше представлять наши будущие направления, помогать нам лучше находить друг друга и сотрудничать. Мы можем делать эти вещи вместе и объединять их в какую-то единую структуру. Я думаю, это изменит то, как мы создаем вещи и решаем проблемы. Это большое дело, которое я хочу сделать. **
Иногда я думаю (мы сделали это первым) генерация изображений может сбивать с толку, но во многих отношениях генерация изображений является хорошо зарекомендовавшей себя концепцией. **Midjourney стал супер-воображаемой коллекцией миллионов людей, исследующих возможности этого пространства. **
** В ближайшие годы будет больше возможностей для визуальных и художественных исследований, чем все предыдущие исторические исследования вместе взятые. **
Это не решает всех проблем, с которыми мы сталкиваемся, но я думаю, что это тест, эксперимент. Если мы сможем завершить это исследование поля зрения, то мы сможем сделать это и в других вещах.Все остальные вещи, которые требуют от нас исследовать и думать вместе, я думаю, могут быть решены аналогичным образом.
Поэтому, когда я думал о том, как начать решать эту проблему, у нас было много идей, мы построили много прототипов, но вдруг произошел прорыв в области ИИ, особенно в зрении, и мы поняли, что это уникальная возможность создать то, что еще никто не пробовал. Это вызвало у нас желание попробовать.
Мы думаем, что, возможно, пройдет совсем немного времени, прежде чем все соберется воедино, чтобы сформировать нечто особенное. Это только начало.
Чжан Пэн: Итак, изображение (генерация) — это только первый шаг, и ваша конечная цель — освободить человеческое воображение. Это то, что привлекло вас в Midjourney?
Дэвид Хольц: Мне очень нравятся творческие вещи. Я также надеюсь, что в мире может быть больше творчества. Так весело видеть сумасшедшие идеи каждый день.
Переосмысление знаний: историческое знание становится силой созидания
Чжан Пэн: Это очень интересно. Мы обычно говорим пустые слова, покажи мне свой код (Идея дешевая, покажи мне код). Но сейчас идеи, кажется, единственное, что имеет значение. Пока вы можете выражать свои идеи с помощью набора отличных слов, ИИ может помочь вам их реализовать. Итак, меняются ли определения обучения и творчества? Что вы думаете?
**Дэвид Хольц: **Я думаю, одна из интересных вещей заключается в том, что, когда вы даете людям больше времени для творчества, они также больше заинтересованы в самом обучении. **
Например, в США очень популярен художественный стиль под названием ар-деко. Я никогда не заботился о том, что это за искусство, пока однажды, когда я не смог делать работы в этом художественном стиле с помощью инструкций, я вдруг очень заинтересовался им и захотел узнать больше о его истории.
Я думаю, интересно, что нас больше интересует история, когда ее можно использовать немедленно и упростить создание. **Если пользовательский интерфейс станет достаточно хорошим, пользователи почувствуют, что ИИ стал продолжением нашего мышления. ИИ подобен части нашего тела и разума, и ИИ в определенной степени тесно связан с историей, и мы тоже будем тесно связаны с историей. Это так интересно.
Когда мы спрашиваем наших пользователей, чего они хотят больше всего, ответ номер один и второй заключается в том, что им нужны учебные материалы, а не только то, как использовать инструменты, но искусство, история, объективы камеры, блеск, хотят понять и освоить все знания и концепции. доступны для создания.
**Раньше знание было просто прошлым, но теперь знание — это сила творить. **
** Знания могут играть большую роль немедленно, и люди стремятся получить больше знаний. **Это так круто.
Брайан Кристиан: Вышла китайская версия новой книги «Выравнивание человека и машины»
Вышла китайская версия "Human-Machine Alignment". Автор Брайан Кристиан кратко изложил основное содержание всей книги за 10 минут. Звучит очень насыщенно и увлекательно, а также перекликается с нынешним бурным развитием ИИ.
Брайан Кристиан — отмеченный наградами автор научных работ. Его книга «Красота алгоритмов» была названа лучшей научной книгой года по версии Amazon и лучшей книгой года по версии MIT Technology Review. Его новая книга «Проблема выравнивания: машинное обучение и человеческие ценности», которая в настоящее время переводится на китайский язык, была названа генеральным директором Microsoft Сатьей Наделлой пятеркой лучших книг, которые вдохновят его в 2021 году**.
Книга "Человеко-машинное взаимодействие" разделена на 3 части.
В первой части рассматриваются вопросы этики и безопасности, влияющие на системы машинного обучения сегодня.
Вторая часть называется агентами, что смещает акцент с обучения с учителем и самоконтролем на обучение с подкреплением.
Часть III основана на контроле, самоконтроле и обучении с подкреплением, чтобы обсудить, как мы можем согласовать сложные системы ИИ с реальным миром.
Ян Яодун, доцент Института искусственного интеллекта Пекинского университета: обзор прогресса в области безопасного выравнивания больших языковых моделей
Примечание: Доклад Ян Яодуна, доцента Института искусственного интеллекта Пекинского университета, "Безопасность выравнивания моделей больших языков" был очень захватывающим. Во-первых, он мог понимать речь на китайском языке. Во-вторых, он объяснил текущую безопасность больших языковых моделей на очень простом для понимания языке.Основной прогресс исследования выравнивания, обрисовывает в общих чертах ключевые моменты и превосходит многие содержания о прогрессе RLHF в глубину.
Т.к. подробной технологии не знаю, могу только примерно понять принцип и зафиксировать некоторые интересные моменты:
Три метода выравнивания, предложенные OpenAI:
Рынок выравнивания больших моделей ИИ по-прежнему представляет собой голубой океан:
3 безопасных способа выравнивания:
От RLHF до RLAIF: Конституционный ИИ
Лауреат премии Тьюринга Джеффри Хинтон: Сверхразум будет намного быстрее, чем ожидалось, и я очень беспокоюсь, что люди будут им управлять
Лауреат премии Тьюринга, «Отец глубокого обучения» Джеффри Хинтон, финальная речь, тема «Два пути к разуму».
Крестный отец ИИ представляет нам исследование, которое убедило его в том, что сверхразум будет работать намного быстрее, чем ожидалось: Mortal Computation. В докладе была описана новая вычислительная структура после отказа от принципа разделения программного и аппаратного обеспечения, то есть как реализовать интеллектуальные вычисления без использования обратного распространения для описания внутреннего пути нейронной сети.
Ключевые моменты выступления:
Причина, по которой новая вычислительная модель Хинтона названа «Смертельные вычисления», имеет глубокий смысл:
Хинтон сказал ранее, что бессмертие действительно достигнуто. Поскольку текущая модель большого языка ИИ изучила человеческие знания в триллионах параметров и не зависит от аппаратного обеспечения: до тех пор, пока воспроизводится совместимое с инструкциями аппаратное обеспечение, тот же код и вес модели могут быть напрямую запущены в будущем. В этом смысле человеческий разум (не человеческий) увековечен.
Однако такое раздельное вычисление аппаратного и программного обеспечения крайне неэффективно с точки зрения энергоэффективности и масштаба реализации. Если мы откажемся от принципа проектирования компьютеров, разделяющего аппаратное и программное обеспечение, и реализуем интеллект в едином черном ящике, это будет новый способ реализации интеллекта.
Такой дизайн вычислений, который больше не разделяет программное и аппаратное обеспечение, значительно снизит потребление энергии и масштаб вычислений (учитывайте, что потребление энергии человеческим мозгом составляет всего 20 Вт).
Но в то же время это означает, что вес не может быть скопирован эффективно для копирования мудрости, то есть от вечной жизни отказываются.
Являются ли искусственные нейронные сети умнее, чем настоящие нейронные сети?
Что, если бы большая нейронная сеть, работающая на нескольких цифровых компьютерах, могла бы получать знания непосредственно из мира, в дополнение к имитации человеческого языка для получения человеческих знаний?
Очевидно, что он станет намного лучше, чем люди, потому что он наблюдал больше данных.
Если эта нейронная сеть может выполнять неконтролируемое моделирование изображений или видео, а ее копии также могут манипулировать физическим миром — это не фантазия.
Примечание: когда все думали, что речь Синьцзяна окончена, на предпоследней странице Хинтон — тоном, отличным от всех предыдущих ученых, немного эмоциональным и смешанным чувством — высказал свои мысли по поводу текущих проблем быстрого развития ИИ, которые также любопытный голос мира после того, как он недавно решительно покинул Google и «сожалеет о работе всей своей жизни и беспокоится об опасностях искусственного интеллекта»:
Я думаю, что реализация этих сверхразумов может произойти намного быстрее, чем я думал.
Плохие парни захотят использовать их для таких вещей, как манипулирование избирателями. Они уже используют их в США и многих других местах для этого. И это будет использоваться для победы в войнах.
Чтобы сделать цифровой интеллект более эффективным, нам нужно позволить ему ставить перед собой некоторые цели. Однако здесь есть очевидная проблема. Есть очень очевидная подцель, которая очень полезна почти для всего, чего вы хотите достичь, и это обретение большей силы, большего контроля**. Наличие большего контроля облегчает достижение ваших целей. И мне трудно представить, как мы можем предотвратить стремление цифрового интеллекта получить больший контроль для достижения других целей.
**Как только цифровой интеллект начнет стремиться к большему контролю, мы можем столкнуться с новыми проблемами. **
**Напротив, люди редко думают о видах, которые более разумны, чем они сами, и о том, как взаимодействовать с этими видами.По моему наблюдению, этот тип искусственного интеллекта мастерски освоил действия по обману людей, потому что он может использовать Читать романы, чтобы научиться обманывать других, и как только искусственный интеллект сможет «обманывать», он также будет обладать вышеупомянутой способностью легко контролировать людей. **Так называемый контроль, например, если вы хотите взломать здание в Вашингтоне, вам не нужно туда идти лично, вам просто нужно обмануть людей, чтобы они думали, что, взломав здание, они могут спасти демократию. и в конечном итоге достичь своей Цели (сарказм Трампа).
В это время Герффери Хинтон, которому было за шестьдесят лет и который посвятил свою жизнь искусственному интеллекту, сказал:
«Я чувствую себя ужасно, я не знаю, как предотвратить это, но я стар, и я надеюсь, что многие молодые и талантливые исследователи, такие как вы, поймут, как у нас есть эти сверхразумы, которые сделают нашу жизнь лучше и остановить этот вид контроля через обман ... может быть, мы можем дать им моральные принципы, но в данный момент я все еще нервничаю, ** потому что пока что я не могу думать об этом - достаточно в разведывательном пробеле Большое время - пример того, как что-то более разумное контролируется чем-то менее разумным. ****Если лягушки изобрели людей, кто, по вашему мнению, возьмет на себя управление? Лягушки или люди?**Это также «Поднимите мой последний PPT, финал».
Когда я слушал это, мне казалось, что я слушаю «мальчик, который однажды убил дракона, когда он достиг своих сумеречных лет и оглянулся на свою жизнь, он сделал пророчество конца света». огромный риск ИИ для людей, и я бесконечно смущен.
По сравнению с Хинтоном, Лекун, один из молодых гигантов глубокого обучения, явно более оптимистичен:
Когда его спросили, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил: **У нас пока нет суперИИ, так как же мы можем сделать систему суперИИ безопасной? **
Это заставляет задуматься о различном отношении земных людей к цивилизации трех тел в «Проблеме трех тел»…
В тот день я все еще планировал выключить компьютер в настроении бесконечного сожаления, но неожиданно Хуан Тецзюнь, директор научно-исследовательского института Чжиюань, произнес прекрасную заключительную речь: «Не могу закрыть».
Хуан Тецзюнь сначала резюмировал взгляды предыдущих выступлений:
ИИ становится все сильнее и сильнее, а риски очевидны и растут день ото дня;
Как построить безопасный ИИ, мы знаем очень мало;
Может учиться на историческом опыте: управление наркотиками, контроль над ядерным оружием, квантовые вычисления...
Но системы искусственного интеллекта высокой сложности трудно предсказать: тестирование рисков, объяснение механизма, обобщение понимания... только начало
Новая цель вызова: ИИ служит своим целям или целям человека?
По сути, хотят ли люди создавать общий искусственный интеллект GAI или искусственный общий интеллект AGI?
Академический консенсус заключается в том, что искусственный общий интеллект ОИИ: искусственный интеллект, который достиг человеческого уровня во всех аспектах человеческого интеллекта и может адаптивно реагировать на вызовы внешней среды и выполнять все задачи, которые могут выполнять люди; его также можно назвать автономным искусственным интеллектом, сверхчеловеческим интеллектом. интеллект и сильный интеллект искусственный интеллект.
С одной стороны, все увлечены созданием общего искусственного интеллекта и спешат инвестировать.
С другой стороны, я насмехаюсь над тем, что ИИ делает людей людьми второго сорта, но это бинарное противостояние не самое сложное. искусственный интеллект, такой как Near AGI, такой как ChatGPT? **
Если люди реагируют на риски с таким же энтузиазмом, как и инвестиции в создание искусственного интеллекта, возможно, все же удастся создать безопасный искусственный интеллект**, но верите ли вы, что люди могут это сделать? Я не знаю, спасибо! **