Последнее откровение Альтмана: существует острая нехватка графических процессоров, и в следующем году планируется открыть исходный код GPT-3 и открыть мультимодальность.
Хотя Альтман призывает к регулированию будущего ИИ, он не считает нынешнюю модель опасной и считает, что регулировать или запрещать ее было бы большой ошибкой.
·Внутренние данные OpenAI показывают, что законы масштабирования производительности модели (законы масштабирования) все еще действуют, увеличение размера модели будет продолжать обеспечивать производительность.
Источник изображения: сгенерировано инструментом Unbounded AI
На прошлой неделе более 20 разработчиков, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор платформы разработки ИИ HumanLoop Раза Хабиб, провели закрытую встречу, чтобы обсудить API OpenAI (интерфейс прикладного программирования) и планы продуктов. Несколько дней спустя Раза Хабиби опубликовал подробный отчет об основных моментах встречи.
В ходе обсуждения Альтман очень откровенно признал, что OpenAI в настоящее время ограничен GPU (графическим процессором), и рассказал о плане открытого исходного кода GPT-3, текущем главном приоритете OpenAI и социальном влиянии искусственного интеллекта. Хотя Альтман призывает к регулированию будущего ИИ, он не считает текущую модель опасной.
Альтман также сказал, что внутренние данные OpenAI показывают, что закон о том, что производительность модели пропорциональна масштабу, по-прежнему верен, то есть чем больше модель, тем выше производительность. OpenAI продолжит попытки сделать модели больше, но они, вероятно, будут увеличиваться только вдвое или втрое каждый год, а не на много порядков.
В настоящее время сильно ограничены GPU
На протяжении всего обсуждения постоянно повторялась тема о том, что нынешняя сильная зависимость OpenAI от графических процессоров отложила многие из их краткосрочных планов.
OpenAI получил больше всего жалоб пользователей на надежность и скорость API. Альтман понял их опасения и объяснил, что большая часть проблемы была вызвана нехваткой ресурсов графического процессора.
Функция контекста 32k токенов, ранее поддерживаемая ChatGPT, не может быть распространена на большее количество людей, и у OpenAI все еще есть некоторые проблемы, которые необходимо решить, поэтому, хотя вскоре у них может быть окно контекста 100k-1M токенов, их все еще необходимо получить в исследовательском прорыве.
API тонкой настройки также в настоящее время ограничен ресурсами графического процессора. Они еще не использовали эффективные методы точной настройки, такие как адаптеры или LoRa (два распространенных метода точной настройки для больших моделей), поэтому точная настройка работы и управления требует очень больших вычислительных ресурсов. В будущем появятся лучшие способы тонкой настройки. Они могут даже разместить рынок для моделей, предоставленных сообществом.
Предоставление выделенной емкости также ограничено ресурсами графического процессора. OpenAI предоставляет выделенную емкость для клиентов с личными потребностями, позволяя клиентам запускать личные данные в выделенном пространстве. Чтобы получить доступ к этой услуге, клиенты должны внести аванс в размере 100 000 долларов США.
Дорожная карта OpenAI
Сэм поделился предварительной краткосрочной дорожной картой для OpenAI API.
В 2023 году первая задача - добиться более дешевого и быстрого GPT-4; вторая - более длинное окно контекста - в ближайшее время окно контекста может дойти до 1 млн токенов; третья - API тонкой настройки будет расширяться до последняя модель, но конкретная форма будет определяться реальными потребностями разработчиков; в-четвертых, stateful API — при вызове API чата сегодня необходимо многократно передавать одну и ту же историю разговоров и повторно оплачивать одни и те же токены. , будет версия API, которая запоминает историю разговоров.
В 2024 году будут открыты мультимодальные возможности. Когда GPT-4 был выпущен, он продемонстрировал мощные мультимодальные возможности, но пока графические процессоры не будут удовлетворены, эта возможность не может быть распространена на всех.
Многие разработчики заинтересованы в доступе к плагинам ChatGPT через API, но Альтман не думает, что эти плагины будут выпущены в ближайшее время. Помимо просмотра, система плагинов еще не нашла PMF (Product Market Fit, наилучшее соответствие между продуктом и рынком).
Альтман отметил, что многие люди думают, что хотят, чтобы их приложение было внутри ChatGPT, но на самом деле они хотят, чтобы ChatGPT был внутри приложения.
Альтман сказал, что OpenAI не будет выпускать больше продуктов, чем ChatGPT.
Он сказал, что по соглашению у отличной платформы должно быть убойное приложение, и ChatGPT собирается сделать это приложение-рекордсмен. Видение ChatGPT состоит в том, чтобы быть супер-умным помощником для работы, но есть много других вариантов использования GPT, которые OpenAI не коснется.
Применяются законы масштабирования
Хотя Альтман призывает к регулированию будущего ИИ, он не считает нынешнюю модель опасной и считает, что регулировать или запрещать ее было бы большой ошибкой.
Он подтвердил свою веру в важность открытого исходного кода и сказал, что OpenAI рассматривает возможность сделать GPT-3 открытым исходным кодом. Причина, по которой он не был открытым исходным кодом, заключается в том, что они считают, что не так много людей и компаний имеют возможность должным образом управлять такой большой языковой моделью.
Во многих недавних статьях цитируется высказывание Альтмана о том, что «эпоха гигантских моделей искусственного интеллекта закончилась», но это не совсем точно отражает его первоначальный смысл. Он сказал, что внутренние данные OpenAI показывают, что законы масштабирования производительности модели (законы масштабирования) все еще действуют, увеличение размера модели будет продолжать обеспечивать производительность. Скорость масштабирования действительно неустойчива, поскольку OpenAI увеличил модель в миллионы раз всего за несколько лет, и продолжать делать это в будущем нецелесообразно. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше, это просто означает, что они, вероятно, будут увеличиваться только вдвое или втрое каждый год, а не на много порядков.
По словам Альтмана, тот факт, что законы масштабирования остаются в силе, имеет важные последствия для сроков разработки AGI (искусственного общего интеллекта). Закон масштабирования предполагает, что у нас, вероятно, уже есть большинство частей, необходимых для создания ОИИ, и что большая часть оставшейся работы будет связана с масштабированием существующих методов до более крупных моделей и более крупных наборов данных. Если эра законов масштабирования закончилась, нам, вероятно, следует ожидать, что AGI будет еще далеко. Тот факт, что законы масштабирования продолжают работать, убедительно свидетельствует о том, что достижение AGI должно быть коротким.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Последнее откровение Альтмана: существует острая нехватка графических процессоров, и в следующем году планируется открыть исходный код GPT-3 и открыть мультимодальность.
Источник: Бумага
Репортер Шао Вэнь
Хотя Альтман призывает к регулированию будущего ИИ, он не считает нынешнюю модель опасной и считает, что регулировать или запрещать ее было бы большой ошибкой.
·Внутренние данные OpenAI показывают, что законы масштабирования производительности модели (законы масштабирования) все еще действуют, увеличение размера модели будет продолжать обеспечивать производительность.
На прошлой неделе более 20 разработчиков, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор платформы разработки ИИ HumanLoop Раза Хабиб, провели закрытую встречу, чтобы обсудить API OpenAI (интерфейс прикладного программирования) и планы продуктов. Несколько дней спустя Раза Хабиби опубликовал подробный отчет об основных моментах встречи.
В ходе обсуждения Альтман очень откровенно признал, что OpenAI в настоящее время ограничен GPU (графическим процессором), и рассказал о плане открытого исходного кода GPT-3, текущем главном приоритете OpenAI и социальном влиянии искусственного интеллекта. Хотя Альтман призывает к регулированию будущего ИИ, он не считает текущую модель опасной.
Альтман также сказал, что внутренние данные OpenAI показывают, что закон о том, что производительность модели пропорциональна масштабу, по-прежнему верен, то есть чем больше модель, тем выше производительность. OpenAI продолжит попытки сделать модели больше, но они, вероятно, будут увеличиваться только вдвое или втрое каждый год, а не на много порядков.
В настоящее время сильно ограничены GPU
На протяжении всего обсуждения постоянно повторялась тема о том, что нынешняя сильная зависимость OpenAI от графических процессоров отложила многие из их краткосрочных планов.
OpenAI получил больше всего жалоб пользователей на надежность и скорость API. Альтман понял их опасения и объяснил, что большая часть проблемы была вызвана нехваткой ресурсов графического процессора.
Функция контекста 32k токенов, ранее поддерживаемая ChatGPT, не может быть распространена на большее количество людей, и у OpenAI все еще есть некоторые проблемы, которые необходимо решить, поэтому, хотя вскоре у них может быть окно контекста 100k-1M токенов, их все еще необходимо получить в исследовательском прорыве.
API тонкой настройки также в настоящее время ограничен ресурсами графического процессора. Они еще не использовали эффективные методы точной настройки, такие как адаптеры или LoRa (два распространенных метода точной настройки для больших моделей), поэтому точная настройка работы и управления требует очень больших вычислительных ресурсов. В будущем появятся лучшие способы тонкой настройки. Они могут даже разместить рынок для моделей, предоставленных сообществом.
Предоставление выделенной емкости также ограничено ресурсами графического процессора. OpenAI предоставляет выделенную емкость для клиентов с личными потребностями, позволяя клиентам запускать личные данные в выделенном пространстве. Чтобы получить доступ к этой услуге, клиенты должны внести аванс в размере 100 000 долларов США.
Дорожная карта OpenAI
Сэм поделился предварительной краткосрочной дорожной картой для OpenAI API.
В 2023 году первая задача - добиться более дешевого и быстрого GPT-4; вторая - более длинное окно контекста - в ближайшее время окно контекста может дойти до 1 млн токенов; третья - API тонкой настройки будет расширяться до последняя модель, но конкретная форма будет определяться реальными потребностями разработчиков; в-четвертых, stateful API — при вызове API чата сегодня необходимо многократно передавать одну и ту же историю разговоров и повторно оплачивать одни и те же токены. , будет версия API, которая запоминает историю разговоров.
В 2024 году будут открыты мультимодальные возможности. Когда GPT-4 был выпущен, он продемонстрировал мощные мультимодальные возможности, но пока графические процессоры не будут удовлетворены, эта возможность не может быть распространена на всех.
Многие разработчики заинтересованы в доступе к плагинам ChatGPT через API, но Альтман не думает, что эти плагины будут выпущены в ближайшее время. Помимо просмотра, система плагинов еще не нашла PMF (Product Market Fit, наилучшее соответствие между продуктом и рынком).
Альтман отметил, что многие люди думают, что хотят, чтобы их приложение было внутри ChatGPT, но на самом деле они хотят, чтобы ChatGPT был внутри приложения.
Альтман сказал, что OpenAI не будет выпускать больше продуктов, чем ChatGPT.
Он сказал, что по соглашению у отличной платформы должно быть убойное приложение, и ChatGPT собирается сделать это приложение-рекордсмен. Видение ChatGPT состоит в том, чтобы быть супер-умным помощником для работы, но есть много других вариантов использования GPT, которые OpenAI не коснется.
Применяются законы масштабирования
Хотя Альтман призывает к регулированию будущего ИИ, он не считает нынешнюю модель опасной и считает, что регулировать или запрещать ее было бы большой ошибкой.
Он подтвердил свою веру в важность открытого исходного кода и сказал, что OpenAI рассматривает возможность сделать GPT-3 открытым исходным кодом. Причина, по которой он не был открытым исходным кодом, заключается в том, что они считают, что не так много людей и компаний имеют возможность должным образом управлять такой большой языковой моделью.
Во многих недавних статьях цитируется высказывание Альтмана о том, что «эпоха гигантских моделей искусственного интеллекта закончилась», но это не совсем точно отражает его первоначальный смысл. Он сказал, что внутренние данные OpenAI показывают, что законы масштабирования производительности модели (законы масштабирования) все еще действуют, увеличение размера модели будет продолжать обеспечивать производительность. Скорость масштабирования действительно неустойчива, поскольку OpenAI увеличил модель в миллионы раз всего за несколько лет, и продолжать делать это в будущем нецелесообразно. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше, это просто означает, что они, вероятно, будут увеличиваться только вдвое или втрое каждый год, а не на много порядков.
По словам Альтмана, тот факт, что законы масштабирования остаются в силе, имеет важные последствия для сроков разработки AGI (искусственного общего интеллекта). Закон масштабирования предполагает, что у нас, вероятно, уже есть большинство частей, необходимых для создания ОИИ, и что большая часть оставшейся работы будет связана с масштабированием существующих методов до более крупных моделей и более крупных наборов данных. Если эра законов масштабирования закончилась, нам, вероятно, следует ожидать, что AGI будет еще далеко. Тот факт, что законы масштабирования продолжают работать, убедительно свидетельствует о том, что достижение AGI должно быть коротким.