Source de l'image : générée par l'outil d'IA illimitée
La tournée européenne de SamAltman est toujours en cours. Il n'y a pas si longtemps, à Londres, il a eu une discussion à huis clos avec le PDG de la société d'intelligence artificielle HumanLooop. HumanLoop est une entreprise qui aide les développeurs à créer des applications sur de grands modèles de langage.
Le PDG de HumanLoop, Raza Habib, a enregistré les points saillants de la conversation et l'a rendu public sur le site Web de l'entreprise. Mais ensuite, à la demande d'OpenAI, le procès-verbal a été retiré. Cela a à son tour augmenté la curiosité du monde extérieur pour la conversation. Certains ont émis l'hypothèse qu'une partie de la réflexion d'OpenAI était impliquée dans ce changement.
Geek Park, après avoir parcouru les minutes supprimées de la conversation, a découvert que cela impliquait non seulement la planification à court terme d'OpenAI aux yeux de Sam, mais cachait également la pression sur OpenAI après avoir reçu un soutien solide des ressources de cloud computing de Microsoft. Après tout, la mise au point et le raisonnement des modèles consomment encore beaucoup de ressources informatiques. Selon The Information, le modèle d'Open AI a coûté 1,2 milliard de dollars à Microsoft Azure, concentrant les ressources informatiques sur la prise en charge d'OpenAI et limitant les serveurs disponibles pour les autres départements de Microsoft.
À cet égard, Sam a déclaré que la réduction des coûts est l'objectif principal à l'heure actuelle.
En outre, Sam a également révélé qu'à l'heure actuelle, des services tels que l'ouverture de fenêtres contextuelles plus longues et la fourniture d'API de réglage fin sont limités par les ressources GPU ;
Dans cette conversation, Sam Altman a répondu à de nombreuses préoccupations extérieures, telles que la concurrence et la commercialisation :
Malgré l'embauche d'un chef de produit de classe mondiale, Peter Deng, OpenAI n'envisagera pas de publier plus de produits ;
La tendance future des applications est d'intégrer les fonctions du grand modèle dans plus d'applications au lieu de développer plus de plug-ins sur ChatGPT, car en réalité la plupart des plug-ins n'affichent pas le PMF (Product / Market Fit, c'est-à-dire l'ajustement produit-marché );
Au cours des dernières années, OpenAI a augmenté la taille du modèle des millions de fois, mais cette vitesse n'est pas durable. Ensuite, OpenAI continuera à augmenter la taille du modèle à un taux de 1 à 3 fois pour améliorer les performances du modèle.
Le procès-verbal de la conversation a été rendu public le 29 mai et supprimé vers le 3 juin selon les enregistrements des internautes. Voici ce que vous obtenez avec la sauvegarde :
01, OpenAI est actuellement sévèrement limité par le GPU
À mesure que les conversations évoluent, les ressources informatiques requises augmentent de manière exponentielle
OpenAI dispose actuellement de GPU très limités, ce qui a retardé bon nombre de leurs plans à court terme. Les principales plaintes des clients concernent la fiabilité et la rapidité de l'API. Sam a reconnu leurs préoccupations, expliquant que la plupart des problèmes étaient dus à une pénurie de GPU.
Le contexte 32k plus long ne peut pas encore être étendu à plus de personnes. OpenAI n'a pas surmonté l'échelle d'attention O (n ^ 2) et donc, bien qu'il semble plausible, ils auraient bientôt 100 000 à 1 million de fenêtres contextuelles de jetons (cette année), quoi que ce soit de plus grand nécessiterait une percée dans la recherche.
Les contextes 32K plus longs ne sont pas disponibles pour plus de personnes. OpenAI n'a pas surmonté le problème de mise à l'échelle O(n^2) du mécanisme d'attention, bien qu'il semble qu'ils auront bientôt (cette année) une fenêtre de contexte de 100k-1M Token. Toute fenêtre plus grande nécessiterait des percées dans la recherche.
*Remarque : O (n^2) signifie qu'à mesure que la longueur de la séquence augmente, les ressources informatiques nécessaires pour effectuer les calculs d'Attention augmentent de façon exponentielle. O est utilisé pour décrire la limite supérieure ou le pire cas du taux de croissance de la complexité temporelle ou spatiale de l'algorithme ; (n^2) signifie que la complexité est proportionnelle au carré de la taille de l'entrée. *
L'API de réglage fin est également actuellement limitée par la disponibilité du GPU. Ils n'ont pas utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa, donc l'exécution et la gestion (du modèle) par le biais d'un réglage fin nécessitent beaucoup de calculs. Un meilleur support pour le réglage fin sera fourni à l'avenir. Ils pourraient même héberger un marché communautaire pour les contributions de modèles.
Le provisionnement de capacité dédiée est limité par la disponibilité du GPU. OpenAI offre une capacité dédiée, fournissant aux clients une copie privée du modèle. Pour obtenir le service, les clients doivent être prêts à s'engager à payer 100 000 $ à l'avance.
02, la feuille de route récente d'OpenAI
2023, réduction intelligente des coûts ; 2024, démonstration limitée de la multimodalité
Sam a également partagé ce qu'il considère comme une feuille de route provisoire à court terme pour l'API OpenAI.
2023 :
GPT-4 moins cher et plus rapide - c'est leur priorité absolue. Dans l'ensemble, l'objectif d'OpenAI est de réduire autant que possible le "coût de l'intelligence". Ils travailleront donc dur pour continuer à réduire le coût de l'API au fil du temps.
Fenêtre contextuelle plus longue — dans un avenir proche, la fenêtre contextuelle pourrait atteindre 1 million de jetons.
API de réglage fin - L'API de réglage fin sera étendue aux derniers modèles, mais la forme exacte dépendra de ce que les développeurs disent qu'ils veulent vraiment.
Une API avec état - Lorsque vous appelez l'API de chat aujourd'hui, vous devez parcourir le même historique de session encore et encore, en payant les mêmes jetons encore et encore. Il y aura une future version de l'API qui se souviendra de l'historique des sessions.
2024：
Multimodal - Ceci est démontré dans le cadre de la version GPT-4, mais ne s'adaptera pas à tout le monde tant que d'autres GPU ne seront pas en ligne.
03. Prédiction et réflexion commerciales : les plug-ins "sans PMF" pourraient ne pas apparaître prochainement dans l'API
De nombreux développeurs souhaitent rendre les plugins ChatGPT accessibles via l'API, mais Sam a déclaré qu'il ne pensait pas que ceux-ci seraient publiés de si tôt. En plus du plug-in Brosing, l'utilisation d'autres plug-ins montre qu'il n'y a pas de PMF (Product/Market Fit). Il a souligné que beaucoup de gens pensent qu'ils veulent que leur application soit dans ChatGPT, mais ce qu'ils veulent vraiment, c'est ChatGPT dans l'application.
04. À l'exception de ChatGPT, OpenAI évitera de concurrencer ses clients
Les grandes entreprises ont une application qui tue
De nombreux développeurs ont déclaré qu'ils étaient nerveux à l'idée de développer avec l'API OpenAI, car OpenAI pourrait éventuellement publier des produits qui leur font concurrence. Sam a déclaré qu'OpenAI ne publierait plus de produits en dehors de ChatGPT. Historiquement, les grandes entreprises de plateformes ont eu une application qui tue, a-t-il déclaré. ChatGPT permettra aux développeurs de devenir clients de leurs propres produits pour améliorer l'API. La vision de ChatGPT est de devenir un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT dans lesquels OpenAI ne sera pas impliqué.
05. Une réglementation est nécessaire, mais pas maintenant
"Je suis sceptique quant au nombre de personnes et d'entreprises capables de tenir de grands modèles"
Alors que Sam a appelé à la réglementation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et que les réglementer ou les interdire serait une grave erreur. Il a réitéré l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source. Ils n'ont pas encore été open source, en partie parce qu'il est sceptique quant au nombre d'individus et d'entreprises capables de détenir et de servir de grands modèles linguistiques (LLM).
06. Les lois de l'échelle s'appliquent toujours
La vitesse d'expansion de millions de fois en quelques années ne peut pas durer éternellement.
Il y a eu beaucoup d'articles ces derniers temps affirmant que "l'ère des modèles géants d'IA est révolue". Ce n'est pas exact. (Remarque : lors d'un événement au MIT en avril, Sam Altman a déclaré : nous approchons maintenant de la fin de l'ère des modèles gigantesques.)
Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle s'appliquent toujours, et l'augmentation de la taille du modèle continuera d'améliorer les performances.
Étant donné qu'OpenAI a mis à l'échelle des modèles des millions de fois en quelques années seulement, ce taux de mise à l'échelle ne peut pas être maintenu. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer de rendre les modèles plus grands, mais cela signifie qu'ils sont susceptibles de doubler ou de tripler de taille chaque année, plutôt que de plusieurs ordres de grandeur.
Le fait que les lois d'échelle soient en vigueur a des implications importantes pour le calendrier de développement de l'AGI. L'hypothèse de la loi d'échelle est que nous avons probablement déjà la plupart des ingrédients nécessaires pour construire l'AGI, et que le reste du travail consiste principalement à adapter les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère de l'échelle est révolue, nous sommes peut-être encore plus éloignés de l'AGI. Le fait que les lois de la taille continuent de s'appliquer implique fortement un délai plus court.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Suppression des minutes de discussion de Sam Altman : l'IA ouverte manque également de GPU, la réduction des coûts est l'objectif principal
Auteur | Comté de Lingzi
Éditeur | Wei Shijie
Source丨Geek Park
La tournée européenne de SamAltman est toujours en cours. Il n'y a pas si longtemps, à Londres, il a eu une discussion à huis clos avec le PDG de la société d'intelligence artificielle HumanLooop. HumanLoop est une entreprise qui aide les développeurs à créer des applications sur de grands modèles de langage.
Le PDG de HumanLoop, Raza Habib, a enregistré les points saillants de la conversation et l'a rendu public sur le site Web de l'entreprise. Mais ensuite, à la demande d'OpenAI, le procès-verbal a été retiré. Cela a à son tour augmenté la curiosité du monde extérieur pour la conversation. Certains ont émis l'hypothèse qu'une partie de la réflexion d'OpenAI était impliquée dans ce changement.
Geek Park, après avoir parcouru les minutes supprimées de la conversation, a découvert que cela impliquait non seulement la planification à court terme d'OpenAI aux yeux de Sam, mais cachait également la pression sur OpenAI après avoir reçu un soutien solide des ressources de cloud computing de Microsoft. Après tout, la mise au point et le raisonnement des modèles consomment encore beaucoup de ressources informatiques. Selon The Information, le modèle d'Open AI a coûté 1,2 milliard de dollars à Microsoft Azure, concentrant les ressources informatiques sur la prise en charge d'OpenAI et limitant les serveurs disponibles pour les autres départements de Microsoft.
À cet égard, Sam a déclaré que la réduction des coûts est l'objectif principal à l'heure actuelle.
En outre, Sam a également révélé qu'à l'heure actuelle, des services tels que l'ouverture de fenêtres contextuelles plus longues et la fourniture d'API de réglage fin sont limités par les ressources GPU ;
Dans cette conversation, Sam Altman a répondu à de nombreuses préoccupations extérieures, telles que la concurrence et la commercialisation :
Malgré l'embauche d'un chef de produit de classe mondiale, Peter Deng, OpenAI n'envisagera pas de publier plus de produits ;
La tendance future des applications est d'intégrer les fonctions du grand modèle dans plus d'applications au lieu de développer plus de plug-ins sur ChatGPT, car en réalité la plupart des plug-ins n'affichent pas le PMF (Product / Market Fit, c'est-à-dire l'ajustement produit-marché );
Au cours des dernières années, OpenAI a augmenté la taille du modèle des millions de fois, mais cette vitesse n'est pas durable. Ensuite, OpenAI continuera à augmenter la taille du modèle à un taux de 1 à 3 fois pour améliorer les performances du modèle.
Le procès-verbal de la conversation a été rendu public le 29 mai et supprimé vers le 3 juin selon les enregistrements des internautes. Voici ce que vous obtenez avec la sauvegarde :
01, OpenAI est actuellement sévèrement limité par le GPU
À mesure que les conversations évoluent, les ressources informatiques requises augmentent de manière exponentielle
OpenAI dispose actuellement de GPU très limités, ce qui a retardé bon nombre de leurs plans à court terme. Les principales plaintes des clients concernent la fiabilité et la rapidité de l'API. Sam a reconnu leurs préoccupations, expliquant que la plupart des problèmes étaient dus à une pénurie de GPU.
Le contexte 32k plus long ne peut pas encore être étendu à plus de personnes. OpenAI n'a pas surmonté l'échelle d'attention O (n ^ 2) et donc, bien qu'il semble plausible, ils auraient bientôt 100 000 à 1 million de fenêtres contextuelles de jetons (cette année), quoi que ce soit de plus grand nécessiterait une percée dans la recherche.
Les contextes 32K plus longs ne sont pas disponibles pour plus de personnes. OpenAI n'a pas surmonté le problème de mise à l'échelle O(n^2) du mécanisme d'attention, bien qu'il semble qu'ils auront bientôt (cette année) une fenêtre de contexte de 100k-1M Token. Toute fenêtre plus grande nécessiterait des percées dans la recherche.
*Remarque : O (n^2) signifie qu'à mesure que la longueur de la séquence augmente, les ressources informatiques nécessaires pour effectuer les calculs d'Attention augmentent de façon exponentielle. O est utilisé pour décrire la limite supérieure ou le pire cas du taux de croissance de la complexité temporelle ou spatiale de l'algorithme ; (n^2) signifie que la complexité est proportionnelle au carré de la taille de l'entrée. *
L'API de réglage fin est également actuellement limitée par la disponibilité du GPU. Ils n'ont pas utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa, donc l'exécution et la gestion (du modèle) par le biais d'un réglage fin nécessitent beaucoup de calculs. Un meilleur support pour le réglage fin sera fourni à l'avenir. Ils pourraient même héberger un marché communautaire pour les contributions de modèles.
Le provisionnement de capacité dédiée est limité par la disponibilité du GPU. OpenAI offre une capacité dédiée, fournissant aux clients une copie privée du modèle. Pour obtenir le service, les clients doivent être prêts à s'engager à payer 100 000 $ à l'avance.
02, la feuille de route récente d'OpenAI
2023, réduction intelligente des coûts ; 2024, démonstration limitée de la multimodalité
Sam a également partagé ce qu'il considère comme une feuille de route provisoire à court terme pour l'API OpenAI.
2023 :
GPT-4 moins cher et plus rapide - c'est leur priorité absolue. Dans l'ensemble, l'objectif d'OpenAI est de réduire autant que possible le "coût de l'intelligence". Ils travailleront donc dur pour continuer à réduire le coût de l'API au fil du temps.
Fenêtre contextuelle plus longue — dans un avenir proche, la fenêtre contextuelle pourrait atteindre 1 million de jetons.
API de réglage fin - L'API de réglage fin sera étendue aux derniers modèles, mais la forme exacte dépendra de ce que les développeurs disent qu'ils veulent vraiment.
Une API avec état - Lorsque vous appelez l'API de chat aujourd'hui, vous devez parcourir le même historique de session encore et encore, en payant les mêmes jetons encore et encore. Il y aura une future version de l'API qui se souviendra de l'historique des sessions.
2024：
Multimodal - Ceci est démontré dans le cadre de la version GPT-4, mais ne s'adaptera pas à tout le monde tant que d'autres GPU ne seront pas en ligne.
03. Prédiction et réflexion commerciales : les plug-ins "sans PMF" pourraient ne pas apparaître prochainement dans l'API
De nombreux développeurs souhaitent rendre les plugins ChatGPT accessibles via l'API, mais Sam a déclaré qu'il ne pensait pas que ceux-ci seraient publiés de si tôt. En plus du plug-in Brosing, l'utilisation d'autres plug-ins montre qu'il n'y a pas de PMF (Product/Market Fit). Il a souligné que beaucoup de gens pensent qu'ils veulent que leur application soit dans ChatGPT, mais ce qu'ils veulent vraiment, c'est ChatGPT dans l'application.
04. À l'exception de ChatGPT, OpenAI évitera de concurrencer ses clients
Les grandes entreprises ont une application qui tue
De nombreux développeurs ont déclaré qu'ils étaient nerveux à l'idée de développer avec l'API OpenAI, car OpenAI pourrait éventuellement publier des produits qui leur font concurrence. Sam a déclaré qu'OpenAI ne publierait plus de produits en dehors de ChatGPT. Historiquement, les grandes entreprises de plateformes ont eu une application qui tue, a-t-il déclaré. ChatGPT permettra aux développeurs de devenir clients de leurs propres produits pour améliorer l'API. La vision de ChatGPT est de devenir un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT dans lesquels OpenAI ne sera pas impliqué.
05. Une réglementation est nécessaire, mais pas maintenant
"Je suis sceptique quant au nombre de personnes et d'entreprises capables de tenir de grands modèles"
Alors que Sam a appelé à la réglementation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et que les réglementer ou les interdire serait une grave erreur. Il a réitéré l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source. Ils n'ont pas encore été open source, en partie parce qu'il est sceptique quant au nombre d'individus et d'entreprises capables de détenir et de servir de grands modèles linguistiques (LLM).
06. Les lois de l'échelle s'appliquent toujours
La vitesse d'expansion de millions de fois en quelques années ne peut pas durer éternellement.
Il y a eu beaucoup d'articles ces derniers temps affirmant que "l'ère des modèles géants d'IA est révolue". Ce n'est pas exact. (Remarque : lors d'un événement au MIT en avril, Sam Altman a déclaré : nous approchons maintenant de la fin de l'ère des modèles gigantesques.)
Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle s'appliquent toujours, et l'augmentation de la taille du modèle continuera d'améliorer les performances.
Étant donné qu'OpenAI a mis à l'échelle des modèles des millions de fois en quelques années seulement, ce taux de mise à l'échelle ne peut pas être maintenu. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer de rendre les modèles plus grands, mais cela signifie qu'ils sont susceptibles de doubler ou de tripler de taille chaque année, plutôt que de plusieurs ordres de grandeur.
Le fait que les lois d'échelle soient en vigueur a des implications importantes pour le calendrier de développement de l'AGI. L'hypothèse de la loi d'échelle est que nous avons probablement déjà la plupart des ingrédients nécessaires pour construire l'AGI, et que le reste du travail consiste principalement à adapter les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère de l'échelle est révolue, nous sommes peut-être encore plus éloignés de l'AGI. Le fait que les lois de la taille continuent de s'appliquer implique fortement un délai plus court.