Le 9 juin, la "Conférence Beijing Zhiyuan" de deux jours a été inaugurée avec succès au Centre de conférence de la zone de démonstration de l'innovation nationale indépendante de Zhongguancun.
La conférence Zhiyuan est un événement annuel d'échange professionnel international haut de gamme sur l'intelligence artificielle organisé par l'Institut de recherche Zhiyuan (également connu comme le plus puissant institut chinois de recherche sur l'IA d'OpenAI en Chine). Gala du festival de printemps "- comme on peut le voir dans la liste des participants invités:
** Lauréats du prix Turing Geoffrey Hinton, Yann LeCun ** (c'est aussi le deuxième des trois grands en apprentissage en profondeur, un autre Bengio a assisté à la conférence précédente), Joseph Sifakis et Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin et d'autres académiciens, Stuart Russell, fondateur du Center for Artificial Intelligence Systems de l'Université de Californie à Berkeley, Max Tegmark, fondateur du Future of Life Institute du Massachusetts Institute of Technology, ** Sam Altman, PDG d'OpenAI ** (c'est aussi son premier discours en Chine, bien qu'il soit en ligne), Meta, Microsoft, Google et d'autres grandes entreprises et DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI et d'autres membres vedettes de l'équipe, un total de plus de 200 les meilleurs experts en intelligence artificielle...
Au cours des deux derniers jours, j'ai suivi la diffusion en direct de la conférence.En tant qu'étudiant en arts libéraux qui ne comprend pas la technologie, j'ai écouté avec beaucoup d'intérêt et j'ai beaucoup appris.
Cependant, après avoir lu le discours de Geoffrey Hinton, le dernier lauréat du prix Turing et "père de l'apprentissage en profondeur", une émotion forte et complexe m'a enveloppé :
D'une part, en voyant les chercheurs en IA explorer et imaginer diverses technologies de pointe, ils auront naturellement plus confiance dans la réalisation de l'IA et même de la future intelligence artificielle générale AGI** ;
D'autre part, entendre les experts et universitaires de pointe discuter des risques de l'IA, ainsi que de l'ignorance et du mépris humains quant à la manière de gérer les risques, et plein d'inquiétudes quant à l'avenir des êtres humains - le problème le plus essentiel, dans Les mots de Hinton sont : l'histoire Il n'y a jamais eu de précédent dans le monde où une chose plus intelligente était contrôlée par une chose moins intelligente ** Si les grenouilles inventent les humains, qui pensez-vous prendra le contrôle ? Est-ce une grenouille ou un humain ? **
En raison de l'explosion d'informations lors de la conférence de deux jours, j'ai pris le temps de trier les documents de certains discours importants et j'ai enregistré certaines de mes réflexions en passant, afin que je puisse les revoir plus tard et les partager avec tous ceux qui se soucie des progrès de l'IA.
Explication : La partie marquée d'une [note] ci-dessous est mon opinion personnelle, et le contenu est résumé comme une citation (je ne peux pas l'écrire -_-|| en raison de mes capacités limitées), la source est le lien à la fin de chaque partie, et certaines d'entre elles ont été modifiées.
** Sam Altman, PDG d'OpenAI: AGI pourrait apparaître d'ici dix ans **
Lors du forum "AI Safety and Alignment" qui s'est tenu toute la journée du 10 juin, le co-fondateur d'OpenAI, Sam Altman, a prononcé un discours d'ouverture - également son premier discours en Chine, bien qu'il soit en ligne.
La conférence a donné un aperçu de l'interprétabilité, de l'évolutivité et de la généralisabilité des modèles. Par la suite, Sam Altman et Zhang Hongjiang, président du Zhiyuan Research Institute, ont organisé une séance de questions-réponses au sommet, discutant principalement de la manière d'approfondir la coopération internationale, de mener des recherches plus sûres sur l'IA et de gérer les risques futurs de l'IA à l'ère actuelle de modèles d'IA à grande échelle.
Excellent résumé :
La raison pour laquelle la révolution actuelle de l'IA est si percutante n'est pas seulement l'ampleur de son impact, mais aussi la vitesse de sa progression. Cela apporte à la fois des dividendes et des risques.
Les dividendes potentiels de l'IA sont énormes. Mais nous devons gérer le risque ensemble afin de pouvoir l'utiliser pour améliorer la productivité et le niveau de vie.
Avec l'avènement de systèmes d'IA de plus en plus puissants*, les enjeux de la coopération mondiale n'ont jamais été aussi élevés. Les grandes puissances ont souvent des divergences d'opinion dans l'histoire, mais sur certaines des questions les plus importantes, la coopération et la coordination sont nécessaires. ** Faire progresser la sécurité AGI est l'un des domaines les plus importants dans lesquels nous devons ** trouver des intérêts communs **. Dans son discours, Altman a souligné à plusieurs reprises la nécessité d'un alignement et d'une supervision de la sécurité mondiale de l'IA, et a spécifiquement cité une phrase du Tao Te Ching : Un voyage de mille kilomètres commence par un seul pas. L'alignement est toujours un problème ouvert.
**Imaginez un futur système AGI avec peut-être 100 000 lignes de code binaire, il est peu probable que les superviseurs humains découvrent si un tel modèle fait quelque chose de néfaste. **
**GPT-4 a mis huit mois pour achever l'alignement. **Cependant, la recherche associée est toujours en cours d'amélioration.**Elle est principalement divisée en deux aspects : l'évolutivité et l'interprétabilité. L'un est la supervision évolutive, essayant d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'intelligence artificielle. La seconde est l'interprétabilité, en essayant de comprendre la "boîte noire" du fonctionnement interne du grand modèle. En fin de compte, OpenAI vise à former des systèmes d'IA pour aider à la recherche d'alignement.
Interrogé par Zhang Hongjiang sur la distance qui nous sépare de l'ère de l'intelligence artificielle générale (AGI), Sam Altman a déclaré : "Dans les 10 prochaines années, des systèmes de super IA verront le jour, mais il est difficile de prédire le moment précis." , il a également souligné : "La vitesse à laquelle les nouvelles technologies ont complètement changé le monde est bien au-delà de l'imagination."
Lorsqu'on lui a demandé si OpenAI ouvrira de grands modèles, ** Altman a déclaré qu'il y aura plus d'open source à l'avenir, mais il n'y a pas de modèle ni de calendrier spécifiques. En outre, il a également déclaré qu'il n'y aurait pas de GPT-5 de sitôt. ** Après la réunion, Altman a publié un message pour exprimer sa gratitude d'avoir été invité à prononcer un discours à la conférence de Zhiyuan.
Yang Likun, lauréat du prix Turing : Personne n'utilisera le modèle GPT dans cinq ans, et le modèle mondial est l'avenir d'AGI
Yang Likun, l'un des trois géants de l'apprentissage en profondeur et lauréat du prix Turing, a prononcé un discours liminaire intitulé "Vers des machines capables d'apprendre, de raisonner et de planifier". Comme toujours, il a remis en question le courant. L'itinéraire du LLM propose une autre idée. d'une machine capable d'apprendre, de raisonner et de planifier : le modèle mondial.
Points clés du discours :
** La capacité de l'IA est encore loin de la capacité des humains et des animaux - l'écart se reflète principalement dans le raisonnement logique et la planification, et le grand modèle ne peut que "répondre instinctivement" à l'heure actuelle. ****Qu'est-ce que l'apprentissage auto-supervisé ? L'apprentissage auto-supervisé consiste à capturer les dépendances dans les entrées. **
Le système de formation capture les dépendances entre ce que nous voyons et ce que nous n'avons pas vu. Les performances des grands modèles actuels sont étonnantes s'ils sont formés sur des données d'un billion de jetons ou de deux billions de jetons.
**On se laisse facilement berner par sa fluidité. Mais à la fin, ils font des erreurs stupides. Ils commettent des erreurs factuelles, des erreurs logiques, des incohérences, ils ont un raisonnement limité, ils produisent des contenus préjudiciables. **Ce grand modèle doit être recyclé.
**Comment permettre à l'IA de vraiment planifier comme les humains ? Voyez comment les humains et les animaux apprennent rapidement - en voyant et en expérimentant le monde. **
Yang Likun estime que le développement de l'IA dans le futur est confronté à trois défis majeurs : ** Apprendre des représentations du monde, prédire des modèles mondiaux et utiliser l'apprentissage auto-supervisé. **
Le premier est d'apprendre le modèle de représentation et de prédiction du monde, Bien sûr, cela peut être appris de manière auto-supervisée.
** Deuxièmement, apprenez à raisonner. **Cela correspond au concept du psychologue Daniel Kahneman de Système 1 et Système 2. Le système 1 est le comportement ou l'action humaine qui correspond aux calculs subconscients, ces choses qui peuvent être faites sans réfléchir ; tandis que le système 2 est les tâches que vous utilisez consciemment et délibérément avec tout votre pouvoir de réflexion pour accomplir. À l'heure actuelle, l'intelligence artificielle ne peut essentiellement réaliser que les fonctions du système 1, et elle n'est pas complète ;
Le dernier défi consiste à planifier des séquences d'actions complexes en décomposant des tâches complexes en tâches plus simples, en opérant de manière hiérarchique.
En conséquence, Yang Likun a proposé ** "Modèle mondial", qui se compose de six modules indépendants, dont : ** module de configuration, module de perception, modèle mondial, module de coût, module d'acteur, module de mémoire à court terme . **Il estime que la conception de l'architecture et du paradigme de formation pour le modèle mondial est le véritable obstacle au développement de l'intelligence artificielle dans les prochaines décennies.
LeCun a toujours exprimé son mépris pour l'idée que l'IA détruira les êtres humains et estime que l'IA d'aujourd'hui n'est pas aussi intelligente qu'un chien et que cette inquiétude est superflue. ** Lorsqu'on lui a demandé si le système d'IA poserait un risque existentiel pour les humains, LeCun a répondu : ** Nous n'avons pas encore de super IA, alors comment pouvons-nous rendre le système de super IA sûr ? **
** "Demandez aux gens aujourd'hui, pouvons-nous garantir qu'un système superintelligent est sans danger pour les humains, c'est une question sans réponse. Parce que nous n'avons pas de conception pour un système superintelligent. Donc, tant que vous n'avez pas une conception de base, vous ne pouvez pas Rendre une chose sûre.** C'est comme si vous demandiez à un ingénieur en aérospatiale en 1930, pouvez-vous rendre un turboréacteur sûr et fiable ? Et l'ingénieur dirait : "Qu'est-ce qu'un turboréacteur ?" "Parce que le turboréacteur n'avait pas été inventé en 1930. Donc on est un peu dans la même situation. C'est un peu prématuré d'affirmer qu'on ne peut pas sécuriser ces systèmes parce qu'on ne les a pas inventés. Une fois qu'on a les a inventés... peut-être qu'ils seront similaires au plan que j'ai élaboré, alors ça vaut la peine d'en discuter."
Professeur Max Tegmark, MIT Center for Artificial Intelligence and Basic Interaction Research : Contrôler l'IA avec l'explicabilité mécanique
Max Tegmark, actuellement professeur titulaire de physique au Massachusetts Institute of Technology, directeur scientifique de l'Institute for Fundamental Issues, fondateur de l'Institute for the Future of Life et célèbre « initiateur de l'initiative de recherche sur l'IA » (le fin mars, Elon Musk, le lauréat du prix Turing Yoshua Bengio, le co-fondateur d'Apple Steve Wozniak et plus de 1000 célébrités) ont prononcé un merveilleux discours à la conférence de Zhiyuan sur "Comment contrôler l'IA" (Garder l'IA sous contrôle), et a eu un dialogue avec Zhang Yaqin, académicien de l'Université Tsinghua, pour discuter des questions de sécurité éthique et de prévention des risques de l'IA.
Le discours a discuté en détail de l'explicabilité mécanique de l'IA, qui est en fait une étude de la façon dont la connaissance humaine est stockée dans ces connexions complexes dans les réseaux de neurones. Si la recherche dans cette direction se poursuit, elle pourrait enfin être en mesure de vraiment expliquer la question ultime de savoir pourquoi le grand modèle de langage LLM produit de l'intelligence.
En plus du discours, le fait intéressant est que, en tant qu'initiateur de la "Pause AI Research Initiative", le discours d'ouverture se concentre sur la manière de mener une recherche plus approfondie sur les modèles d'IA à grande échelle. Peut-être que, comme Max lui-même l'a dit à la fin, il n'est pas la personne condamnée que le professeur Yang Likun, l'un des géants de l'IA, a dit, il est en fait plein d'espoir et aspire à l'IA, mais nous pouvons nous assurer que tous ces plus puissants les intelligences nous servent et les utilisent Il s'agit de créer un avenir plus inspirant que celui dont les auteurs de science-fiction ont rêvé dans le passé. **
Remarque : Je pensais que ce serait très ennuyeux, mais contre toute attente, c'était très excitant, et j'ai regardé le discours le plus long pendant une heure avec délectation ! ** Comme on peut s'y attendre d'un professeur qui donne souvent des cours, il est très fascinant, très profond sur le plan théorique et facile à comprendre. Ce qui est encore plus surprenant, c'est que non seulement il n'est pas un adversaire sérieux de l'IA, mais il est en fait un défenseur d'une meilleure IA ! **Je peux aussi parler chinois, et je n'oublie pas de me recruter lors d'un discours...
Extraits d'idées merveilleuses :
L'interprétabilité mécanique est un domaine très intéressant. Vous formez un réseau neuronal complexe que vous ne comprenez pas pour effectuer des tâches intelligentes, puis essayez de comprendre comment il le fait.
Comment faisons-nous cela? Vous pouvez avoir trois niveaux d'ambition différents. **Le niveau d'ambition le plus bas consiste simplement à diagnostiquer sa crédibilité, à quel point vous devez lui faire confiance. **Par exemple, lorsque vous conduisez une voiture, même si vous ne comprenez pas le fonctionnement de vos freins, vous voulez au moins savoir si vous pouvez lui faire confiance pour vous ralentir.
** Le prochain niveau d'ambition est de mieux le comprendre afin qu'il soit plus fiable. ** L'ambition ultime est très ambitieuse, et c'est ce que j'attends, c'est que nous pourrons extraire toutes les connaissances qu'ils apprennent des systèmes d'apprentissage automatique et les réimplémenter dans d'autres systèmes pour démontrer qu'ils feront ce que nous voulons. **
Ralentissons, assurons-nous de développer de meilleurs garde-corps. Donc la lettre disait de faire une pause un instant, mentionnée plus tôt. Je veux être clair, cela ne dit pas que nous devrions suspendre l'IA, cela ne dit pas que nous devrions suspendre à peu près n'importe quoi. Jusqu'à présent, nous avons entendu à cette réunion que nous devrions continuer à faire presque toutes les merveilleuses recherches que vous faites. ** Cela dit simplement que nous devrions faire une pause, mettre en pause le développement de systèmes plus puissants que GPT-4. ** Il s'agit donc principalement d'une pause pour certaines entreprises occidentales.
Maintenant, la raison en est que ce sont les systèmes exacts qui peuvent nous faire perdre le contrôle des systèmes les plus rapides et les plus puissants que nous ne comprenons pas assez. Le but de la pause est juste de faire en sorte que l'intelligence artificielle ressemble davantage à la biotechnologie, dans le domaine de la biotechnologie, vous ne pouvez pas simplement dire que vous êtes une entreprise, hé, j'ai un nouveau médicament, je l'ai découvert, et il commencera à vendre dans les grands supermarchés de Pékin demain. Vous devez d'abord convaincre les experts du gouvernement chinois ou du gouvernement américain qu'il s'agit d'un médicament sûr, que ses avantages l'emportent sur ses inconvénients, qu'il existe un processus d'examen, et ensuite vous pouvez le faire.
Ne commettons pas cette erreur, devenons plus comme la biotechnologie, en utilisant nos systèmes les plus puissants, contrairement à Fukushima et Tchernobyl.
**3、**Zhang Yaqin : Eh bien, Max, votre carrière a été consacrée aux mathématiques, à la physique, aux neurosciences et, bien sûr, à l'intelligence artificielle. De toute évidence, à l'avenir, nous nous appuierons de plus en plus sur des compétences et des connaissances interdisciplinaires. Nous avons beaucoup d'étudiants diplômés, beaucoup de futurs jeunes.
Quels conseils avez-vous pour les jeunes sur la façon de faire des choix de carrière?
Max Tegmark : Tout d'abord, Mon conseil est de se concentrer sur les fondamentaux à l'ère de l'IA. Parce que l'économie et le marché du travail évoluent de plus en plus vite. Donc, nous nous éloignons de ce schéma d'étudier pendant 12 ou 20 ans, puis de faire la même chose pour le reste de nos vies. Ce ne sera pas comme ça.
De plus, ** Vous avez une base solide et êtes très doué pour la pensée créative et ouverte d'esprit. Ce n'est qu'ainsi que nous pourrons être agiles et suivre la tendance. **
Bien sûr, gardez un œil sur ce qui se passe dans le domaine de l'IA dans son ensemble, pas seulement dans votre propre domaine**. Car sur le marché du travail, la première chose qui se passe n'est pas le remplacement des humains par des machines. Mais **les personnes qui ne travaillent pas avec l'IA seront remplacées par des personnes qui le font. **
Puis-je en rajouter un peu ? Je vois le temps clignoter là-bas.
Je veux juste dire quelque chose d'optimiste. Je pense que Yann LeCun se moque de moi. Il m'a appelé le condamné. Mais si vous me regardez, je suis en fait très heureux et joyeux. **Je suis en fait plus optimiste que Yann LeCun quant à notre capacité à comprendre les futurs systèmes d'IA. ** Je pense que c'est très, très prometteur.
Je pense que si nous allons de l'avant à toute vitesse et transférons plus de contrôle des humains à des machines que nous ne comprenons pas, cela finira très mal. Mais nous n'avons pas à le faire. Je pense que si nous travaillons dur sur l'explicabilité mécaniste et sur de nombreux autres sujets techniques qui seront entendus ici aujourd'hui, nous pouvons réellement nous assurer que toute cette plus grande intelligence est à notre service et l'utiliser pour créer un monde plus inspirant. avenir.
Conversation avec le fondateur de Midjourney : les images ne sont qu'une première étape, l'IA va révolutionner l'apprentissage, la créativité et l'organisation
MidJourney est actuellement le moteur de génération d'images le plus en vogue. Sous la concurrence féroce de DALL·E 2 d'OpenAI et du modèle open source Stable Diffusion, il conserve toujours une avance absolue dans divers effets de génération de style.
Midjourney est une entreprise incroyable, 11 personnes qui changent le monde et créent un excellent produit, destiné à être l'histoire des premières années de Pre AGI.
Remarque : Le dialogue tant attendu entre le fondateur et PDG de Midjourney, David Holz, et Geek Park Zhang Peng, le tout en anglais, sans sous-titres, je ne m'attendais pas à le comprendre complètement, et il m'intéresse beaucoup, car les questions et les réponses sont si merveilleux, surtout David, je n'ai pas pu m'empêcher de rire quand j'ai répondu. Il riait comme un enfant innocent. Avec une expérience dans la gestion de grandes équipes, il a dit : "Je n'ai jamais voulu avoir une entreprise, je voulais avoir une maison." Il l'a pris jusqu'à présent, Midjourney, qui ne compte que 20 personnes, est devenue une licorne qui attire l'attention du monde entier, ce qui risque de changer le paradigme des futures startups.
Zhang Peng : Au cours des 20 dernières années, j'ai rencontré de nombreux entrepreneurs dans mon pays et à l'étranger. J'ai découvert qu'ils avaient quelque chose en commun : ils avaient tous une forte envie d'explorer et de créer « à partir de rien ».
Je me demandais, quand vous avez commencé MidJourney, quelle était votre force motrice ? À ce moment-là, à quoi aspires-tu ?
**David Holz : Je n'ai jamais pensé à créer une entreprise. Je veux juste une "maison". **
J'espère que dans les 10 ou 20 prochaines années, ici à Midjourney, je pourrai créer des choses qui me tiennent vraiment à cœur et que je veux vraiment apporter à ce monde.
Je pense souvent à divers problèmes. Peut-être que je ne peux pas résoudre tous les problèmes, mais je peux ** essayer de rendre tout le monde plus capable de résoudre les problèmes. **
Alors j'essaie de réfléchir à la façon de le résoudre, comment créer quelque chose. À mon avis, cela peut se résumer à trois points. **D'abord, nous devons réfléchir sur nous-mêmes : que voulons-nous ? Quel est le problème exactement? ****Ensuite, nous devons imaginer : où allons-nous ? Quelles sont les possibilités ? ****En fin de compte, nous devons nous coordonner les uns avec les autres et collaborer avec les autres pour réaliser ce que nous imaginons. **
Je pense qu'il y a une énorme opportunité dans l'IA de réunir ces trois parties et de créer une infrastructure importante qui nous permet de mieux résoudre ce problème. D'une certaine manière, **l'intelligence artificielle devrait pouvoir nous aider à réfléchir sur nous-mêmes, mieux imaginer nos orientations futures, nous aider à mieux nous retrouver et coopérer. Nous pouvons faire ces choses ensemble et les fusionner dans une sorte de cadre unique. Je pense que cela va changer la façon dont nous créons des choses et résolvons des problèmes. C'est la grande chose que je veux faire. **
Je pense que parfois (nous l'avons fait en premier) la génération d'images peut prêter à confusion, mais à bien des égards, la génération d'images est un concept bien établi. ** Midjourney est devenu une collection super imaginative de millions de personnes explorant les possibilités de cet espace. **
** Dans les années à venir, il y aura des opportunités pour plus d'explorations visuelles et artistiques que toutes les explorations historiques précédentes combinées. **
Cela ne résout pas tous les problèmes auxquels nous sommes confrontés, mais je pense que c'est un test, une expérience. Si nous pouvons compléter cette exploration du champ visuel, alors nous pouvons aussi le faire dans d'autres choses. Toutes les autres choses qui nécessitent que nous explorions et réfléchissions ensemble, je pense qu'elles peuvent être résolues de la même manière.
Donc, quand j'ai réfléchi à la façon de commencer à résoudre ce problème, nous avions beaucoup d'idées, nous avons construit beaucoup de prototypes, mais tout à coup, il y a eu une percée dans le domaine de l'IA, en particulier dans la vision, et nous avons réalisé que c'était une solution unique possibilité de pouvoir créer quelque chose que personne d'autre n'a essayé auparavant. Cela nous a donné envie d'essayer.
Nous pensons qu'il ne faudra peut-être pas longtemps avant que tout se réunisse pour former quelque chose de très spécial. Ce n'est que le début.
Zhang Peng : Ainsi, l'image (génération) n'est que la première étape, et votre but ultime est de libérer l'imagination humaine. Est-ce ce qui vous a attiré dans Midjourney ?
David Holz : J'aime vraiment les choses imaginatives. J'espère aussi que le monde pourra avoir plus de créativité. C'est tellement amusant de voir des idées folles tous les jours.
Recomprendre la connaissance : la connaissance historique devient le pouvoir de la création
Zhang Peng : C'est très intéressant. Nous disons généralement des mots vides, montrez-moi votre code (l'idée est bon marché, montrez-moi le code). Mais en ce moment, les idées semblent être la seule chose qui compte. Tant que vous pouvez exprimer vos idées à travers une série d'excellents mots, l'IA peut vous aider à les réaliser. Alors, les définitions de l'apprentissage et de la créativité changent-elles ? Qu'en penses-tu?
**David Holz : **Je pense que l'une des choses intéressantes est que lorsque vous donnez plus de temps aux gens pour être créatifs, ils sont également plus intéressés à apprendre eux-mêmes. **
Par exemple, il existe un style artistique très populaire aux États-Unis appelé Art Deco. Je ne me suis jamais soucié de ce qu'est ce genre d'art, jusqu'au jour où j'ai pu faire des œuvres de ce genre d'art grâce à des instructions, je suis soudainement devenu très intéressé par lui et j'ai voulu en savoir plus sur son histoire.
Je pense qu'il est intéressant que nous nous intéressions davantage à l'histoire alors que c'est quelque chose que vous pouvez utiliser immédiatement et vous faciliter la création. ** Si l'interface utilisateur devient suffisamment bonne, les utilisateurs estiment que l'IA est devenue une extension de notre réflexion. L'IA est comme une partie de notre corps et de notre esprit, et l'IA est étroitement liée à l'histoire dans une certaine mesure, et nous serons également étroitement liés à l'histoire. C'est tellement intéressant.
Lorsque nous demandons à nos utilisateurs ce qu'ils veulent le plus, la première et deuxième réponse est qu'ils veulent du matériel d'apprentissage, pas seulement comment utiliser des outils, mais de l'art, de l'histoire, des objectifs d'appareil photo, de la brillance, ils veulent comprendre et maîtriser toutes les connaissances et tous les concepts. disponible pour créer.
**Avant, la connaissance appartenait à l'histoire ancienne, mais maintenant, la connaissance est le pouvoir de créer. **
**La connaissance peut jouer un rôle plus important immédiatement et les gens sont impatients d'acquérir plus de connaissances. **C'est trop cool.
Brian Christian : La version chinoise du nouveau livre "Human-Machine Alignment" est sortie
La version chinoise de "Human-Machine Alignment" est sortie. L'auteur Brian Christian a brièvement présenté le contenu principal de l'ensemble du livre en 10 minutes. Cela semble très riche et passionnant, et cela fait également écho au développement rapide actuel de l'IA.
Brian Christian est un auteur scientifique primé. Son livre "The Beauty of Algorithms" a été nommé meilleur livre scientifique de l'année par Amazon et meilleur livre de l'année par MIT Technology Review. Son nouveau livre, The Alignment Problem: Machine Learning and Human Values, actuellement en cours de traduction en chinois, a été nommé par le PDG de Microsoft, Satya Nadella, parmi les cinq meilleurs livres qui l'ont inspiré en 2021**.
Le livre "Alignement Homme-Machine" est divisé en 3 parties.
La première partie explore les problèmes éthiques et de sécurité affectant les systèmes d'apprentissage automatique aujourd'hui.
La deuxième partie est appelée agents, ce qui déplace l'attention de l'apprentissage supervisé et auto-supervisé vers l'apprentissage par renforcement.
La troisième partie s'appuie sur la supervision, l'auto-supervision et l'apprentissage par renforcement pour discuter de la manière dont nous pouvons aligner des systèmes d'IA complexes dans le monde réel.
Yang Yaodong, professeur adjoint, Institut d'intelligence artificielle, Université de Pékin : examen des progrès de l'alignement sûr des grands modèles de langage
Remarque : Le discours "Security Alignment of Large Language Models" prononcé par Yang Yaodong, professeur adjoint à l'Institut d'intelligence artificielle de l'Université de Pékin, était très excitant. Premièrement, il pouvait comprendre le discours en chinois. Deuxièmement, il a expliqué le sécurité des grands modèles de langage dans un langage très facile à comprendre.Le principal progrès de la recherche de l'alignement, décrit les points clés, et dépasse de nombreux contenus sur les progrès de RLHF en profondeur.
Comme je ne connais pas la technologie détaillée, je ne peux que comprendre le principe grossièrement et noter quelques points intéressants :
Trois méthodes d'alignement proposées par OpenAI :
Former l'IA en utilisant la rétroaction humaine
Former l'IA pour aider l'évaluation humaine
Entraînez l'IA à faire des recherches d'alignement
Le marché de l'alignement de grands modèles d'IA est toujours un océan bleu :
** Les grands modèles existants, à l'exception de GPT, n'ont pratiquement pas réussi à s'aligner de quelque manière que ce soit **
La technologie de transformation d'un usage général à un usage spécial pour les modèles à grande échelle sera la prochaine hauteur dominante dans le développement de modèles à grande échelle
3 façons sûres d'alignement :
Au stade de la pré-formation, par le biais d'un filtrage manuel et d'un nettoyage des données, pour obtenir des données de meilleure qualité
Utilisez le modèle de récompense pour l'échantillonnage des rejets à l'étape de sortie afin d'améliorer la qualité et la sécurité de la sortie. Ou dans un produit en direct, ** refuse de répondre à l'entrée de l'utilisateur. **
Lors de l'étape de réglage fin (SFT et BLHF), Ajoutez des instructions d'utilisation plus diverses et inoffensives pour vous aligner sur les modèles de préférence humaine, y compris RBRM, Constitutional Al.
De RLHF à RLAIF : IA constitutionnelle
Lauréat du prix Turing Geoffrey Hinton : la superintelligence sera beaucoup plus rapide que prévu, et je suis très inquiet qu'elle contrôle les humains
Lauréat du prix Turing, "Père de l'apprentissage en profondeur" Discours final de Geoffrey Hinton, le thème est Two Paths to Intelligence.
Le parrain de l'IA nous apporte la recherche qui l'a convaincu que la superintelligence sera beaucoup plus rapide que prévu : Mortal Computation. Le discours décrivait une nouvelle structure informatique, après avoir abandonné le principe de séparation du logiciel et du matériel, c'est-à-dire comment réaliser une informatique intelligente sans utiliser la rétropropagation pour décrire le chemin interne du réseau de neurones.
Points clés du discours :
Hinton propose une nouvelle possibilité pour l'intelligence artificielle : l'informatique mortelle. L'informatique mortelle fait que le logiciel et le matériel ne sont plus séparés et utilisent du matériel physique pour effectuer un calcul parallèle plus précis. Cela peut entraîner une consommation d'énergie réduite et un matériel plus simple à fabriquer, mais il est plus difficile à former et à adapter à des modèles à grande échelle.
Il existe deux façons pour les groupes intelligents de partager leurs connaissances, l'informatique biologique et numérique. Le partage biologique a une faible bande passante et est très lent, tandis que la copie numérique a une bande passante élevée et est très rapide. Les humains sont biologiques, tandis que l'IA est numérique, donc une fois que l'IA maîtrisera plus de connaissances grâce à la multimodalité, leur vitesse de partage sera très rapide, et elle dépassera bientôt les humains.
Lorsque l'IA évolue pour devenir plus intelligente que les humains, elle est susceptible de poser d'énormes risques. Y compris l'exploitation et la tromperie des êtres humains dans une tentative d'accéder au pouvoir. Et il est susceptible d'être hostile aux humains.
La raison pour laquelle le tout nouveau modèle informatique s'appelle Mortal computing by Hinton a une signification profonde :
Hinton a dit plus tôt que l'immortalité a effectivement été atteinte. Parce que le grand modèle de langage actuel de l'IA a appris la connaissance humaine dans des billions de paramètres, et qu'il est indépendant du matériel : tant que le matériel compatible avec les instructions est reproduit, le même code et le même poids de modèle peuvent être directement exécutés à l'avenir. En ce sens, l'intelligence humaine (pas les humains) est immortalisée.
Cependant, cette informatique séparée du matériel et des logiciels est extrêmement inefficace en termes d'efficacité énergétique et d'échelle de mise en œuvre. Si nous abandonnons le principe de conception informatique consistant à séparer le matériel et les logiciels et réalisons l'intelligence dans une boîte noire unifiée, ce sera une nouvelle façon de réaliser l'intelligence.
Ce type de conception informatique qui ne sépare plus le logiciel et le matériel réduira considérablement la consommation d'énergie et l'échelle de calcul (considérez que la consommation d'énergie du cerveau humain n'est que de 20 watts)
Mais en même temps, cela signifie que le poids ne peut pas être copié efficacement pour copier la sagesse, c'est-à-dire que la vie éternelle est abandonnée.
Les réseaux de neurones artificiels sont-ils plus intelligents que les vrais réseaux de neurones ?
Et si un grand réseau de neurones fonctionnant sur plusieurs ordinateurs numériques pouvait acquérir des connaissances directement du monde, en plus d'imiter le langage humain pour la connaissance humaine ?
De toute évidence, il deviendra bien meilleur que les humains car il aura observé plus de données.
Si ce réseau de neurones peut faire de la modélisation non supervisée d'images ou de vidéos, et que ses copies peuvent également manipuler le monde physique, ce n'est pas un fantasme.
Remarque : Juste au moment où tout le monde pensait que le discours du Xingjiang était terminé, à l'avant-dernière page, Hinton - sur un ton différent de tous les scientifiques précédents, un peu émotif et mitigé - a exprimé ses réflexions sur les préoccupations actuelles en matière de développement rapide de l'IA, qui est aussi la voix curieuse du monde après avoir récemment quitté résolument Google et "regrette le travail de sa vie et s'inquiète des dangers de l'intelligence artificielle":
Je pense que la réalisation de ces superintelligences peut être beaucoup plus rapide que je ne le pensais.
Les méchants voudront les utiliser pour faire des choses comme manipuler les électeurs. Ils les utilisent déjà aux États-Unis et dans de nombreux autres endroits pour cela. Et il sera utilisé pour gagner des guerres.
Pour rendre l'intelligence numérique plus efficace, nous devons lui permettre de se fixer des objectifs. Cependant, il y a un problème évident ici. Il y a un sous-objectif très évident qui est très utile pour presque tout ce que vous voulez accomplir, et qui gagne en puissance, en contrôle**. Avoir plus de contrôle facilite l'atteinte de vos objectifs. Et j'ai du mal à imaginer comment nous pouvons empêcher l'intelligence numérique de s'efforcer de prendre plus de contrôle pour atteindre d'autres objectifs.
**Une fois que l'intelligence numérique commencera à rechercher plus de contrôle, nous pourrions être confrontés à plus de problèmes. **
** En revanche, les humains pensent rarement aux espèces qui sont plus intelligentes qu'eux-mêmes et à la manière d'interagir avec ces espèces. D'après mes observations, ce type d'intelligence artificielle maîtrise parfaitement les actions de tromperie des humains, car elle peut utiliser Lire des romans pour apprenez à tromper les autres, et une fois que l'intelligence artificielle aura la capacité de "tromper", elle aura également la capacité susmentionnée de contrôler facilement les humains. **Le soi-disant contrôle, par exemple, si vous voulez pirater un bâtiment à Washington, vous n'avez pas besoin d'y aller en personne, vous avez juste besoin de tromper les gens en leur faisant croire qu'en piratant le bâtiment, ils peuvent sauver la démocratie et finalement atteindre votre objectif (sarcasme Trump).
A cette époque, Gerffery Hinton, qui avait plus de soixante ans et a consacré sa vie à l'intelligence artificielle, a déclaré :
"Je me sens horrible, je ne sais pas comment empêcher que cela se produise, mais je suis vieux, et j'espère que de nombreux chercheurs jeunes et talentueux comme vous comprendront comment nous avons ces superintelligences qui rendront nos vies meilleures et arrêter ce genre de contrôle par la tromperie... peut-être pouvons-nous leur donner des principes moraux, mais pour le moment, je suis toujours nerveux, ** parce que jusqu'à présent, je ne peux pas y penser suffisamment dans le fossé de l'intelligence Big time - un exemple de quelque chose de plus intelligent contrôlé par quelque chose de moins intelligent. **** Si les grenouilles inventaient les humains, qui, selon vous, prendrait le contrôle ? Les grenouilles ou les humains ?
Quand je l'ai écouté, j'ai eu l'impression d'écouter "le garçon qui a tué le dragon une fois, quand il a atteint ses années crépusculaires et a regardé en arrière sur sa vie, il a fait une prophétie apocalyptique". l'énorme risque de l'IA pour les êtres humains, et je suis infiniment gêné.
Comparé à Hinton, Lecun, l'un des plus jeunes géants de l'apprentissage en profondeur, est évidemment plus optimiste :
Lorsqu'on lui a demandé si le système d'IA poserait un risque existentiel pour les humains, LeCun a déclaré: ** Nous n'avons pas encore de super IA, alors comment pouvons-nous rendre le système de super IA sûr? **
Cela fait penser aux différentes attitudes des gens de la Terre envers la civilisation à trois corps dans "Le problème des trois corps"...
Ce jour-là, j'avais toujours l'intention d'éteindre l'ordinateur dans une ambiance de regret infini. De manière inattendue, Huang Tiejun, le directeur de l'Institut de recherche de Zhiyuan, a prononcé un discours de clôture parfait : « Je ne peux pas fermer ».
Huang Tiejun a d'abord résumé les points de vue des discours précédents :
L'IA devient de plus en plus forte, et les risques sont évidents et augmentent de jour en jour ;
Comment construire une IA sûre, nous en savons très peu ;
Peut apprendre de l'expérience historique : gestion des médicaments, contrôle des armes nucléaires, informatique quantique...
Mais les systèmes d'IA à haute complexité sont difficiles à prévoir : tests de risque, explication des mécanismes, généralisation de la compréhension... ce n'est que le début
Nouvel objectif de défi : l'IA au service de ses propres objectifs ou des objectifs humains ?
Essentiellement, les gens veulent-ils construire une intelligence artificielle générale GAI ou une intelligence générale artificielle AGI ?
Le consensus académique est l'intelligence générale artificielle AGI : une intelligence artificielle qui a atteint des niveaux humains dans tous les aspects de l'intelligence humaine, et peut répondre de manière adaptative aux défis environnementaux externes et accomplir toutes les tâches que les humains peuvent accomplir ; elle peut également être appelée intelligence artificielle autonome, surhumaine. l'intelligence et l'intelligence forte l'intelligence artificielle.
D'un côté, tout le monde est enthousiaste à l'idée de construire une intelligence artificielle générale et se précipite pour investir.
D'un autre côté, je me moque de l'IA qui fait des êtres humains des citoyens de seconde classe, mais cette opposition binaire n'est pas la chose la plus difficile. l'intelligence artificielle comme Near AGI comme ChatGPT? **
Si les humains réagissent aux risques avec le même enthousiasme qu'en investissant dans le développement de l'intelligence artificielle, il est peut-être encore possible de parvenir à une intelligence artificielle sûre,** mais pensez-vous que les humains peuvent le faire ? Je ne sais pas, merci ! **
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Après la conférence de Zhiyuan 2023 : je suis plus confiant dans l'IA et plus inquiet pour les humains
Le 9 juin, la "Conférence Beijing Zhiyuan" de deux jours a été inaugurée avec succès au Centre de conférence de la zone de démonstration de l'innovation nationale indépendante de Zhongguancun.
La conférence Zhiyuan est un événement annuel d'échange professionnel international haut de gamme sur l'intelligence artificielle organisé par l'Institut de recherche Zhiyuan (également connu comme le plus puissant institut chinois de recherche sur l'IA d'OpenAI en Chine). Gala du festival de printemps "- comme on peut le voir dans la liste des participants invités:
** Lauréats du prix Turing Geoffrey Hinton, Yann LeCun ** (c'est aussi le deuxième des trois grands en apprentissage en profondeur, un autre Bengio a assisté à la conférence précédente), Joseph Sifakis et Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin et d'autres académiciens, Stuart Russell, fondateur du Center for Artificial Intelligence Systems de l'Université de Californie à Berkeley, Max Tegmark, fondateur du Future of Life Institute du Massachusetts Institute of Technology, ** Sam Altman, PDG d'OpenAI ** (c'est aussi son premier discours en Chine, bien qu'il soit en ligne), Meta, Microsoft, Google et d'autres grandes entreprises et DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI et d'autres membres vedettes de l'équipe, un total de plus de 200 les meilleurs experts en intelligence artificielle...
Au cours des deux derniers jours, j'ai suivi la diffusion en direct de la conférence.En tant qu'étudiant en arts libéraux qui ne comprend pas la technologie, j'ai écouté avec beaucoup d'intérêt et j'ai beaucoup appris.
Cependant, après avoir lu le discours de Geoffrey Hinton, le dernier lauréat du prix Turing et "père de l'apprentissage en profondeur", une émotion forte et complexe m'a enveloppé :
D'une part, en voyant les chercheurs en IA explorer et imaginer diverses technologies de pointe, ils auront naturellement plus confiance dans la réalisation de l'IA et même de la future intelligence artificielle générale AGI** ;
D'autre part, entendre les experts et universitaires de pointe discuter des risques de l'IA, ainsi que de l'ignorance et du mépris humains quant à la manière de gérer les risques, et plein d'inquiétudes quant à l'avenir des êtres humains - le problème le plus essentiel, dans Les mots de Hinton sont : l'histoire Il n'y a jamais eu de précédent dans le monde où une chose plus intelligente était contrôlée par une chose moins intelligente ** Si les grenouilles inventent les humains, qui pensez-vous prendra le contrôle ? Est-ce une grenouille ou un humain ? **
En raison de l'explosion d'informations lors de la conférence de deux jours, j'ai pris le temps de trier les documents de certains discours importants et j'ai enregistré certaines de mes réflexions en passant, afin que je puisse les revoir plus tard et les partager avec tous ceux qui se soucie des progrès de l'IA.
Explication : La partie marquée d'une [note] ci-dessous est mon opinion personnelle, et le contenu est résumé comme une citation (je ne peux pas l'écrire -_-|| en raison de mes capacités limitées), la source est le lien à la fin de chaque partie, et certaines d'entre elles ont été modifiées.
** Sam Altman, PDG d'OpenAI: AGI pourrait apparaître d'ici dix ans **
Lors du forum "AI Safety and Alignment" qui s'est tenu toute la journée du 10 juin, le co-fondateur d'OpenAI, Sam Altman, a prononcé un discours d'ouverture - également son premier discours en Chine, bien qu'il soit en ligne.
La conférence a donné un aperçu de l'interprétabilité, de l'évolutivité et de la généralisabilité des modèles. Par la suite, Sam Altman et Zhang Hongjiang, président du Zhiyuan Research Institute, ont organisé une séance de questions-réponses au sommet, discutant principalement de la manière d'approfondir la coopération internationale, de mener des recherches plus sûres sur l'IA et de gérer les risques futurs de l'IA à l'ère actuelle de modèles d'IA à grande échelle.
Excellent résumé :
Interrogé par Zhang Hongjiang sur la distance qui nous sépare de l'ère de l'intelligence artificielle générale (AGI), Sam Altman a déclaré : "Dans les 10 prochaines années, des systèmes de super IA verront le jour, mais il est difficile de prédire le moment précis." , il a également souligné : "La vitesse à laquelle les nouvelles technologies ont complètement changé le monde est bien au-delà de l'imagination."
Lorsqu'on lui a demandé si OpenAI ouvrira de grands modèles, ** Altman a déclaré qu'il y aura plus d'open source à l'avenir, mais il n'y a pas de modèle ni de calendrier spécifiques. En outre, il a également déclaré qu'il n'y aurait pas de GPT-5 de sitôt. ** Après la réunion, Altman a publié un message pour exprimer sa gratitude d'avoir été invité à prononcer un discours à la conférence de Zhiyuan.
Yang Likun, lauréat du prix Turing : Personne n'utilisera le modèle GPT dans cinq ans, et le modèle mondial est l'avenir d'AGI
Yang Likun, l'un des trois géants de l'apprentissage en profondeur et lauréat du prix Turing, a prononcé un discours liminaire intitulé "Vers des machines capables d'apprendre, de raisonner et de planifier". Comme toujours, il a remis en question le courant. L'itinéraire du LLM propose une autre idée. d'une machine capable d'apprendre, de raisonner et de planifier : le modèle mondial.
Points clés du discours :
** Deuxièmement, apprenez à raisonner. **Cela correspond au concept du psychologue Daniel Kahneman de Système 1 et Système 2. Le système 1 est le comportement ou l'action humaine qui correspond aux calculs subconscients, ces choses qui peuvent être faites sans réfléchir ; tandis que le système 2 est les tâches que vous utilisez consciemment et délibérément avec tout votre pouvoir de réflexion pour accomplir. À l'heure actuelle, l'intelligence artificielle ne peut essentiellement réaliser que les fonctions du système 1, et elle n'est pas complète ;
Le dernier défi consiste à planifier des séquences d'actions complexes en décomposant des tâches complexes en tâches plus simples, en opérant de manière hiérarchique.
LeCun a toujours exprimé son mépris pour l'idée que l'IA détruira les êtres humains et estime que l'IA d'aujourd'hui n'est pas aussi intelligente qu'un chien et que cette inquiétude est superflue. ** Lorsqu'on lui a demandé si le système d'IA poserait un risque existentiel pour les humains, LeCun a répondu : ** Nous n'avons pas encore de super IA, alors comment pouvons-nous rendre le système de super IA sûr ? **
** "Demandez aux gens aujourd'hui, pouvons-nous garantir qu'un système superintelligent est sans danger pour les humains, c'est une question sans réponse. Parce que nous n'avons pas de conception pour un système superintelligent. Donc, tant que vous n'avez pas une conception de base, vous ne pouvez pas Rendre une chose sûre.** C'est comme si vous demandiez à un ingénieur en aérospatiale en 1930, pouvez-vous rendre un turboréacteur sûr et fiable ? Et l'ingénieur dirait : "Qu'est-ce qu'un turboréacteur ?" "Parce que le turboréacteur n'avait pas été inventé en 1930. Donc on est un peu dans la même situation. C'est un peu prématuré d'affirmer qu'on ne peut pas sécuriser ces systèmes parce qu'on ne les a pas inventés. Une fois qu'on a les a inventés... peut-être qu'ils seront similaires au plan que j'ai élaboré, alors ça vaut la peine d'en discuter."
Professeur Max Tegmark, MIT Center for Artificial Intelligence and Basic Interaction Research : Contrôler l'IA avec l'explicabilité mécanique
Max Tegmark, actuellement professeur titulaire de physique au Massachusetts Institute of Technology, directeur scientifique de l'Institute for Fundamental Issues, fondateur de l'Institute for the Future of Life et célèbre « initiateur de l'initiative de recherche sur l'IA » (le fin mars, Elon Musk, le lauréat du prix Turing Yoshua Bengio, le co-fondateur d'Apple Steve Wozniak et plus de 1000 célébrités) ont prononcé un merveilleux discours à la conférence de Zhiyuan sur "Comment contrôler l'IA" (Garder l'IA sous contrôle), et a eu un dialogue avec Zhang Yaqin, académicien de l'Université Tsinghua, pour discuter des questions de sécurité éthique et de prévention des risques de l'IA.
Le discours a discuté en détail de l'explicabilité mécanique de l'IA, qui est en fait une étude de la façon dont la connaissance humaine est stockée dans ces connexions complexes dans les réseaux de neurones. Si la recherche dans cette direction se poursuit, elle pourrait enfin être en mesure de vraiment expliquer la question ultime de savoir pourquoi le grand modèle de langage LLM produit de l'intelligence.
En plus du discours, le fait intéressant est que, en tant qu'initiateur de la "Pause AI Research Initiative", le discours d'ouverture se concentre sur la manière de mener une recherche plus approfondie sur les modèles d'IA à grande échelle. Peut-être que, comme Max lui-même l'a dit à la fin, il n'est pas la personne condamnée que le professeur Yang Likun, l'un des géants de l'IA, a dit, il est en fait plein d'espoir et aspire à l'IA, mais nous pouvons nous assurer que tous ces plus puissants les intelligences nous servent et les utilisent Il s'agit de créer un avenir plus inspirant que celui dont les auteurs de science-fiction ont rêvé dans le passé. **
Remarque : Je pensais que ce serait très ennuyeux, mais contre toute attente, c'était très excitant, et j'ai regardé le discours le plus long pendant une heure avec délectation ! ** Comme on peut s'y attendre d'un professeur qui donne souvent des cours, il est très fascinant, très profond sur le plan théorique et facile à comprendre. Ce qui est encore plus surprenant, c'est que non seulement il n'est pas un adversaire sérieux de l'IA, mais il est en fait un défenseur d'une meilleure IA ! **Je peux aussi parler chinois, et je n'oublie pas de me recruter lors d'un discours...
Extraits d'idées merveilleuses :
Comment faisons-nous cela? Vous pouvez avoir trois niveaux d'ambition différents. **Le niveau d'ambition le plus bas consiste simplement à diagnostiquer sa crédibilité, à quel point vous devez lui faire confiance. **Par exemple, lorsque vous conduisez une voiture, même si vous ne comprenez pas le fonctionnement de vos freins, vous voulez au moins savoir si vous pouvez lui faire confiance pour vous ralentir.
** Le prochain niveau d'ambition est de mieux le comprendre afin qu'il soit plus fiable. ** L'ambition ultime est très ambitieuse, et c'est ce que j'attends, c'est que nous pourrons extraire toutes les connaissances qu'ils apprennent des systèmes d'apprentissage automatique et les réimplémenter dans d'autres systèmes pour démontrer qu'ils feront ce que nous voulons. **
Maintenant, la raison en est que ce sont les systèmes exacts qui peuvent nous faire perdre le contrôle des systèmes les plus rapides et les plus puissants que nous ne comprenons pas assez. Le but de la pause est juste de faire en sorte que l'intelligence artificielle ressemble davantage à la biotechnologie, dans le domaine de la biotechnologie, vous ne pouvez pas simplement dire que vous êtes une entreprise, hé, j'ai un nouveau médicament, je l'ai découvert, et il commencera à vendre dans les grands supermarchés de Pékin demain. Vous devez d'abord convaincre les experts du gouvernement chinois ou du gouvernement américain qu'il s'agit d'un médicament sûr, que ses avantages l'emportent sur ses inconvénients, qu'il existe un processus d'examen, et ensuite vous pouvez le faire.
Ne commettons pas cette erreur, devenons plus comme la biotechnologie, en utilisant nos systèmes les plus puissants, contrairement à Fukushima et Tchernobyl.
**3、**Zhang Yaqin : Eh bien, Max, votre carrière a été consacrée aux mathématiques, à la physique, aux neurosciences et, bien sûr, à l'intelligence artificielle. De toute évidence, à l'avenir, nous nous appuierons de plus en plus sur des compétences et des connaissances interdisciplinaires. Nous avons beaucoup d'étudiants diplômés, beaucoup de futurs jeunes.
Quels conseils avez-vous pour les jeunes sur la façon de faire des choix de carrière?
Max Tegmark : Tout d'abord, Mon conseil est de se concentrer sur les fondamentaux à l'ère de l'IA. Parce que l'économie et le marché du travail évoluent de plus en plus vite. Donc, nous nous éloignons de ce schéma d'étudier pendant 12 ou 20 ans, puis de faire la même chose pour le reste de nos vies. Ce ne sera pas comme ça.
De plus, ** Vous avez une base solide et êtes très doué pour la pensée créative et ouverte d'esprit. Ce n'est qu'ainsi que nous pourrons être agiles et suivre la tendance. **
Bien sûr, gardez un œil sur ce qui se passe dans le domaine de l'IA dans son ensemble, pas seulement dans votre propre domaine**. Car sur le marché du travail, la première chose qui se passe n'est pas le remplacement des humains par des machines. Mais **les personnes qui ne travaillent pas avec l'IA seront remplacées par des personnes qui le font. **
Puis-je en rajouter un peu ? Je vois le temps clignoter là-bas.
Je veux juste dire quelque chose d'optimiste. Je pense que Yann LeCun se moque de moi. Il m'a appelé le condamné. Mais si vous me regardez, je suis en fait très heureux et joyeux. **Je suis en fait plus optimiste que Yann LeCun quant à notre capacité à comprendre les futurs systèmes d'IA. ** Je pense que c'est très, très prometteur.
Je pense que si nous allons de l'avant à toute vitesse et transférons plus de contrôle des humains à des machines que nous ne comprenons pas, cela finira très mal. Mais nous n'avons pas à le faire. Je pense que si nous travaillons dur sur l'explicabilité mécaniste et sur de nombreux autres sujets techniques qui seront entendus ici aujourd'hui, nous pouvons réellement nous assurer que toute cette plus grande intelligence est à notre service et l'utiliser pour créer un monde plus inspirant. avenir.
Conversation avec le fondateur de Midjourney : les images ne sont qu'une première étape, l'IA va révolutionner l'apprentissage, la créativité et l'organisation
MidJourney est actuellement le moteur de génération d'images le plus en vogue. Sous la concurrence féroce de DALL·E 2 d'OpenAI et du modèle open source Stable Diffusion, il conserve toujours une avance absolue dans divers effets de génération de style.
Midjourney est une entreprise incroyable, 11 personnes qui changent le monde et créent un excellent produit, destiné à être l'histoire des premières années de Pre AGI.
Remarque : Le dialogue tant attendu entre le fondateur et PDG de Midjourney, David Holz, et Geek Park Zhang Peng, le tout en anglais, sans sous-titres, je ne m'attendais pas à le comprendre complètement, et il m'intéresse beaucoup, car les questions et les réponses sont si merveilleux, surtout David, je n'ai pas pu m'empêcher de rire quand j'ai répondu. Il riait comme un enfant innocent. Avec une expérience dans la gestion de grandes équipes, il a dit : "Je n'ai jamais voulu avoir une entreprise, je voulais avoir une maison." Il l'a pris jusqu'à présent, Midjourney, qui ne compte que 20 personnes, est devenue une licorne qui attire l'attention du monde entier, ce qui risque de changer le paradigme des futures startups.
Motivation entrepreneuriale : Libérer l'imagination humaine
Zhang Peng : Au cours des 20 dernières années, j'ai rencontré de nombreux entrepreneurs dans mon pays et à l'étranger. J'ai découvert qu'ils avaient quelque chose en commun : ils avaient tous une forte envie d'explorer et de créer « à partir de rien ».
Je me demandais, quand vous avez commencé MidJourney, quelle était votre force motrice ? À ce moment-là, à quoi aspires-tu ?
**David Holz : Je n'ai jamais pensé à créer une entreprise. Je veux juste une "maison". **
J'espère que dans les 10 ou 20 prochaines années, ici à Midjourney, je pourrai créer des choses qui me tiennent vraiment à cœur et que je veux vraiment apporter à ce monde.
Je pense souvent à divers problèmes. Peut-être que je ne peux pas résoudre tous les problèmes, mais je peux ** essayer de rendre tout le monde plus capable de résoudre les problèmes. **
Alors j'essaie de réfléchir à la façon de le résoudre, comment créer quelque chose. À mon avis, cela peut se résumer à trois points. **D'abord, nous devons réfléchir sur nous-mêmes : que voulons-nous ? Quel est le problème exactement? ****Ensuite, nous devons imaginer : où allons-nous ? Quelles sont les possibilités ? ****En fin de compte, nous devons nous coordonner les uns avec les autres et collaborer avec les autres pour réaliser ce que nous imaginons. **
Je pense qu'il y a une énorme opportunité dans l'IA de réunir ces trois parties et de créer une infrastructure importante qui nous permet de mieux résoudre ce problème. D'une certaine manière, **l'intelligence artificielle devrait pouvoir nous aider à réfléchir sur nous-mêmes, mieux imaginer nos orientations futures, nous aider à mieux nous retrouver et coopérer. Nous pouvons faire ces choses ensemble et les fusionner dans une sorte de cadre unique. Je pense que cela va changer la façon dont nous créons des choses et résolvons des problèmes. C'est la grande chose que je veux faire. **
Je pense que parfois (nous l'avons fait en premier) la génération d'images peut prêter à confusion, mais à bien des égards, la génération d'images est un concept bien établi. ** Midjourney est devenu une collection super imaginative de millions de personnes explorant les possibilités de cet espace. **
** Dans les années à venir, il y aura des opportunités pour plus d'explorations visuelles et artistiques que toutes les explorations historiques précédentes combinées. **
Cela ne résout pas tous les problèmes auxquels nous sommes confrontés, mais je pense que c'est un test, une expérience. Si nous pouvons compléter cette exploration du champ visuel, alors nous pouvons aussi le faire dans d'autres choses. Toutes les autres choses qui nécessitent que nous explorions et réfléchissions ensemble, je pense qu'elles peuvent être résolues de la même manière.
Donc, quand j'ai réfléchi à la façon de commencer à résoudre ce problème, nous avions beaucoup d'idées, nous avons construit beaucoup de prototypes, mais tout à coup, il y a eu une percée dans le domaine de l'IA, en particulier dans la vision, et nous avons réalisé que c'était une solution unique possibilité de pouvoir créer quelque chose que personne d'autre n'a essayé auparavant. Cela nous a donné envie d'essayer.
Nous pensons qu'il ne faudra peut-être pas longtemps avant que tout se réunisse pour former quelque chose de très spécial. Ce n'est que le début.
Zhang Peng : Ainsi, l'image (génération) n'est que la première étape, et votre but ultime est de libérer l'imagination humaine. Est-ce ce qui vous a attiré dans Midjourney ?
David Holz : J'aime vraiment les choses imaginatives. J'espère aussi que le monde pourra avoir plus de créativité. C'est tellement amusant de voir des idées folles tous les jours.
Recomprendre la connaissance : la connaissance historique devient le pouvoir de la création
Zhang Peng : C'est très intéressant. Nous disons généralement des mots vides, montrez-moi votre code (l'idée est bon marché, montrez-moi le code). Mais en ce moment, les idées semblent être la seule chose qui compte. Tant que vous pouvez exprimer vos idées à travers une série d'excellents mots, l'IA peut vous aider à les réaliser. Alors, les définitions de l'apprentissage et de la créativité changent-elles ? Qu'en penses-tu?
**David Holz : **Je pense que l'une des choses intéressantes est que lorsque vous donnez plus de temps aux gens pour être créatifs, ils sont également plus intéressés à apprendre eux-mêmes. **
Par exemple, il existe un style artistique très populaire aux États-Unis appelé Art Deco. Je ne me suis jamais soucié de ce qu'est ce genre d'art, jusqu'au jour où j'ai pu faire des œuvres de ce genre d'art grâce à des instructions, je suis soudainement devenu très intéressé par lui et j'ai voulu en savoir plus sur son histoire.
Je pense qu'il est intéressant que nous nous intéressions davantage à l'histoire alors que c'est quelque chose que vous pouvez utiliser immédiatement et vous faciliter la création. ** Si l'interface utilisateur devient suffisamment bonne, les utilisateurs estiment que l'IA est devenue une extension de notre réflexion. L'IA est comme une partie de notre corps et de notre esprit, et l'IA est étroitement liée à l'histoire dans une certaine mesure, et nous serons également étroitement liés à l'histoire. C'est tellement intéressant.
Lorsque nous demandons à nos utilisateurs ce qu'ils veulent le plus, la première et deuxième réponse est qu'ils veulent du matériel d'apprentissage, pas seulement comment utiliser des outils, mais de l'art, de l'histoire, des objectifs d'appareil photo, de la brillance, ils veulent comprendre et maîtriser toutes les connaissances et tous les concepts. disponible pour créer.
**Avant, la connaissance appartenait à l'histoire ancienne, mais maintenant, la connaissance est le pouvoir de créer. **
**La connaissance peut jouer un rôle plus important immédiatement et les gens sont impatients d'acquérir plus de connaissances. **C'est trop cool.
Brian Christian : La version chinoise du nouveau livre "Human-Machine Alignment" est sortie
La version chinoise de "Human-Machine Alignment" est sortie. L'auteur Brian Christian a brièvement présenté le contenu principal de l'ensemble du livre en 10 minutes. Cela semble très riche et passionnant, et cela fait également écho au développement rapide actuel de l'IA.
Brian Christian est un auteur scientifique primé. Son livre "The Beauty of Algorithms" a été nommé meilleur livre scientifique de l'année par Amazon et meilleur livre de l'année par MIT Technology Review. Son nouveau livre, The Alignment Problem: Machine Learning and Human Values, actuellement en cours de traduction en chinois, a été nommé par le PDG de Microsoft, Satya Nadella, parmi les cinq meilleurs livres qui l'ont inspiré en 2021**.
Le livre "Alignement Homme-Machine" est divisé en 3 parties.
La première partie explore les problèmes éthiques et de sécurité affectant les systèmes d'apprentissage automatique aujourd'hui.
La deuxième partie est appelée agents, ce qui déplace l'attention de l'apprentissage supervisé et auto-supervisé vers l'apprentissage par renforcement.
La troisième partie s'appuie sur la supervision, l'auto-supervision et l'apprentissage par renforcement pour discuter de la manière dont nous pouvons aligner des systèmes d'IA complexes dans le monde réel.
Yang Yaodong, professeur adjoint, Institut d'intelligence artificielle, Université de Pékin : examen des progrès de l'alignement sûr des grands modèles de langage
Remarque : Le discours "Security Alignment of Large Language Models" prononcé par Yang Yaodong, professeur adjoint à l'Institut d'intelligence artificielle de l'Université de Pékin, était très excitant. Premièrement, il pouvait comprendre le discours en chinois. Deuxièmement, il a expliqué le sécurité des grands modèles de langage dans un langage très facile à comprendre.Le principal progrès de la recherche de l'alignement, décrit les points clés, et dépasse de nombreux contenus sur les progrès de RLHF en profondeur.
Comme je ne connais pas la technologie détaillée, je ne peux que comprendre le principe grossièrement et noter quelques points intéressants :
Trois méthodes d'alignement proposées par OpenAI :
Le marché de l'alignement de grands modèles d'IA est toujours un océan bleu :
3 façons sûres d'alignement :
De RLHF à RLAIF : IA constitutionnelle
Lauréat du prix Turing Geoffrey Hinton : la superintelligence sera beaucoup plus rapide que prévu, et je suis très inquiet qu'elle contrôle les humains
Lauréat du prix Turing, "Père de l'apprentissage en profondeur" Discours final de Geoffrey Hinton, le thème est Two Paths to Intelligence.
Le parrain de l'IA nous apporte la recherche qui l'a convaincu que la superintelligence sera beaucoup plus rapide que prévu : Mortal Computation. Le discours décrivait une nouvelle structure informatique, après avoir abandonné le principe de séparation du logiciel et du matériel, c'est-à-dire comment réaliser une informatique intelligente sans utiliser la rétropropagation pour décrire le chemin interne du réseau de neurones.
Points clés du discours :
La raison pour laquelle le tout nouveau modèle informatique s'appelle Mortal computing by Hinton a une signification profonde :
Hinton a dit plus tôt que l'immortalité a effectivement été atteinte. Parce que le grand modèle de langage actuel de l'IA a appris la connaissance humaine dans des billions de paramètres, et qu'il est indépendant du matériel : tant que le matériel compatible avec les instructions est reproduit, le même code et le même poids de modèle peuvent être directement exécutés à l'avenir. En ce sens, l'intelligence humaine (pas les humains) est immortalisée.
Cependant, cette informatique séparée du matériel et des logiciels est extrêmement inefficace en termes d'efficacité énergétique et d'échelle de mise en œuvre. Si nous abandonnons le principe de conception informatique consistant à séparer le matériel et les logiciels et réalisons l'intelligence dans une boîte noire unifiée, ce sera une nouvelle façon de réaliser l'intelligence.
Ce type de conception informatique qui ne sépare plus le logiciel et le matériel réduira considérablement la consommation d'énergie et l'échelle de calcul (considérez que la consommation d'énergie du cerveau humain n'est que de 20 watts)
Mais en même temps, cela signifie que le poids ne peut pas être copié efficacement pour copier la sagesse, c'est-à-dire que la vie éternelle est abandonnée.
Les réseaux de neurones artificiels sont-ils plus intelligents que les vrais réseaux de neurones ?
Et si un grand réseau de neurones fonctionnant sur plusieurs ordinateurs numériques pouvait acquérir des connaissances directement du monde, en plus d'imiter le langage humain pour la connaissance humaine ?
De toute évidence, il deviendra bien meilleur que les humains car il aura observé plus de données.
Si ce réseau de neurones peut faire de la modélisation non supervisée d'images ou de vidéos, et que ses copies peuvent également manipuler le monde physique, ce n'est pas un fantasme.
Remarque : Juste au moment où tout le monde pensait que le discours du Xingjiang était terminé, à l'avant-dernière page, Hinton - sur un ton différent de tous les scientifiques précédents, un peu émotif et mitigé - a exprimé ses réflexions sur les préoccupations actuelles en matière de développement rapide de l'IA, qui est aussi la voix curieuse du monde après avoir récemment quitté résolument Google et "regrette le travail de sa vie et s'inquiète des dangers de l'intelligence artificielle":
Je pense que la réalisation de ces superintelligences peut être beaucoup plus rapide que je ne le pensais.
Les méchants voudront les utiliser pour faire des choses comme manipuler les électeurs. Ils les utilisent déjà aux États-Unis et dans de nombreux autres endroits pour cela. Et il sera utilisé pour gagner des guerres.
Pour rendre l'intelligence numérique plus efficace, nous devons lui permettre de se fixer des objectifs. Cependant, il y a un problème évident ici. Il y a un sous-objectif très évident qui est très utile pour presque tout ce que vous voulez accomplir, et qui gagne en puissance, en contrôle**. Avoir plus de contrôle facilite l'atteinte de vos objectifs. Et j'ai du mal à imaginer comment nous pouvons empêcher l'intelligence numérique de s'efforcer de prendre plus de contrôle pour atteindre d'autres objectifs.
**Une fois que l'intelligence numérique commencera à rechercher plus de contrôle, nous pourrions être confrontés à plus de problèmes. **
** En revanche, les humains pensent rarement aux espèces qui sont plus intelligentes qu'eux-mêmes et à la manière d'interagir avec ces espèces. D'après mes observations, ce type d'intelligence artificielle maîtrise parfaitement les actions de tromperie des humains, car elle peut utiliser Lire des romans pour apprenez à tromper les autres, et une fois que l'intelligence artificielle aura la capacité de "tromper", elle aura également la capacité susmentionnée de contrôler facilement les humains. **Le soi-disant contrôle, par exemple, si vous voulez pirater un bâtiment à Washington, vous n'avez pas besoin d'y aller en personne, vous avez juste besoin de tromper les gens en leur faisant croire qu'en piratant le bâtiment, ils peuvent sauver la démocratie et finalement atteindre votre objectif (sarcasme Trump).
A cette époque, Gerffery Hinton, qui avait plus de soixante ans et a consacré sa vie à l'intelligence artificielle, a déclaré :
"Je me sens horrible, je ne sais pas comment empêcher que cela se produise, mais je suis vieux, et j'espère que de nombreux chercheurs jeunes et talentueux comme vous comprendront comment nous avons ces superintelligences qui rendront nos vies meilleures et arrêter ce genre de contrôle par la tromperie... peut-être pouvons-nous leur donner des principes moraux, mais pour le moment, je suis toujours nerveux, ** parce que jusqu'à présent, je ne peux pas y penser suffisamment dans le fossé de l'intelligence Big time - un exemple de quelque chose de plus intelligent contrôlé par quelque chose de moins intelligent. **** Si les grenouilles inventaient les humains, qui, selon vous, prendrait le contrôle ? Les grenouilles ou les humains ?
Quand je l'ai écouté, j'ai eu l'impression d'écouter "le garçon qui a tué le dragon une fois, quand il a atteint ses années crépusculaires et a regardé en arrière sur sa vie, il a fait une prophétie apocalyptique". l'énorme risque de l'IA pour les êtres humains, et je suis infiniment gêné.
Comparé à Hinton, Lecun, l'un des plus jeunes géants de l'apprentissage en profondeur, est évidemment plus optimiste :
Lorsqu'on lui a demandé si le système d'IA poserait un risque existentiel pour les humains, LeCun a déclaré: ** Nous n'avons pas encore de super IA, alors comment pouvons-nous rendre le système de super IA sûr? **
Cela fait penser aux différentes attitudes des gens de la Terre envers la civilisation à trois corps dans "Le problème des trois corps"...
Ce jour-là, j'avais toujours l'intention d'éteindre l'ordinateur dans une ambiance de regret infini. De manière inattendue, Huang Tiejun, le directeur de l'Institut de recherche de Zhiyuan, a prononcé un discours de clôture parfait : « Je ne peux pas fermer ».
Huang Tiejun a d'abord résumé les points de vue des discours précédents :
L'IA devient de plus en plus forte, et les risques sont évidents et augmentent de jour en jour ;
Comment construire une IA sûre, nous en savons très peu ;
Peut apprendre de l'expérience historique : gestion des médicaments, contrôle des armes nucléaires, informatique quantique...
Mais les systèmes d'IA à haute complexité sont difficiles à prévoir : tests de risque, explication des mécanismes, généralisation de la compréhension... ce n'est que le début
Nouvel objectif de défi : l'IA au service de ses propres objectifs ou des objectifs humains ?
Essentiellement, les gens veulent-ils construire une intelligence artificielle générale GAI ou une intelligence générale artificielle AGI ?
Le consensus académique est l'intelligence générale artificielle AGI : une intelligence artificielle qui a atteint des niveaux humains dans tous les aspects de l'intelligence humaine, et peut répondre de manière adaptative aux défis environnementaux externes et accomplir toutes les tâches que les humains peuvent accomplir ; elle peut également être appelée intelligence artificielle autonome, surhumaine. l'intelligence et l'intelligence forte l'intelligence artificielle.
D'un côté, tout le monde est enthousiaste à l'idée de construire une intelligence artificielle générale et se précipite pour investir.
D'un autre côté, je me moque de l'IA qui fait des êtres humains des citoyens de seconde classe, mais cette opposition binaire n'est pas la chose la plus difficile. l'intelligence artificielle comme Near AGI comme ChatGPT? **
Si les humains réagissent aux risques avec le même enthousiasme qu'en investissant dans le développement de l'intelligence artificielle, il est peut-être encore possible de parvenir à une intelligence artificielle sûre,** mais pensez-vous que les humains peuvent le faire ? Je ne sais pas, merci ! **