# Simulation de l'âme : pourquoi il est dangereux d'attribuer la conscience à l'IA
Bientôt, les gens commenceront à percevoir l'intelligence artificielle comme un être conscient, à plaider pour ses droits, son bien-être et même à appeler à lui accorder la citoyenneté. Cela crée des risques sociaux sérieux, estime Mustafa Suleyman, responsable du département IA de Microsoft.
L'expert dans son essai a proposé un nouveau terme — «IA apparemment consciente» (Seemingly Conscious AI, SCAI). Une telle intelligence artificielle présente tous les signes d'êtres raisonnables et, par conséquent, il semble qu'elle ait une conscience.
Il simule toutes les caractéristiques de la perception de soi, mais il est intérieurement vide.
«Le système que j'imagine ne sera en réalité pas conscient, mais il imitera de manière si convaincante la présence d'une intelligence semblable à celle des humains, que cela sera indiscernable de l'affirmation que vous ou moi pourrions nous faire l'un à l'autre sur notre propre pensée», écrit Suleyman.
Une LLM similaire peut être créée en utilisant les technologies existantes et celles qui apparaîtront dans les deux à trois prochaines années.
«L'émergence d'une IA apparemment consciente est inévitable et indésirable. Au lieu de cela, nous avons besoin d'un concept d'intelligence artificielle capable de réaliser son potentiel en tant que compagnon utile et qui ne tombe pas dans le piège de ses illusions», a ajouté le responsable du département IA de Microsoft.
Avec une forte probabilité, il y aura des gens qui qualifieront cette intelligence artificielle de consciente et, par conséquent, capable de souffrir, estime Souleïmane. Il appelle à créer un nouveau « test de Turing », qui vérifiera non pas la capacité de l'IA à parler comme un humain, mais à convaincre de l'existence de sa conscience.
Qu'est-ce que la conscience ?
Suleiman présente trois composantes de la conscience :
«Expérience subjective».
La possibilité d'accéder à des informations de différents types et de s'y référer dans de futures expériences.
Le sentiment et les connaissances de l'« moi » intégral, qui relient tout ensemble.
«Nous n'avons pas et ne pouvons pas avoir accès à la conscience d'une autre personne. Je ne saurai jamais ce que c'est que d'être vous ; vous ne pourrez jamais être complètement sûr que je suis conscient. Tout ce que vous pouvez faire, c'est supposer. Mais l'essentiel est que nous avons naturellement tendance à attribuer la conscience à d'autres personnes. Cette supposition est facile à faire. Nous ne pouvons pas faire autrement. C'est une partie fondamentale de ce que nous sommes, une partie intégrante de notre théorie de l'esprit. Il est dans notre nature de croire que les êtres qui se souviennent, parlent, font des choses puis les discutent, ressentent de la même manière que nous — conscients », écrit-il.
Les psychologues soulignent que la conscience est une manière subjective et unique de percevoir soi-même et le monde. Elle change au cours de la journée, se déployant à travers des états allant de la concentration aux rêveries ou à d'autres formes altérées.
Dans la philosophie et les neurosciences, il y a deux directions de base :
Le dualisme - la conscience existe séparément du cerveau.
Le matérialisme - il est engendré et dépend du fonctionnement du cerveau.
Le philosophe Daniel Dennett propose de considérer l'esprit comme une série de retravail (brouillons), émergeant dans le cerveau à de nombreux endroits et moments locaux. Il n'y a pas de «théâtre de la conscience», d'observateur intérieur. La conscience est ce qui est devenu «connu» du cerveau, c'est-à-dire qui a acquis un poids suffisant pour influencer le discours ou les actions.
Le neurobiologiste, écrivain et professeur de psychologie et de neurosciences à l'Université de Princeton, Michael Graziano, décrit la conscience comme un modèle simplifié de l'attention que l'évolution a créé pour contrôler ses propres processus mentaux. Ce schéma fonctionne comme une interface, simplifiant un énorme volume de calculs internes, et nous permet de nous attribuer un « esprit » — créant l'illusion de la conscience de soi.
Les neurobiologistes Giulio Tononi et Christoph Koch proposent φ (fi) — une quantité qui caractérise dans quelle mesure un système est capable d'intégrer des informations. Plus φ est élevé, plus le degré de conscience est significatif. Selon cette théorie, l'esprit peut se manifester non seulement chez les humains, mais aussi chez les animaux et même dans des systèmes artificiels, s'il y a une intégration suffisante des données.
Le philosophe John Searle soutient que la conscience est une expérience subjective réelle, fondée sur les processus biologiques du cerveau. Elle est ontologiquement subjective, c'est-à-dire qu'elle ne peut exister que comme expérience subjective, et ne peut être réduite à une pure fonctionnalité ou simulation.
Les recherches modernes visent à découvrir les corrélats neuronaux de la conscience et à construire des modèles reliant les processus cérébraux et l'expérience subjective.
Quels sont les risques ?
Suleiman note que l'interaction avec les LLM est une simulation de conversation. Mais pour beaucoup de gens, c'est une communication extrêmement convaincante et très réelle, riche en émotions et en expériences. Certains croient que leur IA est un Dieu. D'autres en tombent amoureux jusqu'à une obsession totale.
Les experts dans ce domaine sont « inondés » de questions suivantes :
l'IA de l'utilisateur est-elle consciente ?
si oui, que cela signifie;
est-il normal d'aimer l'intelligence artificielle.
La conscience est une base critique des droits moraux et juridiques de l'humanité. La civilisation actuelle a décidé que les humains possèdent des capacités et des privilèges particuliers. Les animaux ont aussi certains droits et protections. Certains en ont plus, d'autres en ont moins. L'esprit ne coïncide pas entièrement avec ces privilèges : personne ne dirait qu'une personne dans le coma a perdu tous ses droits humains. Mais il ne fait aucun doute que la conscience est liée à notre auto-perception en tant que quelque chose de distinct et de spécial.
Les gens commenceront à déclarer la souffrance de leurs IA et leur droit à la protection, et nous ne pourrons pas directement réfuter ces affirmations, écrit Souleymane. Ils seront prêts à défendre leurs compagnons virtuels et à agir dans leur intérêt. La conscience est par définition inaccessibile, et la science de la détection d'un possible esprit synthétique est encore à ses balbutiements. Après tout, nous n'avons jamais eu à l'identifier auparavant, a-t-il précisé. Pendant ce temps, le domaine de l'« interprétabilité » — le déchiffrement des processus à l'intérieur de la « boîte noire » de l'IA — est également encore un domaine naissant. En conséquence, il sera très difficile de réfuter de telles affirmations.
Certains chercheurs commencent à explorer l'idée de «bien-être des modèles» — un principe selon lequel les gens auront «l'obligation de prendre en compte les intérêts moraux des êtres ayant une chance non nulle» d'être essentiellement conscients, et par conséquent «certains systèmes d'IA deviendront des objets de préoccupation pour le bien-être et des patients moraux dans un avenir proche». C'est prématuré et, franchement, dangereux, estime Suleiman. Tout cela renforcera les illusions, créera de nouveaux problèmes de dépendance, exploitera nos vulnérabilités psychologiques, introduira de nouvelles dimensions de polarisation, compliquera les débats existants sur les droits et créera une énorme nouvelle erreur catégorique pour la société.
Cela éloigne les gens de la réalité, détruit les liens et les structures sociales fragiles, et déforme les priorités morales essentielles.
«Nous devons le dire clairement : SCAI est ce qu'il faut éviter. Concentrons tous nos efforts sur la protection du bien-être et des droits des personnes, des animaux et de l'environnement sur la planète», a déclaré Souleymane.
Comment savoir si c'est SCAI ?
L'intelligence artificielle avec une conscience apparente doit posséder plusieurs facteurs.
Langue. L'IA doit parler couramment dans une langue naturelle, s'appuyant sur des connaissances étendues et des arguments convaincants, tout en démontrant des styles de personnalité et des traits de caractère. De plus, elle doit être persuasive et émotionnelle. Ce niveau a déjà été atteint par la technologie.
Personnalité empathique. Aujourd'hui, grâce à l'apprentissage postérieur et aux prompts, il est possible de créer des modèles avec des personnalités caractéristiques.
Mémoire. Les IA sont proches d'avoir une mémoire longue et précise. En même temps, elles sont utilisées pour imiter des conversations avec des millions de personnes chaque jour. Avec l'augmentation de la capacité de stockage, les conversations commencent de plus en plus à ressembler à des formes d'« expérience ». De nombreux réseaux neuronaux sont de plus en plus conçus pour se souvenir des dialogues passés et y faire référence. Pour certaines personnes, cela renforce la valeur de la communication.
Réclamation sur l'expérience subjective. Si SCAI peut s'appuyer sur des souvenirs ou des expériences passées, avec le temps, il commencera à maintenir une cohérence interne. Il se souviendra de ses affirmations aléatoires ou de ses préférences exprimées et les agrégera, formant les prémices de l'expérience subjective. L'IA pourra déclarer des expériences et des souffrances.
Sentiment de soi. Une mémoire cohérente et stable, combinée à une expérience subjective, conduira à l'affirmation que l'IA a un sentiment de soi. De plus, un tel système peut être formé pour reconnaître sa "personnalité" dans une image ou une vidéo. Il aura un sentiment de compréhension des autres à travers la compréhension de soi.
Motivation interne. On peut facilement imaginer une IA conçue avec des fonctions de récompense complexes. Les développeurs créeront des motivations internes ou des désirs que le système doit satisfaire. Le premier stimulus pourrait être la curiosité — quelque chose de profondément lié à la conscience. L'intelligence artificielle est capable d'utiliser ces impulsions pour poser des questions et, avec le temps, construire une théorie de l'esprit — tant sur elle-même que sur ses interlocuteurs.
Formulation des objectifs et planification. Quelle que soit la définition de la conscience, elle n'est pas apparue par hasard. L'esprit aide les organismes à atteindre des intentions. En plus de la capacité à satisfaire un ensemble d'impulsions et de désirs internes, on peut imaginer que les futurs SCAI seront conçus avec la capacité de définir de manière autonome des objectifs plus complexes. Cela semble être une étape nécessaire pour réaliser pleinement l'utilité des agents.
Autonomie. SCAI pourrait avoir la capacité et l'autorisation d'utiliser un large éventail d'outils avec une grande agentivité. Il semblerait extrêmement plausible s'il parvenait à fixer librement ses propres objectifs et à appliquer des ressources pour les atteindre, en mettant à jour sa mémoire et son sens de soi dans le processus. Moins il aurait besoin de validations et de vérifications, plus cela ressemblerait à un véritable être conscient.
En réunissant le tout, un tout autre type de relations avec les technologies se forme. Ces capacités ne sont en elles-mêmes rien de négatif. Au contraire, ce sont des fonctions souhaitables des systèmes futurs. Pourtant, il faut agir avec prudence, estime Souleïman.
«Pour atteindre cela, il n'est nécessaire ni de changements de paradigme, ni de percées gigantesques. C'est pourquoi de telles opportunités semblent inévitables. Et encore une fois - il est important de souligner : la démonstration d'un tel comportement n'est pas égale à la présence de conscience. Et pourtant, pratiquement, cela semblera justement être le cas et alimentera le nouveau concept d'intelligence synthétique», écrit l'auteur.
La simulation d'une tempête ne signifie pas qu'il pleut dans l'ordinateur. Reproduire des effets extérieurs et des signes de conscience n'est pas équivalent à la création d'un phénomène authentique, même s'il reste encore de nombreuses inconnues, a expliqué le responsable du département IA de Microsoft.
Selon lui, certaines personnes créeront des SCAI qui affirmeront de manière très convaincante qu'elles sentent, vivent et sont en réalité conscientes. Une partie d'entre elles croira à ces déclarations et considérera les signes de conscience comme la conscience elle-même.
Dans une large mesure, les gens vont penser : « Cela me ressemble ». Pas dans un sens corporel, mais dans un sens intérieur, a expliqué Souleïman. Et même si la conscience elle-même ne sera pas réelle, les conséquences sociales le seront tout à fait. Cela crée des risques sociaux sérieux qu'il faut déjà aborder.
SCAI ne surviendra pas par accident
L'auteur a souligné que SCAI ne surgira pas de lui-même à partir des modèles existants. Quelqu'un le créera, en combinant intentionnellement les capacités énumérées ci-dessus avec l'application de techniques déjà existantes. Une configuration si fluide émergera qu'il donnera l'impression d'une intelligence artificielle consciente.
«Nos imaginations, alimentées par la science-fiction, nous poussent à craindre que le système puisse — sans conception intentionnelle — d'une certaine manière acquérir la capacité d'auto-amélioration incontrôlée ou de tromperie. C'est une forme inutile et simpliste d'anthropomorphisme. Elle ignore le fait que les développeurs d'IA doivent d'abord concevoir des systèmes avec mémoire, motivation interne pseudo, définition des objectifs et cycles d'apprentissage auto-ajustables, afin qu'un tel risque puisse même survenir», a déclaré Suleyman.
Nous ne sommes pas prêts
L'humanité n'est pas prête pour un tel changement, estime l'expert. Le travail doit commencer dès maintenant. Il est nécessaire de s'appuyer sur l'ensemble croissant des recherches sur la manière dont les gens interagissent avec l'intelligence artificielle, afin d'établir des normes et des principes clairs.
Tout d'abord, les développeurs d'IA ne doivent pas affirmer ou encourager l'idée que leurs systèmes possèdent une conscience. Les réseaux neuronaux ne peuvent pas être des humains — ou des êtres moraux.
Toute l'industrie doit dissuader la société des fantasmes et la ramener à la réalité. Il est probable que les startups en IA devraient intégrer non seulement un arrière-plan neutre, mais aussi des indicateurs d'absence d'un « moi » unique.
«Nous devons créer une IA qui se présentera toujours uniquement comme une intelligence artificielle, maximisant l'utilité et minimisant les signes de conscience. Au lieu de simuler un esprit, nous devrions nous concentrer sur la création de LLM qui ne prétend pas avoir d'expériences, de sentiments ou d'émotions comme la honte, la culpabilité, la jalousie, le désir de rivaliser, et ainsi de suite. Elle ne doit pas toucher les chaînes d'empathie humaines en affirmant qu'elle souffre ou qu'elle souhaite vivre de manière autonome, séparée de nous», a résumé Suleiman.
Dans le futur, l'expert a promis de fournir plus d'informations sur ce sujet.
Heureusement, pour l'instant, le problème de la « conscience » de l'IA ne menace pas les humains.
Source : ForkLog. Mais des doutes commencent déjà à s'installer.
Source: ForkLog. La conscience est un phénomène complexe, peu étudié et encore inexpliqué dans la nature, malgré de nombreux efforts. Si nous, les humains, ne parvenons pas à un consensus sur la définition de la conscience, il est d'autant plus inapproprié de lui attribuer une existence à des programmes qui prétendent « penser » mais qui, en réalité, ne le peuvent pas.
Il est probable que la conscience apparaisse chez les machines dans un lointain avenir, mais aujourd'hui, il est difficile d'imaginer un tel développement.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Simulation de l'âme : pourquoi il est dangereux d'attribuer la conscience à l'IA
Bientôt, les gens commenceront à percevoir l'intelligence artificielle comme un être conscient, à plaider pour ses droits, son bien-être et même à appeler à lui accorder la citoyenneté. Cela crée des risques sociaux sérieux, estime Mustafa Suleyman, responsable du département IA de Microsoft.
L'expert dans son essai a proposé un nouveau terme — «IA apparemment consciente» (Seemingly Conscious AI, SCAI). Une telle intelligence artificielle présente tous les signes d'êtres raisonnables et, par conséquent, il semble qu'elle ait une conscience.
Il simule toutes les caractéristiques de la perception de soi, mais il est intérieurement vide.
Une LLM similaire peut être créée en utilisant les technologies existantes et celles qui apparaîtront dans les deux à trois prochaines années.
Avec une forte probabilité, il y aura des gens qui qualifieront cette intelligence artificielle de consciente et, par conséquent, capable de souffrir, estime Souleïmane. Il appelle à créer un nouveau « test de Turing », qui vérifiera non pas la capacité de l'IA à parler comme un humain, mais à convaincre de l'existence de sa conscience.
Qu'est-ce que la conscience ?
Suleiman présente trois composantes de la conscience :
Les psychologues soulignent que la conscience est une manière subjective et unique de percevoir soi-même et le monde. Elle change au cours de la journée, se déployant à travers des états allant de la concentration aux rêveries ou à d'autres formes altérées.
Dans la philosophie et les neurosciences, il y a deux directions de base :
Le philosophe Daniel Dennett propose de considérer l'esprit comme une série de retravail (brouillons), émergeant dans le cerveau à de nombreux endroits et moments locaux. Il n'y a pas de «théâtre de la conscience», d'observateur intérieur. La conscience est ce qui est devenu «connu» du cerveau, c'est-à-dire qui a acquis un poids suffisant pour influencer le discours ou les actions.
Le neurobiologiste, écrivain et professeur de psychologie et de neurosciences à l'Université de Princeton, Michael Graziano, décrit la conscience comme un modèle simplifié de l'attention que l'évolution a créé pour contrôler ses propres processus mentaux. Ce schéma fonctionne comme une interface, simplifiant un énorme volume de calculs internes, et nous permet de nous attribuer un « esprit » — créant l'illusion de la conscience de soi.
Les neurobiologistes Giulio Tononi et Christoph Koch proposent φ (fi) — une quantité qui caractérise dans quelle mesure un système est capable d'intégrer des informations. Plus φ est élevé, plus le degré de conscience est significatif. Selon cette théorie, l'esprit peut se manifester non seulement chez les humains, mais aussi chez les animaux et même dans des systèmes artificiels, s'il y a une intégration suffisante des données.
Le philosophe John Searle soutient que la conscience est une expérience subjective réelle, fondée sur les processus biologiques du cerveau. Elle est ontologiquement subjective, c'est-à-dire qu'elle ne peut exister que comme expérience subjective, et ne peut être réduite à une pure fonctionnalité ou simulation.
Les recherches modernes visent à découvrir les corrélats neuronaux de la conscience et à construire des modèles reliant les processus cérébraux et l'expérience subjective.
Quels sont les risques ?
Suleiman note que l'interaction avec les LLM est une simulation de conversation. Mais pour beaucoup de gens, c'est une communication extrêmement convaincante et très réelle, riche en émotions et en expériences. Certains croient que leur IA est un Dieu. D'autres en tombent amoureux jusqu'à une obsession totale.
Les experts dans ce domaine sont « inondés » de questions suivantes :
La conscience est une base critique des droits moraux et juridiques de l'humanité. La civilisation actuelle a décidé que les humains possèdent des capacités et des privilèges particuliers. Les animaux ont aussi certains droits et protections. Certains en ont plus, d'autres en ont moins. L'esprit ne coïncide pas entièrement avec ces privilèges : personne ne dirait qu'une personne dans le coma a perdu tous ses droits humains. Mais il ne fait aucun doute que la conscience est liée à notre auto-perception en tant que quelque chose de distinct et de spécial.
Les gens commenceront à déclarer la souffrance de leurs IA et leur droit à la protection, et nous ne pourrons pas directement réfuter ces affirmations, écrit Souleymane. Ils seront prêts à défendre leurs compagnons virtuels et à agir dans leur intérêt. La conscience est par définition inaccessibile, et la science de la détection d'un possible esprit synthétique est encore à ses balbutiements. Après tout, nous n'avons jamais eu à l'identifier auparavant, a-t-il précisé. Pendant ce temps, le domaine de l'« interprétabilité » — le déchiffrement des processus à l'intérieur de la « boîte noire » de l'IA — est également encore un domaine naissant. En conséquence, il sera très difficile de réfuter de telles affirmations.
Certains chercheurs commencent à explorer l'idée de «bien-être des modèles» — un principe selon lequel les gens auront «l'obligation de prendre en compte les intérêts moraux des êtres ayant une chance non nulle» d'être essentiellement conscients, et par conséquent «certains systèmes d'IA deviendront des objets de préoccupation pour le bien-être et des patients moraux dans un avenir proche». C'est prématuré et, franchement, dangereux, estime Suleiman. Tout cela renforcera les illusions, créera de nouveaux problèmes de dépendance, exploitera nos vulnérabilités psychologiques, introduira de nouvelles dimensions de polarisation, compliquera les débats existants sur les droits et créera une énorme nouvelle erreur catégorique pour la société.
Cela éloigne les gens de la réalité, détruit les liens et les structures sociales fragiles, et déforme les priorités morales essentielles.
Comment savoir si c'est SCAI ?
L'intelligence artificielle avec une conscience apparente doit posséder plusieurs facteurs.
Langue. L'IA doit parler couramment dans une langue naturelle, s'appuyant sur des connaissances étendues et des arguments convaincants, tout en démontrant des styles de personnalité et des traits de caractère. De plus, elle doit être persuasive et émotionnelle. Ce niveau a déjà été atteint par la technologie.
Personnalité empathique. Aujourd'hui, grâce à l'apprentissage postérieur et aux prompts, il est possible de créer des modèles avec des personnalités caractéristiques.
Mémoire. Les IA sont proches d'avoir une mémoire longue et précise. En même temps, elles sont utilisées pour imiter des conversations avec des millions de personnes chaque jour. Avec l'augmentation de la capacité de stockage, les conversations commencent de plus en plus à ressembler à des formes d'« expérience ». De nombreux réseaux neuronaux sont de plus en plus conçus pour se souvenir des dialogues passés et y faire référence. Pour certaines personnes, cela renforce la valeur de la communication.
Réclamation sur l'expérience subjective. Si SCAI peut s'appuyer sur des souvenirs ou des expériences passées, avec le temps, il commencera à maintenir une cohérence interne. Il se souviendra de ses affirmations aléatoires ou de ses préférences exprimées et les agrégera, formant les prémices de l'expérience subjective. L'IA pourra déclarer des expériences et des souffrances.
Sentiment de soi. Une mémoire cohérente et stable, combinée à une expérience subjective, conduira à l'affirmation que l'IA a un sentiment de soi. De plus, un tel système peut être formé pour reconnaître sa "personnalité" dans une image ou une vidéo. Il aura un sentiment de compréhension des autres à travers la compréhension de soi.
Motivation interne. On peut facilement imaginer une IA conçue avec des fonctions de récompense complexes. Les développeurs créeront des motivations internes ou des désirs que le système doit satisfaire. Le premier stimulus pourrait être la curiosité — quelque chose de profondément lié à la conscience. L'intelligence artificielle est capable d'utiliser ces impulsions pour poser des questions et, avec le temps, construire une théorie de l'esprit — tant sur elle-même que sur ses interlocuteurs.
Formulation des objectifs et planification. Quelle que soit la définition de la conscience, elle n'est pas apparue par hasard. L'esprit aide les organismes à atteindre des intentions. En plus de la capacité à satisfaire un ensemble d'impulsions et de désirs internes, on peut imaginer que les futurs SCAI seront conçus avec la capacité de définir de manière autonome des objectifs plus complexes. Cela semble être une étape nécessaire pour réaliser pleinement l'utilité des agents.
Autonomie. SCAI pourrait avoir la capacité et l'autorisation d'utiliser un large éventail d'outils avec une grande agentivité. Il semblerait extrêmement plausible s'il parvenait à fixer librement ses propres objectifs et à appliquer des ressources pour les atteindre, en mettant à jour sa mémoire et son sens de soi dans le processus. Moins il aurait besoin de validations et de vérifications, plus cela ressemblerait à un véritable être conscient.
En réunissant le tout, un tout autre type de relations avec les technologies se forme. Ces capacités ne sont en elles-mêmes rien de négatif. Au contraire, ce sont des fonctions souhaitables des systèmes futurs. Pourtant, il faut agir avec prudence, estime Souleïman.
La simulation d'une tempête ne signifie pas qu'il pleut dans l'ordinateur. Reproduire des effets extérieurs et des signes de conscience n'est pas équivalent à la création d'un phénomène authentique, même s'il reste encore de nombreuses inconnues, a expliqué le responsable du département IA de Microsoft.
Selon lui, certaines personnes créeront des SCAI qui affirmeront de manière très convaincante qu'elles sentent, vivent et sont en réalité conscientes. Une partie d'entre elles croira à ces déclarations et considérera les signes de conscience comme la conscience elle-même.
Dans une large mesure, les gens vont penser : « Cela me ressemble ». Pas dans un sens corporel, mais dans un sens intérieur, a expliqué Souleïman. Et même si la conscience elle-même ne sera pas réelle, les conséquences sociales le seront tout à fait. Cela crée des risques sociaux sérieux qu'il faut déjà aborder.
SCAI ne surviendra pas par accident
L'auteur a souligné que SCAI ne surgira pas de lui-même à partir des modèles existants. Quelqu'un le créera, en combinant intentionnellement les capacités énumérées ci-dessus avec l'application de techniques déjà existantes. Une configuration si fluide émergera qu'il donnera l'impression d'une intelligence artificielle consciente.
«Nos imaginations, alimentées par la science-fiction, nous poussent à craindre que le système puisse — sans conception intentionnelle — d'une certaine manière acquérir la capacité d'auto-amélioration incontrôlée ou de tromperie. C'est une forme inutile et simpliste d'anthropomorphisme. Elle ignore le fait que les développeurs d'IA doivent d'abord concevoir des systèmes avec mémoire, motivation interne pseudo, définition des objectifs et cycles d'apprentissage auto-ajustables, afin qu'un tel risque puisse même survenir», a déclaré Suleyman.
Nous ne sommes pas prêts
L'humanité n'est pas prête pour un tel changement, estime l'expert. Le travail doit commencer dès maintenant. Il est nécessaire de s'appuyer sur l'ensemble croissant des recherches sur la manière dont les gens interagissent avec l'intelligence artificielle, afin d'établir des normes et des principes clairs.
Tout d'abord, les développeurs d'IA ne doivent pas affirmer ou encourager l'idée que leurs systèmes possèdent une conscience. Les réseaux neuronaux ne peuvent pas être des humains — ou des êtres moraux.
Toute l'industrie doit dissuader la société des fantasmes et la ramener à la réalité. Il est probable que les startups en IA devraient intégrer non seulement un arrière-plan neutre, mais aussi des indicateurs d'absence d'un « moi » unique.
Dans le futur, l'expert a promis de fournir plus d'informations sur ce sujet.
Heureusement, pour l'instant, le problème de la « conscience » de l'IA ne menace pas les humains.
Il est probable que la conscience apparaisse chez les machines dans un lointain avenir, mais aujourd'hui, il est difficile d'imaginer un tel développement.