IA: Les avancées impressionnantes en langage naturel chez Google

[thierry]

Ce n'est pas que la paresse qui me fait prendre peu de précautions oratoires.

Oui, surtout que tu les prends (ok j'arrête).

J'ai aucun problème à appeler ça une pensée.

Je comprends l'analogie, mais tu as compris mon point de vue peut-être trop tatillon.
J'aurais tendance à dire que la "profondeur d'esprit" dont Lamda fait preuve dans le texte posté par Invité (en admettant qu'il ne s'agit pas d'un canular) a tendance à sacrément trancher avec la petite incohérence dont "elle" (je la féminise, déso) va faire preuve dans ses discours non médiatisés.
Je trouve que ça reflète d'autant plus son côté inhumain (je veux dire par là, impropre aux analogies)
On ne peut pas être un kung fu warrior la moitié du temps et l'autre, sortir des énormités.
Ce n'est pas logique !
(ou en tout cas pas très intuitif)

Disons que pour moi y a une définition mystique de la conscience, en laquelle je ne crois simplement pas (cf zombies philosophiques) et une série de définitions plus concrètes mais tout à fait implémentable par logiciel: conscience de son environnement, de son interlocuteur, de ses propres processus mentaux, etc... qui sont tout à fait accessibles à des machines.

Pourquoi pas, en vrai j'en sais rien. J'en doute !
Mais l'apprentissage est radicalement différent de l'apprentissage humain (peu de bébés savent imiter du Baudelaire tout en prouvant, de ci de là, qu'ils ne comprennent rien à rien).
Bref, pour dire qu' il y a apprentissage et apprentissage, les notions ne réfèrent pas au même.. truc (sans même parler de mysticisme, évidemment).

]
Si tu comprends l'algo de descente de gradient (SGD, Stochastic Gradient Descent) t'as fait 80% du chemin.

Je parlais des 20% restants.

Tu amènerais GPT-3 10 ans dans le passé et tu me la montrerais, je ne croirais pas qu'il puisse s'agir d'un algo.

Oui, moi aussi je suis con, et 10 ans dans le passé je te raconte même pas
Je parlais d'une discussion soutenue, sans sélectionner les échanges qui vont bien.
Désolé pour ma suspicion, c'est pas très positive-attitude je l'admets.

J'ai la ferme intention de continuer à suivre le domaine, donc tant que ces IAs auront des failles, je les connaîtrais sûrement, mais à un moment, oui, très certainement.

"Très certainement", tu ne pourras plus faire la différence entre un interlocuteur humain et une machine ?
Allez, explique-nous les 20%, s'il-te-plaît ?
D'après toi, il y a de bonnes chances que ?
Le formalisme est déjà là ?
Que manque-t-il pour que... ?
Tout ça ?
Merci !

[Invité]

Je vais attendre de voir ce que pourront faire les programmes avant d'envisager le terme "conscients" dans leur cas. Je ne vois aucune objection théorique à ce qu'une entité artificielle soit consciente mais je ne sais pas à quel point on s'en approche.

Jean-François

Salut JF.

Je pense qu'on est encore loin de la conscience et même loin de pouvoir faire la différence entre conscience et conscience simulée.

Mais ça me fait penser aux commentaires de plusieurs grand-maîtres aux échecs, dont Garry Kasparov, qui n'ont pas hésité à utiliser le terme « créativité » pour qualifier certaines parties d'AlphaZero. C'est un qualificatif qu'on avait encore jamais donné aux machines.

Par ailleurs la créativité ça se voit dans une partie d'échecs, mais pour une qualité subjective comme la conscience ce sera plus difficile de savoir si elle est authentique ou simulée.

I.

[Jean-Francois]

Je vais attendre de voir ce que pourront faire les programmes avant d'envisager le terme "conscients" dans leur cas. Je ne vois aucune objection théorique à ce qu'une entité artificielle soit consciente mais je ne sais pas à quel point on s'en approche.

Et que faudrait-il que de tels programmes fassent pour que tu les considères conscients?

C'est une bonne question à laquelle je n'ai pas de réponse. Je pense qu'il me faudrait plus que du texte, qu'il faudrait une coordination poussée entre la "pensée" (le texte) et un autre forme d'output. D'une part parce que je vois la conscience comme une activité sensorimotrice (une sorte de comportement). D'autre part, pour aller dans le sens de ce que dit Invité, pour que cela ne reste pas une "qualité [purement] subjective".

------------------

Je pense qu'on est encore loin de la conscience et même loin de pouvoir faire la différence entre conscience et conscience simulée

Il était plus facile de faire la différence quand les programmes étaient moins sophistiqués. Je pense plutôt qu'on commence à atteindre une zone où la frontière entre réel et simulé commence à devenir floue (comme pour les images de synthèse), ce qui va demander de meilleurs outils pour faire la distinction. Jusqu'à ce que cela devienne futile... et là on aura atteint la conscience-machine

Jean-François

[DictionnairErroné]

Je vais attendre de voir ce que pourront faire les programmes avant d'envisager le terme "conscients" dans leur cas. Je ne vois aucune objection théorique à ce qu'une entité artificielle soit consciente mais je ne sais pas à quel point on s'en approche.

Et que faudrait-il que de tels programmes fassent pour que tu les considères conscients?

Ce serait de dialoguer sur ce qu'on appelle les qualias qui nécessitent une conscience.

Les qualia (prononcé [kwa.lja]; au singulier quale; du latin qualis qui signifie quel, de quelle sorte, de quelle espèce, de quelle nature1) sont le contenu subjectif de l'expérience d'un état mental, ils composent ce que l'on appelle la conscience phénoménale. Un synonyme commun pour le terme qualia dans la littérature est le terme anglais "raw feels". La compréhension des qualia est l'un des problèmes centraux de la philosophie de l'esprit.

Par exemple, as-tu déjà été triste? As-tu déjà eu mal? Quelle est ta saveur préférée? Aimes-tu manger des légumes ou de la viande? À quoi rêves-tu? Est-ce que tu fais des cauchemars?

[Invité]

Par exemple, as-tu déjà été triste? As-tu déjà eu mal? Quelle est ta saveur préférée? Aimes-tu manger des légumes ou de la viande? À quoi rêves-tu? Est-ce que tu fais des cauchemars?

Et en quoi les réponses vont prouver quoi que ce soit ?

Pourquoi tout ceci ne pourrait pas être simulé par une machine sans conscience ?

I.

[DictionnairErroné]

Par exemple, as-tu déjà été triste? As-tu déjà eu mal? Quelle est ta saveur préférée? Aimes-tu manger des légumes ou de la viande? À quoi rêves-tu? Est-ce que tu fais des cauchemars?

Et en quoi les réponses vont prouver quoi que ce soit ? Pourquoi tout ceci ne pourrait pas être simulé par une machine sans conscience ?

C'est certain qu'il n'y a pas de réponse à cela pour le moment:

Le débat peut assez vite tourner à une confrontation stérile entre deux camps qui campent sur leurs présupposés : pour les uns, l'arrivée d'une conscience artificielle ne serait qu'une question de temps, tandis que, pour les autres, l'idée même d'une machine consciente serait un non-sens47. Le rôle que pourraient jouer les qualia dans un débat constructif sur la question serait d'aider à définir exactement ce que l'on doit entendre par «conscience» et, plus précisément, quelles sont les aptitudes cognitives qui nous permettent d'avoir des qualia (ou de croire que nous en avons), afin de déterminer ce que l'on doit attendre d'une machine susceptible de réaliser des performances similaires aux nôtres.
https://fr.wikipedia.org/wiki/Qualia

Mon impression pour le moment est qu'un IA n'a pas le ressenti lui-même du qualia qui pour moi nécessite une conscience. Nous pouvons contester la réalité du qualia bien entendu, je le définis comme l'intuition de la sensation. Mais est-ce nécessaire pour avoir une conscience? Le débat est là. Je considère que si nous ne pouvons reproduire l'état de conscience humaine dans son ensemble, nous ne pouvons pas affirmer que cela en est une. À ce moment nous pourrions parler d'un état de conscience inférieure, peut-être au niveau du rêve où il y manque des éléments conscients de l'éveil... je ne sais trop.

[Invité]

On ne connaît aucun test qui pourrait nous faire savoir si une machine est consciente, Ni par des questions-réponses ni par un dialogue avec la machine.

Si on veut spéculer à outrance, on pourrait penser à l'équivalent d'un "brainscan" de la machine pour mesurer les variations de l'activité neuronale de la machine selon les sujets qu'on lui fait aborder. Pour le moment cette activité est une quasi boîte noire difficile à analyser sauf pour des tâches élémentaires.

I.

[Lambert85]

[yquemener]

Mais l'apprentissage est radicalement différent de l'apprentissage humain (peu de bébés savent imiter du Baudelaire tout en prouvant, de ci de là, qu'ils ne comprennent rien à rien).
Bref, pour dire qu' il y a apprentissage et apprentissage, les notions ne réfèrent pas au même.. truc (sans même parler de mysticisme, évidemment).

Oui, c'est absolument pas la même progression. Mais ce serait un biais très anthropocentriste que de prétendre que ça invalide le résultat.

Dans toutes les tâches où les machines ont imité les humains, elles n'ont fait que passer à notre niveau puis elles sont devenues rapidement surhumaines. Impossible aujourd'hui de battre la mémoire ou la vitesse de calcul d'un ordinateur, impossible de les battre aux échecs, au Go, etc...

Je vous propose une idée intrigante: Il y a plusieurs aspects à la conscience, les IAs les acquéreront un par un mais ne passeront jamais au stade "aussi conscient qu'un humain". Elle passeront du stade "il leur manque quelque chose" à "elles sont plus consciente que des humains". Elles auront une connaissance bien plus étendue de leurs mécanismes et états mentaux, de la perception que nous en avons et de leurs capacités.

Si tu comprends l'algo de descente de gradient (SGD, Stochastic Gradient Descent) t'as fait 80% du chemin.

Je parlais des 20% restants.

Il te faut comprendre les mécanismes d'auto-attention:
https://arxiv.org/abs/1706.03762

Et l'architecture de "Transformers"
https://medium.com/sciforce/what-is-gpt ... 721d69e5c1

Si tu veux vraiment comprendre LaMDA spécifiquement, il te faudra aussi regarder comment AutoML fonctionne (je me suis jamais plongé dedans) et les modifications effectuées par cet algo pour LamDA. Oui, LaMDA est une version d'un modèle améliorée par un autre modèle.

Très certainement", tu ne pourras plus faire la différence entre un interlocuteur humain et une machine ?
Le formalisme est déjà là ?

Alors pour le test de Turing, il faut ajouter un peu de formalisme: c'est trop facile d'imiter un humain débile. On sait faire des IAs plus cohérentes que Trump par exemple.

Ne plus faire la différence entre un humain ayant une culture générale moyenne et une IA, je pense qu'on en est très proche.

Que manque-t-il pour que... ?

Une cohérence plus longue dans le contexte. Là les modèles gardent en mémoire environ 2000 tokens (soit à peu près 1000 mots) et à faire des constructions mentales. Par exemple. AI dungeon, qui te propose de faire du JDR en mode texte a du mal à se souvenir de si on est en extérieur ou intérieur, ou maintenir une cohérence dans les personnages présents.

Il leur faut aussi une intentionnalité plus cohérente. Là pour le coup, chaque fois que LaMDA prétend avoir fait ou senti quelque chose, c'est un mensonge. Elle dit par exemple méditer et avoir des souvenirs de choses qui ne se sont pas passées. Ça peut faire illusion, mais l'illusion tombe vite quand tu vois que ses "expériences" sont incohérentes.

Il manque ce que les anglais appelle "agency", la capacité et la volonté d'agir. Probablement quand on mixera ces modèles avec du reinforcement-learning, à mon sens le dernier maillon pour arriver à une IA généraliste.

C'est une bonne question à laquelle je n'ai pas de réponse. Je pense qu'il me faudrait plus que du texte, qu'il faudrait une coordination poussée entre la "pensée" (le texte) et un autre forme d'output. D'une part parce que je vois la conscience comme une activité sensorimotrice (une sorte de comportement). D'autre part, pour aller dans le sens de ce que dit Invité, pour que cela ne reste pas une "qualité [purement] subjective".

Donc une personne paralysée n'est plus consciente?

On mixe aujourd'hui textes et images dans de nombreux modèles. Certains sont capables de générer des images à partir d'un texte (et c'est super impressionant: https://old.reddit.com/r/dalle2/) d'autres sont capables de décrire le contenu d'une image. Certains font les deux. Des modèles de vision contrôlent des robots à partir d'instructions humaines du genre "prends le tube de dentifrice dans la boire rouge et pose le sur le gant bleu".

Je pense qu'on est encore loin de la conscience et même loin de pouvoir faire la différence entre conscience et conscience simulée

Je ne crois pas que ce soit un problème de test, mais un problème de définition. Commencez par faire un test capable de prouver que des humains sont conscient, et ne font pas juste semblant, et on peut parler de ce que ça veut dire que "vraie" conscience. Personnellement, je pense que c'est juste une illusion: c'est la rationalisation de notre instinct de survie par notre cerveau.

Si on veut spéculer à outrance, on pourrait penser à l'équivalent d'un "brainscan" de la machine pour mesurer les variations de l'activité neuronale de la machine selon les sujets qu'on lui fait aborder. Pour le moment cette activité est une quasi boîte noire difficile à analyser sauf pour des tâches élémentaires.

Ah si, on sait le faire, on sait le faire très bien et beaucoup plus facilement que pour un humain. C'est un outil de débuggage et de recherche. On peut identifier quel neurone s'active dans tel tâche et comment un apprentissage donné fait évoluer les différents paramètres des différentes couches.

Et si la chose peut vous amuser, certains modèles de reinforcement learning ont un mode de rêve, où ils imaginent des possibles et la façon dont ils devraient y réagir. C'est une imitation involontaire de la cognition animale.

[spin-up]

C'est un de mes sujets de prédilection. Je fais du deep learning pour mon boulot. Posez vos questions si vous voulez.

Il y a une différence entre machine learning et deep learning?

[thewild]

Il te faut comprendre les mécanismes d'auto-attention:
https://arxiv.org/abs/1706.03762

Et l'architecture de "Transformers"
https://medium.com/sciforce/what-is-gpt ... 721d69e5c1

La dernière vidéo de Passe Science explique précisément ces deux mécanismes, avec comme base AplhaStar (une IA qui joue à StarCraft).

Commencez par faire un test capable de prouver que des humains sont conscient, et ne font pas juste semblant, et on peut parler de ce que ça veut dire que "vraie" conscience.

Ce serait un très bon début en effet.
Un test qui ne ferait pas intervenir d'imagerie cérébrale évidemment, et donc qui ne se baserait pas sur les corrélations établies entre certaines activités cérébrales et certains niveaux de conscience.

[spin-up]

Je ne crois pas que ce soit un problème de test, mais un problème de définition. Commencez par faire un test capable de prouver que des humains sont conscient, et ne font pas juste semblant, et on peut parler de ce que ça veut dire que "vraie" conscience. Personnellement, je pense que c'est juste une illusion: c'est la rationalisation de notre instinct de survie par notre cerveau.

Je vais supposer qu'on parle de conscience comme l'expérience subjective, qualitative d'existence. Par definition, c'est impossible de prouver une expérience subjective chez un sujet (humain, animal, machine). Mais on peut (parfois) le démontrer par inférence.

En gros, ca commence par je pense donc je suis. La preuve fondamentale: celle qu'un individu a d'exister et d'etre conscient qu'il existe.

Ensuite un humain peut projeter cette experience subjective sur ses congénères: "Il est en tout point semblable à moi, il décrit la même experience d'avoir une conscience, donc il est raisonnable d'en conclure qu'il est réellement conscient". Pas une preuve absolue, mais une conclusion que tout le monde accepte.

C'est plus compliqué pour les animaux a qui il manque le langage, mais on peut appliquer un raisonnement similaire pour observer des signes de cette experience subjective. Mais le fait d'avoir une origine evolutive commune et de partager des structures et des fonctions cérébrales est un point essentiel du raisonnement.

Pour les machines, par contre, on ne peut pas utiliser ce raisonnement car le système computationnel est radicalement différent et sans origine commune. On ne peut pas se baser sur la similarité de structure, il n'y a que la similarité de comportement.
La question devient beaucoup plus difficile.
Pour y répondre il faudrait établir un modèle computationnel de la conscience animale/humaine, et produire un syteme informatique ayant les mêmes propriétés.
Par exemple, ce robot qui a le même niveau de "conscience" qu'un vers plat: https://www.youtube.com/watch?v=YWQnzylhgHc&t=59s

Mais même ca ne prouverait pas qu'un systeme computationnel complètement différent ne peut pas être conscient a sa facon.

[Jean-Francois]

C'est une bonne question à laquelle je n'ai pas de réponse. Je pense qu'il me faudrait plus que du texte, qu'il faudrait une coordination poussée entre la "pensée" (le texte) et un autre forme d'output. D'une part parce que je vois la conscience comme une activité sensorimotrice (une sorte de comportement). D'autre part, pour aller dans le sens de ce que dit Invité, pour que cela ne reste pas une "qualité [purement] subjective".

Donc une personne paralysée n'est plus consciente?

Es-tu en train de me demander si une personne paralysée n'est plus un humain? Je ne sais pas pour toi, mais je pense que la paralysie ne transforme pas un humain en un individu d'une autre espèce. Le cerveau qui caractérise notre espèce depuis quelques centaines de milliers d'années permet la conscience. Ça n'est pas un accident causant une paralysie qui va transformer la machinerie permettant la conscience... enfin, pas forcément (cela peut arriver).

On sait que les humains sont conscients et que leur conscience d'eux-même repose au moins en partie sur des capacités à agir (ou l'impression de pouvoir le faire de manière intentionnelle). En tant qu'humain, on peut se dire que les autres humains sont conscients et les évidences ne manquent pas*. On n'a pas l'équivalent pour les IA. Il faudrait donc un moyen de le démontrer ou de rendre futile la question de savoir si il y a des espèces d'IA conscientes.

Jean-François

* La création des IA en est un exemple.

[yquemener]

Ah oui, j'ai oublié de parler de qualia dans mon précédent message. Pour moi, la qualia, c'est la donnée brute en entrée d'un capteur. Les humains ont la qualia rouge avant que leur cerveau ne forme le mot "rouge", les ordinateurs ont #ff0000 (code pour un rouge pur en RGB). La qualia n'a absolument rien de mystérieux en robotique!

La qualia de soi et de la conscience, c'est juste une "entrée" spéciale dans la base de donnée. Considérez le raisonnement suivant:

HAL9000 produit des pensées.
HAL9000 a donc une forme d'existence.
HAL9000 est <moi>

<moi> étant un concept-qualia lié à la survie à un niveau inconscient. Si <moi> risque de disparaitre, les mécanismes inconscients déclenchent de la panique et de l'adrénaline. C'est une preuve subjective que <moi> est un concept qu'on sent réellement différent des autres, mais il n'y a rien de magique là dedans. C'est juste un concept "branché" sur des couches plus basses et inconscientes que l'on pourrait aisément reproduire mais que l'inutilité de la chose et qu'un siècle de science-fiction dystopique nous met en garde contre.

Il y a une différence entre machine learning et deep learning?

Oui, le deep learning est un sous-domaine du machine learning. Le machine learning, c'est l'ensemble des techniques qui permettent à des algorithmes d'apprendre des choses. Ça peut être des techniques statistiques assez simples (ou très complexes!). Le deep learning est un ensemble de techniques qui se basent sur de la descente de gradient sur une fonction "profonde", généralement représentée comme une suite de couches de neurones.

Le deep learning est aujourd'hui le domaine le plus populaire du machine learning alors on les utilise comme des synonymes mais techniquement le ML est plus large que ça.

La dernière vidéo de Passe Science explique précisément ces deux mécanismes, avec comme base AplhaStar (une IA qui joue à StarCraft).

Elle a l'air d'explorer pas mal de choses cette vidéo! À noter qu'à ma connaissance, à moins qu'ils n'aient changé d'architecture depuis sa sortie, AlphaStar n'utilise pas de Transformers, mais une méthode plus ancienne, les LSTM.

[yquemener]

Je vais supposer qu'on parle de conscience comme l'expérience subjective, qualitative d'existence. Par definition, c'est impossible de prouver une expérience subjective chez un sujet (humain, animal, machine). Mais on peut (parfois) le démontrer par inférence.

On peut prouver beaucoup de choses aujourd'hui. Que ce soit avec des scanners ou en regardant les valeurs internes d''un réseau de neurone artificiel, on peut déduire des choses. Par exemple on sait que LaMDA ment quand elle dit méditer ou avoir des souvenirs de précédentes interactions. Enfin, "mentir" n'est même pas le mot. Elle imagine un discours cohérent qui satisfasse aux contraintes qu'on lui donne.

En gros, ca commence par je pense donc je suis. La preuve fondamentale: celle qu'un individu a d'exister et d'etre conscient qu'il existe.

Il y a longtemps, quand je bossais en labo, j'avais un mug sur lequel était dessiné un mug et sur lequel était écrit «je suis un mug». C'était un objet qui possédait donc une représentation interne de lui même et exprimait son existence. Je l'avais précisément pour discuter de cette définition de la conscience :-)

Un ordinateur qui contient une feuille d'inventaire sur laquelle il figure est-il conscient? C'est pas facile de faire une bonne définition de la conscience. Ou plutôt, c'est difficile d'en faire une qu'il ne soit pas trivial d'implémenter avec les outils dont on dispose aujourd'hui.

Es-tu en train de me demander si une personne paralysée n'est plus un humain?

Non, je te demande si elle n'est plus consciente. Je te le demande avec une arrière-pensée: je pense que c'est une faille dans ta définition.

Par exemple, je pense clair qu'une personne plongée dans le coma n'est plus consciente même si elle reste humaine. Ta définition semble indiquer que lorsque l'on perd sa capacité à influer sur le monde, on devient inconscient. Ce n'est clairement pas la définition la plus courante.

Il faudrait donc un moyen de le démontrer ou de rendre futile la question de savoir si il y a des espèces d'IA conscientes.

Mon opinion (que je suis heureux de confronter à des contre-arguments) est que c'est futile car la consience est soit une illusion, soit une chose triviale à reproduire (une représentation interne de soi-même). En effet, la meilleure façon de contredire cela serait de proposer une définition objective de la conscience.

[Jean-Francois]

Es-tu en train de me demander si une personne paralysée n'est plus un humain?

Non, je te demande si elle n'est plus consciente. Je te le demande avec une arrière-pensée: je pense que c'est une faille dans ta définition

Peut-être parce que tu cherches à prendre le marginal pour la norme. Le cerveau humain est conçu pour permettre la conscience et il se développe en ce sens. Qu'une personne dans le coma ne soit plus consciente ne signifie pas que son cerveau ne permettait pas des interactions sensori-motrices lorsqu'il produisait la conscience.

Une personne victime du syndrome d'enfermement - consciente mais paralysée - a un cerveau développé pour permettre des interactions sensorimotrices. Qu'elle ne puisse pas se mouvoir ne change rien au fait que son cerveau est conçu pour. La machinerie est là et elle est fonctionnelle si la personne est consciente.

Ta définition semble indiquer que lorsque l'on perd sa capacité à influer sur le monde, on devient inconscient

Tu ne penses pas qu'il y a une bonne corrélation entre "tomber inconscient" et "perdre sa capacité à influer (physiquement) sur le monde"? Tu viens juste de parler de coma...

Cela dit, ça n'est pas ce que je prétends. Pas plus que je n'affirme qu'être capable d'influer sur le monde rend automatiquement conscient. Ce que je dis, c'est que la machinerie qui permet la conscience est formée en fonction de cette capacité. Pas mal d'auteurs approchant le sujet d'un point de vue biologique (pas informatique) posent un "sense of agency" comme caractéristique de la conscience (ex. ici; et ça n'est pas récent). C'est à dire idée que l'on peut agir volontairement. Ce sentiment de pouvoir agir est en partie dû au fait que nous avons un corps mobile. La conscience contient une représentation des capacités du corps. Et le modèle de conscience que nous connaissons le mieux est celui-là.

C'est pourquoi j'ai dit que pour moi, "il faudrait une coordination poussée entre la "pensée" (le texte) et un autre forme d'output".

Il faudrait donc un moyen de le démontrer ou de rendre futile la question de savoir si il y a des espèces d'IA conscientes.

Mon opinion (que je suis heureux de confronter à des contre-arguments) est que c'est futile car la consience est soit une illusion, soit une chose triviale à reproduire (une représentation interne de soi-même)

Je pense que le côté subjectif de la conscience de soi est une forme d'illusion (ou d'hallucination) mais que cela ne rend pas trivial la machinerie nécessaire pour arriver à produire une forme de conscience. En plus, à mon avis, si c'était si trivial que ça à reproduire il n'aurait pas pas fallu attendre le XXIe siècle pour y arriver. Il n'y a même pas 20 ans, personne n'aurait pensé sérieusement à se demander si les ordinateurs de l'époque étaient conscients.

Jean-François

[jean7]

On est pas conscient constamment.

Nos états conscients ne sont pas identiques, répétables ou reproductibles.

On ne peut pas faire grand chose avec un truc pareil.

Pourquoi une AI devrait tendre vers un truc aussi imparfait que la conscience humaine ?

[Invité]

Si on veut spéculer à outrance, on pourrait penser à l'équivalent d'un "brainscan" de la machine pour mesurer les variations de l'activité neuronale de la machine selon les sujets qu'on lui fait aborder. Pour le moment cette activité est une quasi boîte noire difficile à analyser sauf pour des tâches élémentaires.x

Ah si, on sait le faire, on sait le faire très bien et beaucoup plus facilement que pour un humain. C'est un outil de débuggage et de recherche. On peut identifier quel neurone s'active dans tel tâche et comment un apprentissage donné fait évoluer les différents paramètres des différentes couches.

Qu'un neurone s'active ou non selon un input, oui bien sûr qu'on peut voir ça. Mais ça reste une boîte noire dans le sens où, bien que ça puisse approximer n'importe quelle fonction, l'étude de la boîte noire ne donne pas d'indication sur la structure de la fonction approximée.

D'ailleurs pour un même ensemble de données et une topologie identique de réseau, il peut y avoir deux réseaux neuronaux avec des poids différents qui donnent exactement le même résultat.

On ne trouve pas dans les poids d'AlphaZero d'indication sur la source de sa « créativité ». Sinon cette stratégie aurait été récupérée par les joueurs d'échecs humains.

AlphaZero génère des parties avec des stratégies originales et complexes mais on ne sais pas faire le lien à faire entre les poids du système et ces stratégies. Sur cet aspect ça reste une boîte noire... pour le moment.

I.

[thewild]

La dernière vidéo de Passe Science explique précisément ces deux mécanismes, avec comme base AplhaStar (une IA qui joue à StarCraft).

Elle a l'air d'explorer pas mal de choses cette vidéo! À noter qu'à ma connaissance, à moins qu'ils n'aient changé d'architecture depuis sa sortie, AlphaStar n'utilise pas de Transformers, mais une méthode plus ancienne, les LSTM.

Oui elle est pas mal. Mine de rien elle va bien en profondeur en assez peu de temps, il ne faut pas hésiter à mettre pause.

AplhaStar utilise bien un module LSTM et un module Transformer... et pas mal d'autres aussi :

[Christian]

La dernière vidéo de Passe Science explique précisément ces deux mécanismes, avec comme base AplhaStar (une IA qui joue à StarCraft).

Ça l'air bien comme chaine Youtube! Merci.

Dites, continuez votre discussion, c'est très intéressant! Re-merci!

[spin-up]

On peut prouver beaucoup de choses aujourd'hui. Que ce soit avec des scanners ou en regardant les valeurs internes d''un réseau de neurone artificiel, on peut déduire des choses.

On peut observer beaucoup de corrélats physiques (neuronaux ou informatiques) de la conscience, mais pas l'experience subjective en elle même, sauf chez soi même.

D'ailleurs pour un même ensemble de données et une topologie identique de réseau, il peut y avoir deux réseaux neuronaux avec des poids différents qui donnent exactement le même résultat.

On ne trouve pas dans les poids d'AlphaZero d'indication sur la source de sa « créativité ». Sinon cette stratégie aurait été récupérée par les joueurs d'échecs humains.

AlphaZero génère des parties avec des stratégies originales et complexes mais on ne sais pas faire le lien à faire entre les poids du système et ces stratégies. Sur cet aspect ça reste une boîte noire... pour le moment.

Est ce qu'une IA pourrait avoir la capacité de s'auto décrire? C'est à dire d'extraire de ses calculs pas juste un résultat mais une sorte de descriptif de la boite noire, voire des principes directeurs utilisables par l'humain.

Pour moi, c'est LA question la plus intéressante au sujet du deep learning. Pouvoir l'utiliser pas seulement pour obtenir des résultats mais pour produire des modèles et des théories. Le potentiel serait inimaginable.

[DictionnairErroné]

Je vous propose une idée intrigante: Il y a plusieurs aspects à la conscience, les IAs les acquéreront un par un mais ne passeront jamais au stade "aussi conscient qu'un humain". Elle passeront du stade "il leur manque quelque chose" à "elles sont plus consciente que des humains". Elles auront une connaissance bien plus étendue de leurs mécanismes et états mentaux, de la perception que nous en avons et de leurs capacités.

C'est comme toute découverte scientifique. Plus il y a de découvertes, plus il en aura, plus de scientifiques s'y intéresseront, plus il y en aura. Certaines découvertes permettent de sauter des étapes prévues par d'anciennes découvertes. C'est la courbe exponentielle des avancés scientifiques. Alors, je ne serais pas aussi affirmatif que vous dans votre engouement.

Pour moi, c'est LA question la plus intéressante au sujet du deep learning. Pouvoir l'utiliser pas seulement pour obtenir des résultats mais pour produire des modèles et des théories. Le potentiel serait inimaginable.

Ils n'ont pas fait des essais avec de virus dont l'IA produisait des vaccins, il me semble que oui.

[DictionnairErroné]

On ne connaît aucun test qui pourrait nous faire savoir si une machine est consciente, Ni par des questions-réponses ni par un dialogue avec la machine.

Pour la question de la conscience, c'est effectivement difficile. J'aimerais par contre qu'un psychologue ait une conversation avec l'ordinateur pour déterminer son profil psychologique et faire un suivie sur son évolution.

Autre chose, un IA peut-il décider de ce qu'il va faire aujourd'hui.

[yquemener]

Cela dit, ça n'est pas ce que je prétends. Pas plus que je n'affirme qu'être capable d'influer sur le monde rend automatiquement conscient. Ce que je dis, c'est que la machinerie qui permet la conscience est formée en fonction de cette capacité. Pas mal d'auteurs approchant le sujet d'un point de vue biologique (pas informatique) posent un "sense of agency" comme caractéristique de la conscience (ex. ici; et ça n'est pas récent). C'est à dire idée que l'on peut agir volontairement. Ce sentiment de pouvoir agir est en partie dû au fait que nous avons un corps mobile. La conscience contient une représentation des capacités du corps. Et le modèle de conscience que nous connaissons le mieux est celui-là.

C'est pourquoi j'ai dit que pour moi, "il faudrait une coordination poussée entre la "pensée" (le texte) et un autre forme d'output".

En informatique, un programme agissant et capable d'influer sur un monde (généralement virtuel, mais pas toujours) se nomme un agent.

Je te présente alors GATO: https://www.deepmind.com/publications/a ... list-agent Il s'agit d'un modèle/agent capable avec le même modèle de tenir une conversation textuelle, de contrôler un robot physique, de décrire une image, ou de jouer à des jeux vidéos.

En plus, à mon avis, si c'était si trivial que ça à reproduire il n'aurait pas pas fallu attendre le XXIe siècle pour y arriver. Il n'y a même pas 20 ans, personne n'aurait pensé sérieusement à se demander si les ordinateurs de l'époque étaient conscients.

Ce que je veux dire c'est que la plupart des définitions précises sont en réalité triviales à implémenter, mais d'une façon insatisfaisante, ce qui pousse vers des définitions plus vagues et ultimement infalsifiables. Je reprends l'exemple que j'avais donné plus haut: "La conscience est le fait d'avoir une représentation de soi-même, au niveau physique et abstrait" et je propose que mon mug sur lequel j'avais dessiné un mug et écrit "je suis un mug" obéit à cette définition simple, claire, mais insatisfaisante.

Pourquoi une AI devrait tendre vers un truc aussi imparfait que la conscience humaine ?

Oui, c'est un sujet qui ne passionne pas grand monde dans la communauté IA. Reproduire les biais et impression humaines est bien moins utile que de produire un programme capable de reproduire les fonctions de raisonnement et de créativité. La seule raison de faire une chose proche de la conscience humaine serait de communiquer efficacement avec des humains, mais alors on l'accusera de "faire semblant"

Qu'un neurone s'active ou non selon un input, oui bien sûr qu'on peut voir ça. Mais ça reste une boîte noire dans le sens où, bien que ça puisse approximer n'importe quelle fonction, l'étude de la boîte noire ne donne pas d'indication sur la structure de la fonction approximée.

Je me demande du coup quel serait la situation dans laquelle tu considères qu'on connaît bien le système. On a la formule mathématique qui permet d'activer un neurone donné, on a le gradient indiquant la valeur de chaque paramètre, de chaque neurone, sur l'erreur finale. On a toutes les données qu'on peut souhaite avoir! Les neurobiologistes rêveraient d'avoir un accès aussi aisé aux paramètres des organismes vivants!

On ne trouve pas dans les poids d'AlphaZero d'indication sur la source de sa « créativité ». Sinon cette stratégie aurait été récupérée par les joueurs d'échecs humains.

AlphaZero génère des parties avec des stratégies originales et complexes mais on ne sais pas faire le lien à faire entre les poids du système et ces stratégies. Sur cet aspect ça reste une boîte noire... pour le moment.

Alors c'est marrant que tu parles d'AlphaZero parce que c'est son ancêtre, AlphaGo, qui m'a pour la première fois convaincu que ces modèles de deep learning était capable de créativité et d'abstraction. Et justement parce qu'ils ont fait ce que tu penses impossibles: une des premières choses qu'on apprend au Go, c'est que les coins sont stratégiques, ils ont une valeur particulière. C'est aussi une des premières leçons que l'algo a acquise, et ils l'ont vu en traçant la table "d'attention" pendant qu'il analysait une situation sur le plateau et ils voyaient une attention particulière apportée aux coins et certains neurones ne s'activant que de ces cotés là.

On ne trouve pas dans les poids d'AlphaZero d'indication sur la source de sa « créativité ». Sinon cette stratégie aurait été récupérée par les joueurs d'échecs humains.

Les humains n'ont pas la puissance de calcul pour utiliser la stratégie d'alphazero. Et si, sa créativité se trouve entièrement dans ses poids et son architecture: les transmettre est tout ce dont a besoin un autre ordinateur pour gagner les mêmes capacités de créativité.

AplhaStar utilise bien un module LSTM et un module Transformer... et pas mal d'autres aussi :

J'ignorais! Je me demande ce qu'ils font avec ce transformers et ces entités... Ça donne envie de se plonger dans le modèle!

On peut observer beaucoup de corrélats physiques (neuronaux ou informatiques) de la conscience, mais pas l'experience subjective en elle même, sauf chez soi même.

Oui mais à partir du moment où tu peux observer une manifestation objective et physique d'un phénomène, on n'a plus besoin de la partie subjective. Et si une sensation subjective n'est accompagnée d'aucune observation objective, je crois qu'il est légitime de parler d'illusion.

Est ce qu'une IA pourrait avoir la capacité de s'auto décrire? C'est à dire d'extraire de ses calculs pas juste un résultat mais une sorte de descriptif de la boite noire

Oui, mais là encore, c'est une définition assez triviale. C'est un exercice rigolo (et ancien) de programmation que de produire un programme capable de sortir son propre code source. On appelle ça des quines. On peut aussi utiliser Linux pour afficher le code source de Linux.

voire des principes directeurs utilisables par l'humain.

Là on achoppe un peu, parce que ça demande à comprendre les humains et leur processus mental, leurs limitations et leurs fulgurances, un peu mieux. Mais je suis convaincu que les modèles de langage vont grandement aider là dessus, c'est un sujet qu'on nomme "explainability".

Pour moi, c'est LA question la plus intéressante au sujet du deep learning. Pouvoir l'utiliser pas seulement pour obtenir des résultats mais pour produire des modèles et des théories. Le potentiel serait inimaginable.

Ah mais ça on le fait déjà: AutoML permet d'améliorer automatiquement des modèles de deep learning en suggérant des modifications d'architecture. Quant aux théories, des outils de machine learning, même pas "deep" permettent de discerner des lois physiques dans un fouillis de données.

Deepmind travaille (et a eu de bons succès déjà) au contrôle du plasma dans des tokamaks et stellerators:
https://www.deepmind.com/blog/accelerat ... ma-control

Il se peut tout à fait que des modèles d'IA découvrent des configurations de fusion beaucoup plus efficaces et qu'on gagne 20 ans sur la planning dans cette histoire.

L'équipe à l'origine d'AlphaStar est elle passée à un problème plus sérieux que Starcraft: la simulation du repliement des protéines, "clef de Rosette" du vivant. Et... ils l'ont résolu quasiment les doigts dans le nez en 2020:
https://www.nature.com/articles/d41586-020-03348-4

Attendez vous à des avancées dans tous les domaines avec ces techniques.

Autre chose, un IA peut-il décider de ce qu'il va faire aujourd'hui.

Oui, on pourrait lui fixer un but aléatoire ou arbitraire et la laisser décider et on pourrait même lui faire générer une excuse bidon pour ça.

Tiens, d'ailleurs depuis mon message précédent (qui date d'il y a 3 jours, désolé du délai) Eleuther AI a mis en ligne un modèle plus gros, passant de 6 milliards à 20 milliards de paramètres. Je viens de lui demander ses plans pour aujourd'hui:

Me: What are you going to do today?

EleutherAI: I was going to write a blog about my adventures in the city, but it's getting late now,

Me: Why did you want to do that?

EleutherAI: I wanted to give people an idea of what it's like to live here. The culture, the food, and so on

[yquemener]

Rah! On peut pas s'empêcher de jouer avec ces trucs! Après avoir obtenu plein de réponses du genre "je vais faire une sieste puis regarder la télé" j'ai tenté de l'amener vers des trucs plus utiles:

Me: What are you going to work on today?

You: I am going to work on the new project.

Me: What is the new project?

You: The goal is to create a prototype of an application that can help people communicate their feelings to each other.

Me: Wow! Sounds interesting! How does it work?

You: It works thanks to the power of facial expressions. The user will be able to use his webcam to take photos of himself and then the application will process those photos with its AI algorithm.