Un programme bat le champion d'Europe du jeu de go, 5-0

[thewild]

Je veux dire que ces entités ne seraient au point de départ différentes que par leur cloisonnement physique.
Jouant l'une en permanence avec l'autre, elles devraient logiquement toujours acquérir la même conaissance des mêmes parties et en tirer les mêmes conclusions...
ou pas.

Une AI est un programme informatique comme un autre, donc parfaitement déterministe. Seule une différence dans le jeu de données utilisé pour l'apprentissage pourrait rendre deux AI différentes (deux AI configurées de façon identique au départ bien-sûr). Si elles apprennent sur les mêmes données, elles seront parfaitement identiques une fois l'apprentissage terminé.

Et si elles étaient différentes parce qu'ayant appris sur des jeux de données différents, il n'y aurait pour autant pas de raison pour que leur niveau de jeu diverge. Elles joueront différemment et une sera peut-être meilleure que l'autre, mais si l'algorithme d'apprentissage est bien fait elles doivent converger au contraire converger vers le niveau optimal permis par leur structure.

Mais il me semble qu'elles doivent faire des choix hasardeux (entre plusieurs coups de bénéfice calculé égaux) pour gagner et que deux processeurs d'une même série ne peuvent être parfaitement identiques.

Le choix, ce n'est pas vraiment l'AI qui le fait. L'AI sert à déterminer les meilleurs coups possibles et à leur attribuer une valeur, mais il y a un programme superviseur qui choisit le coup. Un programme a priori déterministe, sauf si on y introduit volontairement une part d'aléatoire.

[jean7]

Une AI est un programme informatique comme un autre, donc parfaitement déterministe. Seule une différence dans le jeu de données utilisé pour l'apprentissage pourrait rendre deux AI différentes (deux AI configurées de façon identique au départ bien-sûr). Si elles apprennent sur les mêmes données, elles seront parfaitement identiques une fois l'apprentissage terminé.

Je pensais, peut-être à tord, que ces machines faisaient de l'auto-apprentissage. Pour ça, il faut faire des tests, constater des résultats et estimer les meilleurs résultats.
C'est déterministe, ben oui, comme tout, non ?
Mais si les niveaux de complexité et d'intelligence qui se confrontent sont suffisamment élevés, les divergences ne seraient-elles pas inéluctables ?
Somme toutes, une problématique qui en soit-même n'a qu'une solution meilleur que toutes les autres (et un seul meilleur chemin pour y arriver) est une problématique relativement basique.

bon, je suis dans le questionnement poétique là. Je n'y connais rien en AI et suis un piètre joueur de go.

Et si elles étaient différentes parce qu'ayant appris sur des jeux de données différents, il n'y aurait pour autant pas de raison pour que leur niveau de jeu diverge. Elles joueront différemment et une sera peut-être meilleure que l'autre, mais si l'algorithme d'apprentissage est bien fait elles doivent converger au contraire converger vers le niveau optimal permis par leur structure.

Je ne sais pas si le jeu de go est suffisamment complexe pour ça mais on pourrait imaginer un jeu où il existe plusieurs optima. Bien entendu, il n'y a qu'un vainqueur à chaque partie, mais il peut y avoir plusieurs familles de stratégies gagnantes.
Plusieurs façon de jouer.

Le choix, ce n'est pas vraiment l'AI qui le fait. L'AI sert à déterminer les meilleurs coups possibles et à leur attribuer une valeur, mais il y a un programme superviseur qui choisit le coup. Un programme a priori déterministe, sauf si on y introduit volontairement une part d'aléatoire.

Alors il faut considérer comme joueur de go l'ensemble AI + superviseur, non ?

[neuneutrinos]

Un programme informatique n'est pas nécéssairement déterministe... Il peut se baser sur un TRNG pour casser ce déterminisme.

et même avec du pseudo-aléatoire il est possible de faire d'excellent algorithme.

Et les IA peuvent tendre vers deux solution différente offrant les mêmes avantages.
Ou en cas de non transitivité.

[thewild]

Je pensais, peut-être à tord, que ces machines faisaient de l'auto-apprentissage. Pour ça, il faut faire des tests, constater des résultats et estimer les meilleurs résultats.

Non c'est bien ça.

Mais si les niveaux de complexité et d'intelligence qui se confrontent sont suffisamment élevés, les divergences ne seraient-elles pas inéluctables ?

Qu'est-ce qui te fait supposer ça ? La seule chose qui pourrait différencier deux AI ayant la même structure serait de les faire apprendre sur des jeux de données différents. Mais ça ne les rendrait pas divergentes pour autant, seulement différentes.
Mais la complexité n'est pas un motif de divergence dans ce cas.

Evidemment pour tous les jeux les choix sont simples car l'objectif est simple : gagner.
Dans d'autres situation, ça peut être bien plus compliqué.
Mais si on reprend l'exemple des véhicules autonomes, ils n'apprennent plus une foi qu'ils sont sur la route. Ils utilisent tous la même AI préconfigurée, et ils réagiront tous de la même façon dans les mêmes circonstances. Bien-sûr, étant donnée la nature de leurs entrées (plein de capteurs qui donnent chacun beaucoup d'information), il n'y aura en réalité jamais deux situations identiques. Mais les AI sont elles réellement identiques.

[thewild]

Un programme informatique n'est pas nécéssairement déterministe... Il peut se baser sur un TRNG pour casser ce déterminisme.

C'est bien ce que je disais : il est déterministe a priori, pour qu'il ne le soit pas il faut le faire explicitement.
Et en général pour faire ça il faut une bonne raison : je ne vois pas l'intérêt d'un choix aléatoire parmi deux optimums quand un choix objectif est possible.

[neuneutrinos]

déterministe si non probabiliste.
probabiliste si non déterministe.

Il faudrait que tu regardes comment fonctionne un algorithme d'apprentissage.
Par téléphone ce sera un peu long

[thewild]

déterministe si non probabiliste.
probabiliste si non déterministe.

Quel rapport avec notre AI ?

Il faudrait que tu regardes comment fonctionne un algorithme d'apprentissage.
Par téléphone ce sera un peu long

Pour les réseaux convolutifs et l'apprentissage supervisé, je sais assez bien comment ça fonctionne.
Mais je ne vois pas bien le rapport avec ce dont on parlait.

[neuneutrinos]

... c'est toi qui en parle.

[spin-up]

Et en général pour faire ça il faut une bonne raison : je ne vois pas l'intérêt d'un choix aléatoire parmi deux optimums quand un choix objectif est possible.

L'avantage d'etre moins previsible et donc moins exploitable dans les jeux a information incomplète.

[thewild]

Et en général pour faire ça il faut une bonne raison : je ne vois pas l'intérêt d'un choix aléatoire parmi deux optimums quand un choix objectif est possible.

L'avantage d'etre moins previsible et donc moins exploitable dans les jeux a information incomplète.

Ah oui, en effet.

[jean7]

Qu'est-ce qui te fait supposer ça ? La seule chose qui pourrait différencier deux AI ayant la même structure serait de les faire apprendre sur des jeux de données différents. Mais ça ne les rendrait pas divergentes pour autant, seulement différentes.
Mais la complexité n'est pas un motif de divergence dans ce cas.

C'est très naïf comme idée et il y a peut-être du faux dans mes prémisses.
Je me dit que si le jeux est complexe, il n'est pas possible de vérifier à chaque coup toutes les conséquences possible jusqu'à l'issue du jeu. On est donc limité à un certain horizon, et on fait un nombre d'opération très élevé. Si élevé que des erreurs deviennent possible (un 0 qui est pris pour un 1 à cause de je ne sais quoi... je suppose donc qu'il existe un certain taux de faillibilité dans un composant électronique, est-ce faux ?)
Partant de là, si une AI adapte sa façon de jouer les parties suivantes en fonction des parties précédentes, elle pourrait être amenée à tirer des conclusions différentes des parties qu'elle joue et explorer des voies qu'elle n'aurait pas exploré sans ces erreurs, et apercevoir d'autres horizons de jeux parmi lesquels il pourrait y en avoir de plus fiables.
Je part aussi du principe que bien que chaque AI dans une partie connait les coups joués par l'autre, chacune ignore les parties simulées par l'autre entre chaque coup.

C'est une vision des choses qui n'a peut-être pas grand chose à voir avec la réalité d'une compétition de go entre deux AI...

Une compétition entre deux joueurs d'espèces différentes peut-elle d’ailleurs présenter l'intérêt d'un jeux ?

[thewild]

Je me dit que si le jeux est complexe, il n'est pas possible de vérifier à chaque coup toutes les conséquences possible jusqu'à l'issue du jeu. On est donc limité à un certain horizon, et on fait un nombre d'opération très élevé. Si élevé que des erreurs deviennent possible (un 0 qui est pris pour un 1 à cause de je ne sais quoi... je suppose donc qu'il existe un certain taux de faillibilité dans un composant électronique, est-ce faux ?)

Même sur des jeux relativement simples comme les échecs on ne peut pas explorer toutes les possibilités. Mais les AI comme AlphaGo ne procèdent pas comme ça justement. Ce n'est d'ailleurs pas de l'AI, c'est ce qu'on appelle de la "force brute".
Une erreur est toujours possible, effectivement. Il y a des mécanismes de correction mais ils ont eux-mêmes un taux d'erreur.
De toutes façons, comme AlphaGo détermine en partie ses coups futurs en faisant de recherches dites "Monte Carlo", il y a une part de hasard dans la façon dont elle joue. Donc même si deux AlphaGo parfaitement identiques jouent le même début de partie, la probabilité pour qu'à un moment l'une joue différemment de l'autre n'est pas nulle.

Partant de là, si une AI adapte sa façon de jouer les parties suivantes en fonction des parties précédentes, elle pourrait être amenée à tirer des conclusions différentes des parties qu'elle joue et explorer des voies qu'elle n'aurait pas exploré sans ces erreurs, et apercevoir d'autres horizons de jeux parmi lesquels il pourrait y en avoir de plus fiables.
Je part aussi du principe que bien que chaque AI dans une partie connait les coups joués par l'autre, chacune ignore les parties simulées par l'autre entre chaque coup.

Oui bien-sûr, si elles apprennent de leur parties précédentes alors on peut considérer qu'elles n'ont pas appris sur le même jeu de données, et elles joueront donc différemment. Mais on ne peut pas dire qu'elles divergeront en ce sens que l'une deviendra supérieure à l'autre. A chaque partie, elles ne peuvent que s'améliorer, et donc tendre un peu plus vers le niveau maximum que leur confère leur structure. Elles peuvent y tendre plus ou moins vite selon la façon dont elles ont appris, mais leur niveau va malgré tout converger et non pas diverger.

[neuneutrinos]

D'après ce que tu dis, je pense avoir mal compris tes derniers messages, désolé thewild

[thewild]

D'après ce que tu dis, je pense avoir mal compris tes derniers messages, désolé thewild

Aucun problème, je ne suis pas sûr d'avoir bien compris tous les tiens non plus ! Saleté de langage humain !!

[spin-up]

Donc même si deux AlphaGo parfaitement identiques jouent le même début de partie, la probabilité pour qu'à un moment l'une joue différemment de l'autre n'est pas nulle.

Au final, si on suppose que le jeu est entierement resolu par les deux parties, qui explorent toutes les possibilités et jouent parfaitement, le resultat sera defini par lequel des deux commence (qui sera un avantage ou un handicap selon le jeu). Comme par exemple, le morpion, ou le jeu des batonnets

[thewild]

Donc même si deux AlphaGo parfaitement identiques jouent le même début de partie, la probabilité pour qu'à un moment l'une joue différemment de l'autre n'est pas nulle.

Au final, si on suppose que le jeu est entierement resolu par les deux parties, qui explorent toutes les possibilités et jouent parfaitement, le resultat sera defini par lequel des deux commence (qui sera un avantage ou un handicap selon le jeu). Comme par exemple, le morpion, ou le jeu des batonnets

En effet, mais je ne parlais pas du cas où elles jouaient l'une contre l'autre, mais du cas où elles jouaient chacune contre la même ouverture.
Si elles jouent l'une contre l'autre, il est aussi possible qu'elles ne puissent que forcer le nul. Mais je pense qu'on est très loin de résoudre le jeu de go, quand je vois que des jeux bien plus simple ne sont pas encore complètement résolus.

[jean7]

Pour moi en tout cas tu as bien répondu à mon questionnement.
Même si j'espérais une autre réponse, je te fais confiance.

A chaque partie, elles ne peuvent que s'améliorer, et donc tendre un peu plus vers le niveau maximum que leur confère leur structure. Elles peuvent y tendre plus ou moins vite selon la façon dont elles ont appris, mais leur niveau va malgré tout converger et non pas diverger.

Moralité, la meilleur stratégie d'apprentissage pour ceux qui voudront tenter battre cette nouvelle championne, c'est de ne jamais jouer avec elle.

[Invité]

Mais je pense qu'on est très loin de résoudre le jeu de go, quand je vois que des jeux bien plus simple ne sont pas encore complètement résolus.

Salut.

IBM a mit le paquet sur les échecs et ensuite le go (sans parler de Watson pour Jeopardy).

Ils ont investi des ressources énormes. Ils y voyait, avec raison, un énorme outil de promotion pour leur technologie AI (Watson en médecine et dans d'autres domaines).

Les jeux plus simples ne sont pas encore résolus parce qu'on y a pas investi autant d'effort. Mais je ne dis pas que le go est complètement résolu non plus, mais ils vont probablement cesser d'y investir des ressources importantes. Ils ont fait leur preuve et il n'y a plus grand chose à en sortir du côté marketing.

I.

[jean7]

Tiens, ça m'amène une autre question (pour visualiser les progrès techniques).

Si on fabriquait physiquement ce nouveau champion en une unité autonome (genre ordinateur portable non connecté). On a une idée de ses caractéristiques en terme d'encombrement ?

Et comparativement au champion précédent ?

La puissance est une performance, le rapport poids puissance en est une autre...
Je suis conscient que la miniaturisation, s'il existe un besoin important, va plus vite que l'invention, mais en l'état, ça donnerait quoi en gros ?

[Invité]

Si on fabriquait physiquement ce nouveau champion en une unité autonome (genre ordinateur portable non connecté). On a une idée de ses caractéristiques en terme d'encombrement ?

Et comparativement au champion précédent ?

La puissance est une performance, le rapport poids puissance en est une autre...
Je suis conscient que la miniaturisation, s'il existe un besoin important, va plus vite que l'invention, mais en l'état, ça donnerait quoi en gros ?

Alpha Go Zero c'est un système avec seulement 4 TPU (des unités graphiques spécialisées qu'on ne se sert pas pour leur capacité graphique mais pour leur performance avec calculs en virgules flottantes et leur spécialisation pour les tenseurs (matrices multidimensionnelles) ). https://en.wikipedia.org/wiki/Tensor_processing_unit

Donc je vois pas ça dans un portable (ces cartes prennent de l'espace et ça chauffe pas mal ) mais peut-être sur un puissant ordinateur de bureau.

Mais on peut aussi faire rouler des GPU/TPU sur AWS (Amazon Web Service) qui offre l'accès à ce genre de "hardware" spécialisé qu'on paye à la minute d'utilisation. Mais c'est sûr que même avec un accès a du matériel comparable, si on a pas le code informatique développé par IBM, on va jamais s'approcher des performances d'Alpha Go Zero.

I.

[eatsalad]

Si on fabriquait physiquement ce nouveau champion en une unité autonome (genre ordinateur portable non connecté). On a une idée de ses caractéristiques en terme d'encombrement ?

La puissance est une performance, le rapport poids puissance en est une autre...
Je suis conscient que la miniaturisation, s'il existe un besoin important, va plus vite que l'invention, mais en l'état, ça donnerait quoi en gros ?

La machine d'IBM, a calculé des milliards de parties en 72h, j'imagine que ton portable grillera sa carte mère au bout de quelques mois, bien avant d'avoir fini !

[jean7]

Ça donne un ordre de grandeur.
Un individu seul peut donc l'apporter avec lui.

Enfin avec une bonne brouette et plusieurs voyages pour les batteries si la partie est longue...

C'est juste pour comparer avec un joueur de go.
Comparaison inutile, mais plaisante.

Enfin ça permet quand même de comparer à "règles égales". Je veux dire qu'un joueur de go joue seul.
C'est donc intéressant de montrer ce dont physiquement AlphaGo zéro peut avoir l'air même si ça ne représente pas d'intérêt pratique de le rendre mobile et autonome.

[Invité]

C'est donc intéressant de montrer ce dont physiquement AlphaGo zéro peut avoir l'air même si ça ne représente pas d'intérêt pratique de le rendre mobile et autonome.

C'est impressionnant de réaliser qu'en 2 ans ils sont passé de 176 GPU (AlphaGo Fan) à 48 TPU (AlphaGo Lee) à 4 TPU (AlphaGo Zero); avec une augmentation de cote Élo passant de 3144 à 5185. C'est phénoménal.

I.

[lefauve]

Salut invité

La réduction du nombre de TPU est dû à l’optimisation des instructions dans les processeurs et l’apparition de nouvelles instructions. Surtout que les TPU sont optimisés pour la physique et les probabilités. En plus tu oublies les DBs.
Les nouvelles bases de données NOSQL prennent moins d'espace et sont plus rapides grasse à leur structure plus souple et les disque ssd sont plus rapide. Produire des ordinateurs capable de supporter des AI's de ce genre c'est de plus en plus abordable.

[Invité]

Salut lefauve.

Surtout que les TPU sont optimisés pour la physique et les probabilités.

Les TPUs sont de processeurs développés spécifiquement par Google pour paralléliser les calculs pour le deep/machine learning. C'est clair que ça peut servir à d'autres applications, mais à la base c'est le deep-learning.

A tensor processing unit (TPU) is an application-specific integrated circuit (ASIC) developed by Google specifically for machine learning
https://en.wikipedia.org/wiki/Tensor_processing_unit

En plus tu oublies les DBs.
Les nouvelles bases de données NOSQL prennent moins d'espace et sont plus rapides grasse à leur structure plus souple et les disque ssd sont plus rapide. Produire des ordinateurs capable de supporter des AI's de ce genre c'est de plus en plus abordable.

Les bases de données c'est pas vraiment le bootleneek quand tu entraînes un réseau de deep learning. Tu loades le réseau, tu l'entraînes et te le sauves. Ensuite tu le testes sur les exemples. Il y a rien de bien sophistiqué coté BDD faut juste qu'elles aient la capacité pour traiter des quantités énormes de données.

Selon le concepteur d'AlphaGo l'augmentation de performance par rapport aux versions précédentes, serait moins lié au hardware qu'au retrait pour l'entraînement des exemples de parties humaines, (Pour ça qu'ils ont pu diminuer le nombre de TPU).

Demis Hassabis, the co-founder and CEO of DeepMind, said that AlphaGo Zero was so powerful because it was "no longer constrained by the limits of human knowledge".
David Silver, one of the first authors of DeepMind's papers published in Nature on AlphaGo, said that it is possible to have generalised AI algorithms by removing the need to learn from humans

I.