Forum Sceptique

Invité a écrit : 21 nov. 2017, 04:21 Les bases de données c'est pas vraiment le bootleneek

Bootleneek, c'est en Belgique ca non?

Intel commercialise des clés USB contenant plusieurs cœurs VPU, compatibles avec Caffe (framework de réseaux neuronaux de l'université de Berkeley, libre sous licence BSD) et TensorFlow (framework de réseaux neuronaux de Google, libre sous license Apache).
100€ l'unité environ, et on peut les brancher en parallèle bien-sûr.
Environ 1 TFLOPS pour la dernière génération de clé, apparemment une carte TPU de Google fait plus de 50 TOPS (je ne sais pas pourquoi les TPU font des opérations sur des entiers et les clés USB sur des nombres à virgule flottante).
La partie la plus lourde c'est l'entrainement du réseau, mais une fois ceci fait ces clés peuvent être utilisées pour l'inférence.

Salut tout le monde,

Après seulement 4 heures de pratique (contre lui-même), AlphaZero vient de planter le plus fort programme d'échecs par le score de 28 victoires, 72 nulles et 0 défaites.

https://www.chess.com/news/view/google- ... game-match

On dirait que la singularité n'est pas loin.

Denis

Denis a écrit : 07 déc. 2017, 04:32
Salut tout le monde,

Après seulement 4 heures de pratique (contre lui-même), AlphaZero vient de planter le plus fort programme d'échecs par le score de 28 victoires, 72 nulles et 0 défaites.
Denis

Ce que je trouve intéressant c'est qu'on est passé au delà de la force brute. Le système AlphaZero ne calcule que 80,000 positions à la seconde vs 70,000,000 pour son adversaire StockFish,

La force brute est venu à bout du champion du monde, mais là on a développé une méthode plus subtile, moins "brutale".

I.

science4all commence le sujet.

Denis a écrit : 07 déc. 2017, 04:32 On dirait que la singularité n'est pas loin.

encore plus proche que ce qu'on pourrait croire effectivement :

https://sciencepost.fr/2017/12/lintelli ... de-lhomme/

switch a écrit : 07 déc. 2017, 09:42
encore plus proche que ce qu'on pourrait croire effectivement :

https://sciencepost.fr/2017/12/lintelli ... de-lhomme/

Une IA qui développe des IA

Christian a écrit : 07 déc. 2017, 15:51 Une IA qui développe des IA

Salut.

Sam Harris dit des choses intéressante sur cette question:

https://www.ted.com/talks/sam_harris_ca ... ol_over_it

https://www.samharris.org/podcast/item/ ... telligence

I.

AlphaZero qui met le programme Stockfish en zugzwang (*).

https://www.youtube.com/watch?v=lFXJWPhDsSY

J'ai jamais vu de zugzwang dans une partie jouée par un programme qui utilise le calcul brut.

I.

(*) Obligation pour l'adversaire de jouer mais n'importe quel coup dégrade sa position.

C'est vraiment hallucinant cette histoire d'apprentissage profond, et pas seulement dans les jeux de go ou d'échecs.

Je suis tombé récemment sur un outil de traduction en ligne, DeepL, dont les performances dépassent nettement Google translate et autres.

Il se passe quelque chose de fort en ce moment dans le domaine de l'IA, et bien malin qui pourra prédire où ça nous mènera.

Allez, une petite citation pour conclure :

Stephen Polyak a écrit :Before we work on artificial intelligence, why don't we do something about natural stupidity?

Hallucigenia a écrit : 08 déc. 2017, 22:47 Il se passe quelque chose de fort en ce moment dans le domaine de l'IA, et bien malin qui pourra prédire où ça nous mènera.

Après tout un système sans intelligence, l'évolution, est arrivé à un organe pouvant produire de l'intelligence, il ne peut être exclu que cet organe puisse permettre de construire une machine ayant les mêmes caractéristiques, il ne peut être même être exclu que certaines feront preuve de belle bêtise.

Évolution des meilleurs joueurs de Go de l'histoire.

https://www.youtube.com/watch?v=oRvlyEpOQ-8

I.

Sujet très interessant!

J'aimerais revenir sur un truc, pour jean7...

jean7 a écrit : 17 nov. 2017, 01:19Je me dit que si le jeux est complexe, il n'est pas possible de vérifier à chaque coup toutes les conséquences possible jusqu'à l'issue du jeu. On est donc limité à un certain horizon, et on fait un nombre d'opération très élevé. Si élevé que des erreurs deviennent possible (un 0 qui est pris pour un 1 à cause de je ne sais quoi... je suppose donc qu'il existe un certain taux de faillibilité dans un composant électronique, est-ce faux ?)

Il peut y avoir des « erreurs » au sens de « mauvaises » estimations ou autres (je ne suis pas assez calé en AI pour développer sur ces types d'erreurs, bien que passionné, comme vous tous), mais pas au sens où tu l'imagines et le formules, concernant les 0/1 numérique et les composants électroniques. C'est d'ailleurs pourquoi l'informatique fonctionne! S'il y avait des erreurs de 0/1 (peu importe la provenance : code/composants), nous pourrions obtenir des résultats sensiblement différents pour une même opération entre deux PC/logiciel. Et le fichier Word contenant ton CV pourrait se dégrader avec le temps et perdre des lettres, etc. Mais cela n'arrive jamais!

C'est même le propre de la révolution numérique : l'absence de dégradation/modification intempestive des données!

L'exemple classique concernant ce sujet étant celle des calculettes (calculatrices) : elles donnent toutes, tjrs, irrémédiablement, inexorablement la même sortie~réponse à une même entrée (2+2=4)! Ou alors elles sont brisées et ne fonctionnent plus. Mais jamais tu ne verras 2+2=5 sur une calculette. Idem avec tous les logiciels/codes : Word, Excel, Photoshop, Premiere, Cubase, notepad, jeux, AI, etc. Les erreurs sont d'un autre type.

Dans ce domaine, il n'y a pas vraiment de continuum où pourraient se situer~glisser de « petites » erreurs tout en ne transformant pas drastiquement le résultat/comportement attendu du code/logiciel. S'il y a une erreur, c'est tout le processus qui devient inopérant et/ou qui bogue de façon plus qu'évidente (on ne peut donc se faire tromper, car l'on réalise qu'il se passe quelque chose d'anormal). Il est impossible qu'une petite erreur parvienne à se glisser en changeant très sensiblement le résultat d'un calcul, mais sans faire boguer tout le processus.

Autre exemple archi connu : si tu rayes fortement un CD/DVD/Blu-ray, ce dernier produira des coupures de son/image (sauts/freeze) plus qu'évident et/ou le disque ne pourra être lu. Mais jamais, jamais cette « erreur » ne prendra une forme trompeuse~erronée, mais fonctionnant, en modifiant, par exemple, le volume, le timbre, le rythme, la hauteur du son, la couleur, un visage, etc., nous induisant en erreur, nous trompant.

Autrement dit, les 0/1 numérique (le code) ne se trompe jamais. Jamais un (seul) zéro ne peut devenir un 1 par « erreur »*. Et si le composant physique déconne, l'effet de la « déconnade » affecte tellement plus qu'un ou deux 0/1 que la résultante provoque l'incapacité d'effectuer l'action~process. Bref, dans ce domaine, c'est blanc ou noir, tout/rien! Ça fonctionne ou ça ne fonctionne pas!

* Je vulgarise au max. En fait, il y a toute sorte de systèmes de corrections d'erreurs de bits (comme les mémoires ECC, par exemple), mais ce n'est pas du même ordre et cela n'affecte jamais les données/calculs/résultats effectués par les programmes/logiciels.

Dash a écrit : 14 févr. 2018, 17:36Autrement dit, les 0/1 numérique (le code) ne se trompe jamais. Jamais un (seul) zéro ne peut devenir un 1 par « erreur »*. Et si le composant physique déconne, l'effet de la « déconnade » affecte tellement plus qu'un ou deux 0/1 que la résultante provoque l'incapacité d'effectuer l'action~process. Bref, dans ce domaine, c'est blanc ou noir, tout/rien! Ça fonctionne ou ça ne fonctionne pas!

je vais en rajouter une couche. Il y a eu un cas d'erreur connu, et c'était au milieu des années 90 avec les premier Pentium. Si ma mémoire est bonne, c'était un bug qui pouvait donner une erreur lors de divisions à virgule flottante et les estimations quant à la fréquence de ce bug pour un utilisateur lambda variaient entre quelques mois et quelques milliers d'années. C'est ce qui se rapproche le plus à ma connaissance d'un cas ou "un zéro pouvait devenir un 1 quelque part dans la machine" et ça du coûter dans les 500 millions de dollars à Intel pour faire un rappel de ces processeurs.

Vathar a écrit : 14 févr. 2018, 19:29 Il y a eu un cas d'erreur connu, et c'était au milieu des années 90 avec les premier Pentium.

Wow, bonne mémoire! Je m'en souviens: Bug de la division du Pentium.

Christian a écrit : 14 févr. 2018, 20:03Bug de la division du Pentium.

C'est celui-ci. Et encore, je ne suis même pas sur que ce soit un bon exemple dans la mesure ou je ne me rappelle plus si un même processeur allait toujours commettre la même erreur ou non. Si c'est le cas, l'erreur est prévisible et, pour autant qu'elle soit potentiellement ennuyeuse, on n'est toujours pas dans le cas d'un 0 qui se transforme en 1.

Ben merci bien !

Donc deux IA identiques au temps 0 ne pourraient pas dériver l'une par rapport à l'autre pour des raisons endogènes ?

Vathar a écrit : 14 févr. 2018, 20:42 C'est celui-ci. Et encore, je ne suis même pas sur que ce soit un bon exemple dans la mesure ou je ne me rappelle plus si un même processeur allait toujours commettre la même erreur ou non. Si c'est le cas, l'erreur est prévisible et, pour autant qu'elle soit potentiellement ennuyeuse, on n'est toujours pas dans le cas d'un 0 qui se transforme en 1.

En effet!

Bon, pour ceux qui n'y connaissent rien en informatique, ça semble (le cas du Bug de la division) contredire ce que j'ai dit, mais il s'agissait d'une erreur de conception (donc de nature humaine). Et nous avons atteint la « maturité » technologique à ce niveau depuis des années déjà.

À notre « échelle d'incidence », les opérations mathématiques effectuées par les CPU/codes sont toutes les mêmes et avec une précision (virgule flottante) qui dépasse l'utilité pratique de ce qu'ils traitent. Les algorithmes eux, peuvent être différent (c'est ce qui fait qu'un logiciel peut être plus ou moins optimisé, rapide, utilisant plus ou moins de ressources CPU/mémoire, etc., selon le talent du codeur), mais les opérations mathématiques « brutes » utilisées sont toutes les mêmes et aucun nombre n'est jamais confondu avec un autre. Et un condensateur, chip/PCB, composant qui crame/dysfonctionne dans un PC, ça ne modifie pas subtilement des calculs, ça créer de plus gros problèmes!

Si c'était le cas, nous pourrions, par exemple, effectuer des tests en série pour démontrer qu'après n opérations ou copies, certaines valeurs (même imperceptibles pour l'humain) se modifient, mais jamais aucun de ces tests n'est concluant (j'en ai fait moi-même en audio). Aucune dégradation et/ou modification ne se glisse intempestivement dans les calculs!

Faisant de la musique assistée par ordinateur (j'utilise des DAW/séquenceurs numériques) je passe mon temps à expliquer aux newbies qu'il n'y a pas de différence de qualité sonore (le mythe du « moteur audio ») entre tous les logiciels destinés à faire de la musique. Ça n'a plus rien à voir avec l'ancienne façon de faire utilisant du matériel analogique. Et puisque c'est numérique, ça s'applique à tous les autres domaines, sans exception.

jean7 a écrit : 15 févr. 2018, 03:02 Donc deux IA identiques au temps 0 ne pourraient pas dériver l'une par rapport à l'autre pour des raisons endogènes ?

Ça, c'est une autre question et elle est des plus intéressante! Parce qu'elle met en cause tous les débats/interrogations concernant le déterminisme, la « potentielle conscience » des futures AI et le libre-arbitre, etc.

Ma digression concernait uniquement le fait de confondre ou d'altérer des nombres selon ta représentation erronée (mais plusieurs effectuent cette déduction/induction à cause de notre expérience avec les appareils analogiques).

À priori, si les 2 systèmes sont parfaitement identique et que (c'est important) les données analysées sont également parfaitement identique, non! Théoriquement (selon les connaissances scientifiques), il n'y a aucune raison justifiant une réponse différente! Et tu le sais très bien! À moins, comme un autre l'a déjà mentionné, qu'une fonction aléatoire soit introduite dans le processus.

Mais cette question est des plus intéressante et complexe, car si nous voulons faire de véritables IA (non cantonnés à un seul domaine d'application et non figé dans un case de PC), ces dernières, à terme (imaginons un cyborg autonome pouvant vivre comme un humain), devront faire du deep learning dans toutes les sphères/situations de la vie quotidienne et non seulement pour une activité spécifique. Du coup, aucun de ces cyborgs ne vivrait et n'expérimenterait tout à fait les mêmes expériences (comme chacun de nous), ce qui créerait forcément des différences (acquises) et donc des singularités (et donc différents « output» ).

Mais encore, rendu à ce point (ok j'anticipe et fais de la SF) s'ils ont tous la possibilité de communiquer par réseaux afin de tous se partager leurs expériences, qu'adviendra-t-il? Se formera-t-il une espèce de « super-organisme intelligent et conscient » dictant à tous les cyborgs quoi faire? La somme de leurs connaissances deviendra peut-être « l'unique donnée » à analyser et donc « la réponse » pourrait être systématiquement la même pour tous... ...advenant le cas où ils « décident » de ne plus répondre uniquement en fonction de l'expérience unique acquise par chacun. Nous sommes en plein dans les scénarios « à la Skynet » dans Terminator! Est-ce qu'une somme astronomique d 'expériences finira par faire émerger quelque chose qui ressemble à une conscience? Comme le pensent certains?

Perso, j'aimerais bien lire l'avis d'ABC sur l'ensemble de ce sujet!

Dash a écrit : 15 févr. 2018, 03:51À moins, comme un autre l'a déjà mentionné, qu'une fonction aléatoire soit introduite dans le processus.

Si on parle de l'étape de l'entraînement c'est toujours le cas (à moins d'être en période de test ou de débugage). L'initialisation des poids ou connections du réseau est aléatoire, sans parler de techniques de dropout qui désactive des connections au hasard et de l'injection de bruits dans les exemples pour améliorer la performance .

Mais pour l'étape de la reconnaissance, à ce moment là les poids sont "fixés" et la classification se fait sans rien d'aléatoire.

I.

Ce qui est intéressant, c'est, qu'à terme, l'observation des AI confirmera/infirmera nos doutes et questionnements concernant tout un tas de sujets (déterminisme/libre arbitre, émergence de la conscience, etc.).

Dash a écrit : 15 févr. 2018, 03:07Et un condensateur, chip/PCB, composant qui crame/dysfonctionne dans un PC, ça ne modifie pas subtilement des calculs, ça créer de plus gros problèmes!

J'ai cramé mon quota de composants depuis bientôt 30 ans que je fais joujou avec des ordinateurs et un composant qui se meurt ça a tendance à générer de bons gros écrans bleus. L'un des trucs les plus sournois que j'aie vu ces dernières années et la détérioration des CUDA cores sur une carte graphique. Comme ils ne sont pas sollicités à 100% en permanence, et que leur défaillance entraîne des artefacts graphiques sans nécessairement planter, ça peut parfois paraître foutrement aléatoire, mais encore un fois, l'aléatoire n'est qu'une perception humaine dérivée de la complexité intrinsèque du système observé.

Mais encore, rendu à ce point (ok j'anticipe et fais de la SF) s'ils ont tous la possibilité de communiquer par réseaux afin de tous se partager leurs expériences, qu'adviendra-t-il? Se formera-t-il une espèce de « super-organisme intelligent et conscient » dictant à tous les cyborgs quoi faire? La somme de leurs connaissances deviendra peut-être « l'unique donnée » à analyser et donc « la réponse » pourrait être systématiquement la même pour tous... ...advenant le cas où ils « décident » de ne plus répondre uniquement en fonction de l'expérience unique acquise par chacun

Vive le consensus Geth! Dans un tel cas, le terme "pour tous" n'aurait plus de raison d’être. Au niveau le plus basique, la mise en parallèle de plus de ressources pour traiter de plus gros problèmes est un concept éculé en informatique. C'est pas parce que les processeurs actuels ont plus de coeurs que des modèles plus anciens qu'on les perçoit comme des entités multiples. Avoir plusieurs IA traitant le même problème de concert ne serait pas forcément différent d'avoir une grosse IA faisant la même chose.

Invité a écrit : 15 févr. 2018, 04:49

Dash a écrit : 15 févr. 2018, 03:51À moins, comme un autre l'a déjà mentionné, qu'une fonction aléatoire soit introduite dans le processus.

Si on parle de l'étape de l'entraînement c'est toujours le cas (à moins d'être en période de test ou de débugage). L'initialisation des poids ou connections du réseau est aléatoire, sans parler de techniques de dropout qui désactive des connections au hasard et de l'injection de bruits dans les exemples pour améliorer la performance .

Faut-il comprendre que deux AI matériellement identiques et "cognitivement" identiques à leur naissances et confronté aux mêmes éléments d'apprentissages seront différentes à l'issu de l'apprentissage ?

Vathar a écrit : 15 févr. 2018, 11:58 J'ai cramé mon quota de composants depuis bientôt 30 ans que je fais joujou avec des ordinateurs et un composant qui se meurt ça a tendance à générer de bons gros écrans bleus.

Idem. j'ai fais du soutient informatique à domicile pendant des années (et encore pour mes proches, amis, connaissances) et 99.9 % du temps, c'est le Power Supply qui lâche (surtout en été), suivi de la carte vidéo (souvent, ce n'est que le ventilo qui freeze, mais la carte saute ensuite par surchauffe) et, enfin, les disques dure, mais c'est de plus en plus rare. Et c'est le BSOD ou l'écran noir.

Vathar a écrit : 15 févr. 2018, 11:58Avoir plusieurs IA traitant le même problème de concert ne serait pas forcément différent d'avoir une grosse IA faisant la même chose.

Oui, mais vous prenez soin de spécifier « de concert ». Mais imaginons un AI cyborg qui, mis à part une prog de base nécessaire (faisant office « d’innée »), démarre « sa vie » et son expérience ici, avec moi, dans mon environnement et un autre avec vous, outre-mer dans votre environnement. Et supposons qu’aucun ne puisse communiquer avec une « entité maitresse » délocalisée. Est-ce que leurs expériences perso (faisant office « d’acquis ») seront significatives au point de leur créer une pseudo personnalité~singularité (et donc des réponses sensiblement différentes face à des situations sensiblement similaires) ou bien pas vraiment, car les détails seront de toute façon insignifiants compte tenu des généralités s’appliquant aux humains et un peu à tout? D’autant plus qu’AlphaZero, dès lors qu’il a cessé d’étudier~singer les comportements humains, s’est mis à être bcp plus efficient, comme on la mentionné ici. Bref, j’en sais rien, mais c’est passionnant!



Invité, tu peux spéculer un peu (pour le plaisir), même si cela demeure de l’ordre de l’opinion? Tu sembles quand même t’y connaitre plutôt bien concernant le sujet!

jean7 a écrit : 15 févr. 2018, 12:41 Faut-il comprendre que deux AI matériellement identiques et "cognitivement" identiques à leur naissances et confronté aux mêmes éléments d'apprentissages seront différentes à l'issu de l'apprentissage ?

Ce qui définit un réseau de deep learning, c'est:

1- Sa structure statique: le nombre de couches, le type de chaque couches (convolution, pooling, ...), le nombre de neurones par couche, ...)
plus
2- Sa dynamique: les valeurs de ses poids ou connections qui ne seront fixées qu'au terme de son entraînement.

C'est ne sera donc que lorsque l'entraînement est terminée que le réseau sera exploitable.

Si on clone un réseau après qu'il ait été entraîné, le clone sera identique et se comportera d'une manière identique au premier quand on lui présentera des exemples à classifier.

Si on clone un réseau avant l'entraînement (même structure statique cf 1), ils ne sera plus identiques au premier au terme de l'entraînement et les deux ne produiront pas nécessairement un classement identique sur les mêmes exemples.

Donc cloner un réseau avant ou après l'apprentissage sont deux cas à ne pas confondre.

Ajout: Faut dire aussi qu'il y a bien des variantes. Certains systèmes vont continuer à "apprendre" même après l'entraînement initial, un exemple simple c'est un filtre de spam qui continue à s'adapter au fur et à mesure qu'on s'en sert.

I.