Intelligence Profonde et Singularité

[John Difool]

Bonjour à tous,

je profite de ce sujet pour donner une référence que je regarde en ce moment : il s'agit du cours de Stéphane Mallat au Collège de France sur l'apprentissage par réseau de neurone profonds. Les deux premiers cours sont assez abordables en tant qu'il s'attarde sur les différents domaines qui ont pensé l'intelligence artificielle et qu'il illustre le tout par de nombreux exemples. Il pose bien les bases de l'origine de ces réseaux, leur architecture, donc en soit c'est une bonne introduction pour le "tout venant". Ca devient un peu plus matheux par la suite, il faut un niveau de troisième année de supérieur en math je dirais.

[thierry]

Ah non !
On avait un beau fil, presque ésotérique mais sans être trop spécialisé.
ABC a encore plein de choses à dire sur le sujet, c'est sûr..

Suffit d'être patient

Il y a d'autres fils il me semble qui traitent de ces conneries de boîtes noires de réseaux de neurones, et autres "I"A ? (les guillemets sont faits exprès :p)

Bon, merci pour le tuyau, je viens de m'apercevoir que c'est un conseil plutôt qu'un détournement de fil je vais essayer de regarder perso.
Je poste quand-même, car j'ai réfléchi pour écrire ce message.

[John Difool]

Bonjour thierry,

je passe sur le reste de ton post dont je ne comprends pas bien l'intérêt et ne répond qu'à ça:

Il y a d'autres fils il me semble qui traitent de ces conneries de boîtes noires de réseaux de neurones, et autres "I"A ? (les guillemets sont faits exprès :p)

C'est exactement l'avis que j'avais avant de regarder le cours. Bon maintenant, je trouve toujours que c'est une boîte noire mais il y a quand même des raisons de croire que ça marche au delà d'un simple ''tournage de bouton" bien optimisé. J'ai toujours un peu de mal sur le sens que ça a de faire des prédictions (en science) avec une boîte noire dont on ne maîtrise pas les propriétés mathématiques mais j'ai bon espoir que les matheux résolvent ces questions dans les années à venir.

[thewild]

Bon maintenant, je trouve toujours que c'est une boîte noire mais [...]

Alors je te conseille vivement la vidéo du génialissime 3blue1brown à ce sujet (au passage, ce gars est un réel génie de la vulgarisation mathématique) :
https://www.youtube.com/watch?v=aircAruvnKk
C'est une série de 4 vidéo, celle-ci est la vidéo d'introduction.

Je n'ai pas écouté le cours de Stéphane Mallat mais j'avais essayé de suivre celui de Yann Le Cun il y un an ou deux, mais je n'ai pas tenu très longtemps (la faute à ses piètres talents d'orateur, pas au contenu). Ca ne m'a pourtant pas du tout laisse l'impression que les réseaux de neurones étaient des boites noires.

Certes il y a un niveau de complexité au delà duquel il est difficile de plonger dans le fonctionnement interne du réseau, mais "boite noire" ne me semble pas être un terme approprié. La vidéo que j'ai postée le montre bien je pense. Certes, ce n'est qu'un perceptron, mais c'est la base de tous les autres réseaux de neurones.

[John Difool]

Bon maintenant, je trouve toujours que c'est une boîte noire mais [...]

Alors je te conseille vivement la vidéo du génialissime 3blue1brown à ce sujet (au passage, ce gars est un réel génie de la vulgarisation mathématique) :
https://www.youtube.com/watch?v=aircAruvnKk
C'est une série de 4 vidéo, celle-ci est la vidéo d'introduction.

Je n'ai pas écouté le cours de Stéphane Mallat mais j'avais essayé de suivre celui de Yann Le Cun il y un an ou deux, mais je n'ai pas tenu très longtemps (la faute à ses piètres talents d'orateur, pas au contenu). Ca ne m'a pourtant pas du tout laisse l'impression que les réseaux de neurones étaient des boites noires.

Certes il y a un niveau de complexité au delà duquel il est difficile de plonger dans le fonctionnement interne du réseau, mais "boite noire" ne me semble pas être un terme approprié. La vidéo que j'ai postée le montre bien je pense. Certes, ce n'est qu'un perceptron, mais c'est la base de tous les autres réseaux de neurones.

Merci pour la référence, je regarderai quand j'aurai un peu plus de temps.

J'aurais du préciser mais j'entends boîte noire au sens où on ne sait pas dire à l'avance quand ça va marcher. Bien sûr ces réseaux ne sont pas construits "au hasard" et il semble y avoir un vrai savoir faire algorithmique mais on ne sait pas trop "pourquoi ça marche" (ce qui est d'ailleurs l'objet du cours de Stéphane Mallat). Du coup les preuves d'efficacité sont (quasi) uniquement empiriques.

Par exemple, à ma connaissance, il n'y a pas de résultat théorique qui permettent de savoir avec une certaine certitude si un résultat de neurone fera une bonne prédiction pour une nouvelle donnée "pas trop loin" des données d'entraînement. C'est d'ailleurs même tout l'enjeu des approches "adversarial" de faire planter le réseau de neurone et de lui faire dire qu'un chien est une autruche.

[Dash]

Alors je te conseille vivement la vidéo du génialissime 3blue1brown à ce sujet (au passage, ce gars est un réel génie de la vulgarisation mathématique) :
https://www.youtube.com/watch?v=aircAruvnKk

Miam!

Thx!

[ABC]

Je ne sais pas si compter sur l'effet papillon est bien rassurant. Si un effet mimine peut s'avérer positif, un autre effet aussi minime peut faire aller le système dans l'autre sens, non souhaité. Un petit incendie de forêt de plus peut ruiner les 200grs de viande que je mange en moins chaque semaine.
L'addition de millions de petits actes provoqués par une prise de conscience aiguë du problème semble a priori plus efficace que de compter sur un effet qui peut, par définition, balader le système dans n'importe quel sens, positif ou négatif.

C'est effectivement toute la différence entre l'effet papillon (petites causes grands effets) quand on le laisse entre les mains du "hasard" ou quand il est au contraire exploité en vue d'atteindre un objectif donné.

Une illustration physique de l'effet papillon (dans un cas simple à un seul paramètre de direction de bifurcation) est celui d'un bille posée sur une cuvette renversée. Laissée à elle-même, en raison du caractère instable de cet équilibre :

• une petite perturbation venant de l'environnement fera partir la bille dans n'importe quelle direction.
• Par contre, une "pichenette" (petite impulsion) orientée dans une direction choisie, fera tomber la bille dans la direction choisie.

Dans le cas, bien plus complexe, de la dynamique d'évolution de notre société humaine (et notre biosphère), il faut beaucoup, beaucoup, beaucoup plus qu'un seul paramètre pour spécifier la direction de bifurcation de cette dynamique actuellement très instable, mais le principe reste le même :

• une "pichenette" due à une perturbation de direction quelconque (dans un espace de phase à beaucoup de dimensions) fait évoluer très fortement le système dans une direction non spécialement voulue,
• une "pichenette" due à une perturbation dans une direction voulue fait évoluer très fortement le système dans la direction choisie.

On a un "effet de levier" (infini dans le cas idéalisé) amplifiant considérablement les actions (semi-collectives ou même individuelles) dans les directions d'évolution où il y a instabilité.

Comme tenu de cette complexité, cette remarque ne signifie par contre nullement que l'effet de la pichenette en question soit facile à prédire. Son choix n'est donc pas facile à faire et l'erreur très largement possible.

Toutefois, une fois l'instabilité déclenchée, si on loupe la fenêtre de tir ou si on se trompe de direction de pichenette, le retour en arrière n'est plus possible. C'est donc maintenant, dans la présente période d'anthropocène, que notre société mondiale doit faire des choix (plutôt que de laisser le "hasard" de nos attentes non réfléchies les faire à notre place) et tâcher de ne pas se tromper.