IA: Les avancées impressionnantes en langage naturel chez Google

[spin-up]

Oui mais à partir du moment où tu peux observer une manifestation objective et physique d'un phénomène, on n'a plus besoin de la partie subjective. Et si une sensation subjective n'est accompagnée d'aucune observation objective, je crois qu'il est légitime de parler d'illusion.

Paradoxalement, cette illusion est la seule certitude absolue qu'un individu peut avoir.

[Jean-Francois]

En informatique, un programme agissant et capable d'influer sur un monde (généralement virtuel, mais pas toujours) se nomme un agent

Et? Comme tu le dis avec ton exemple de "conscience" équivalent à un texte sur une tasse: les mots désignent les faits, ce ne sont pas les faits.

Je te présente alors GATO: https://www.deepmind.com/publications/a ... list-agent Il s'agit d'un modèle/agent capable avec le même modèle de tenir une conversation textuelle, de contrôler un robot physique, de décrire une image, ou de jouer à des jeux vidéos.

Merci, je fouillerai quand j'aurais le temps de me concentrer sérieusement là-dessus.

Attendez vous à des avancées dans tous les domaines avec ces techniques

C'est presque un truisme

Pendant ce temps-là, il y a encore des parapsychologues qui cherchent le psi dans l'absence de reproductibilité de leurs expériences

Jean-François

[jean7]

Une question.

Le langage humain, la conversation, c'est tout de même quelque chose de compliqué surtout parce qu'il y a l'intention d'être convainquant face à un humain et que le champ des sens que peux prendre une conversation est, de notre point de vue, illimité.

Mais on (un programmeur) m'a soutenu qu'il n'existe aujourd'hui pas de programme capable de recréer une application informatique à l'identique depuis une langue et un environnement quelconque (mais pas inconnus) vers une langue et un environnement choisi.
Et bien ça (si c'est vrais), ça m'épate.

Ça semble pourtant bien plus facile pour un ordinateur que de parler de tout et de rien... ?

[thewild]

Ce que je veux dire c'est que la plupart des définitions précises sont en réalité triviales à implémenter, mais d'une façon insatisfaisante, ce qui pousse vers des définitions plus vagues et ultimement infalsifiables. Je reprends l'exemple que j'avais donné plus haut: "La conscience est le fait d'avoir une représentation de soi-même, au niveau physique et abstrait" et je propose que mon mug sur lequel j'avais dessiné un mug et écrit "je suis un mug" obéit à cette définition simple, claire, mais insatisfaisante.

Ce n'est pas ce que j'appelle une définition précise, et les spécialistes en sémantique du forum pourraient disserter dessus pendant des années sans jamais tomber d'accord.

[yquemener]

Mais on (un programmeur) m'a soutenu qu'il n'existe aujourd'hui pas de programme capable de recréer une application informatique à l'identique depuis une langue et un environnement quelconque (mais pas inconnus) vers une langue et un environnement choisi.
Et bien ça (si c'est vrais), ça m'épate.

Ça semble pourtant bien plus facile pour un ordinateur que de parler de tout et de rien... ?

En fait, si tu discutes de choses logiques, scientifiques ou techniques avec ces modèles, tu obtiendras des réponses qui ont l'air très humaines mais aussi très stupides!

On a des programmes capables de créer des applications et des interfaces à partir de langage naturel, mais ça reste un peu limité pour l'instant. C'est là que j'attends le RL (reinforcement learning) qui me semble être la dernière pièce manquante pour donner de l'intention et des capacités de planification à ces modèles qui arrivent déjà à en donner l'illusion sans vraiment avoir ces capacités!

[shisha]

Yquemener dit :

Oui mais à partir du moment où tu peux observer une manifestation objective et physique d'un phénomène, on n'a plus besoin de la partie subjective. Et si une sensation subjective n'est accompagnée d'aucune observation objective, je crois qu'il est légitime de parler d'illusion.

Partiellement d'accord/désaccord
L'expérience subjective, c'est justement intrinsèquement lié au phénomène de la conscience (pour moi). Or, les observations objectives (genre imageries cérébrales) décrivent une partie du fonctionnement de la conscience mais ne sont pas l'expérience subjective en elle même.

Prenons l'exemple des rêves lucides (que tu as également expérimenté par le passé de mémoire) :

On sait que l'on est conscient dans un rêve (avec un degré de conscience qui peut varier) car :

- On a la sensation de l'être (ok parfois on peut se tromper de même autre cas de figure + fréquent, on peut croire que l'on est réveillé alors que le rêve continue => faux réveil).

- On fait soit même un test de réalité dans le rêve pour nous confirmer que l'on est bien entrain de rêver (et donc qu'on est conscient que notre corps physique est entrain de dormir). Par exemple on se pince le nez dans le rêve, et si l'air passe cela nous confirme que l'on rêve bel et bien, autre test, la personne compte ses doigts, et si elle en compte 6 pour une main, cela lui confirme qu'elle est dans un rêve.
=> Si le test est concluant, bien souvent, les doutes/questionnements de type "suis je entrain de rêver" s'envolent (même si pas automatique il est vrai) et s'en suit une prise de lucidité + forte. Par la suite le rêve se poursuit, notre lucidité/conscience intéragie avec notre inconscient, on peut se laisser embarquer dans le scénario du rêve/et ou essayer d'accomplir des objectifs au préalable fixés la veille puis se réveiller et ou perdre peu à peu la lucidité et retomber en "rêve normal" (sans lucidité/sans conscience donc).

Cela fait des milliers d'années que les gens expérimentent les rêves lucides.

Alors oui, quelqu'un d'extérieur à cela pourrait se dire qu'ils peuvent se tromper dans l'interprétation de l'expérience (illusion etc).

Jusqu'aux expériences réalisées par Stéphane Laberge en 1980, où des observations objectives ont été établies mettant en évidence le phénomène de lucidité potentielle dans le rêve. wiki

Les expériences conduites ont porté sur les moyens d'induire et de prolonger la lucidité onirique ; sur les différences de contenu entre le rêve ordinaire et le rêve lucide ; sur l'estimation du temps en rêve lucide, comparable à celle de veille ; sur les correspondances physiologiques entre activités rêvées et réelles, par exemple sur la faculté du rêveur de modifier son rythme respiratoire ou sur la manière dont son activité sexuelle rêvée se reflète à travers des mesures physiologiques ; sur les moyens de communiquer depuis l'intérieur du rêve par l'intermédiaire de signaux oculaires, protocole utilisé régulièrement dans les expérimentations sur le rêve lucide ; sur le rapport entre l'activité cérébrale (quantifiée par Électroencéphalographie quantitative) et l'activité rêvée (la latéralisation des fonctions cérébrales se retrouve durant les rêves lucides, l'hémisphère droit étant plus impliqué dans le fait de chanter, le gauche dans le fait de compter ; les mouvements rêvés génèrent des sorties motrices équivalentes aux schémas d'activité neuronale qui seraient produits si les mouvements correspondants étaient effectivement exécutés).

Cependant observer des mécanismes, des images de notre cerveau qui nous diraient si l'on est conscient ou non, ou bien ce qu'on pense globalement, ne peut se faire uniquement car notre expérience subjective est prise en compte par notre société, elle a donc un minimum de poids. On l'a prend en considération car elle est répété/partagée par tous nos semblables. Un cerveau observé objectivement sans ce partage commun d'expériences subjectives n'aura pas la même signification, on verrait juste des signaux/images mais on ne l'associerait pas à l'expérience subjective vécu potentiellement derrière.

Un machine n'est pas constituée tout à fait de la même manière que nous, on aura beau comparé/observé des similitudes dans le fonctionnement avec notre cerveau (ou celui d'autres especes), on ne pourra pas savoir si l'IA expérimente une subjectivité avec certitude.

Je crois que plus une machine doté d'IA sera composé de matière vivante (+ elle nous ressemblera dans son fonctionnement donc) et + on sera susceptible de la croire si elle nous dit qu'elle aussi expérimente une subjectivité.

[yquemener]

Un machine n'est pas constituée tout à fait de la même manière que nous, on aura beau comparé/observé des similitudes dans le fonctionnement avec notre cerveau (ou celui d'autres especes), on ne pourra pas savoir si l'IA expérimente une subjectivité avec certitude.

Le même raisonnement s'applique aux humains. C'est ce qu'on nomme le solipsisme. Moi je sais que j'ai des expériences subjectives, mais personne n'est capable de me prouver que les autres en ont aussi.

Je crois que plus une machine doté d'IA sera composé de matière vivante (+ elle nous ressemblera dans son fonctionnement donc) et + on sera susceptible de la croire si elle nous dit qu'elle aussi expérimente une subjectivité.

Attendu que l'on peut empêcher une machine de mentir, vérifier à quel point elle croit, en son for intérieur, qu'une déclaration est vrai, je trouve qu'il sera plus facile de vérifier l'existence d'une subjectivité logicielle que biologique.

[shisha]

Le même raisonnement s'applique aux humains. C'est ce qu'on nomme le solipsisme. Moi je sais que j'ai des expériences subjectives, mais personne n'est capable de me prouver que les autres en ont aussi.

Mais il resterait raisonnable de croire que les autres humains aient également une expérience subjective vu qu'ils sont constitués de la même matière que nous mêmes. Tandis que pour une IA constituée d'une matière organisée très différement (pas de neurones/pas de cerveau biologique par exemple) on* ne peut pas savoir si cela occasione une subjectivité.

edit : De notre point de vue humain en tout cas, mais du point de vue la machine cela sera différent (dans le cas où elle a réellement une lucidité, elle sera consciente de sa propre lucidité/elle saura).

Attendu que l'on peut empêcher une machine de mentir, vérifier à quel point elle croit, en son for intérieur, qu'une déclaration est vrai, je trouve qu'il sera plus facile de vérifier l'existence d'une subjectivité logicielle que biologique.

Dans le cas où la machine n'expérimente pas une subjectivité comment pourrait-elle savoir si elle expérimente ou non vu que cela serait une notion qui la dépasserait complètement => elle pourrait tout aussi bien en parler de manière "honnête" tout en étant à coté de la plaque réellement (le tout sans qu'on puisse le savoir).

[DictionnairErroné]

Le même raisonnement s'applique aux humains. C'est ce qu'on nomme le solipsisme. Moi je sais que j'ai des expériences subjectives, mais personne n'est capable de me prouver que les autres en ont aussi.

Mais il resterait raisonnable de croire que les autres humains aient également une expérience subjective vu qu'ils sont constitués de la même matière que nous mêmes. Tandis que pour une IA constituée d'une matière organisée très différement (pas de neurones/pas de cerveau biologique par exemple) on ne peut pas savoir si cela occasione une subjectivité.

En IA (artificiel), je crois plutôt qu'il est question de nous faire croire que la subjectivité existe, de même que les qualias et la conscience.

[yquemener]

Dans le cas où la machine n'expérimente pas une subjectivité comment pourrait-elle savoir si elle expérimente ou non vu que cela serait une notion qui la dépasserait complètement => elle pourrait tout aussi bien en parler de manière "honnête" tout en étant à coté de la plaque réellement (le tout sans qu'on puisse le savoir).

Prouve moi que les humains font autre chose.

Ils savent que "quelque chose" pense. Que ce "quelque chose" est "moi" et cette notion de "moi" les perturbe d'une façon indescriptible. Ça me parait pas impossible à reproduire.

[shisha]

Peut être pas impossible à reproduire mais juste plus difficile à le croire (pour les IA)ou plus facile à croire à la subjectivité expérimentée très probable des autres humains dufait de notre ressemblance relative :

"si j'expérimente une subjectivité alors un autre humain constitué à peu près de la même manière que moi, le doit également, par contre c'est plus compliqué à le croire pour une machine qui n'a pas de cerveaux/neurones.

=> je n'affirme donc pas que pour expérimenter une subjectivité, un cerveau/des neurones sont indispensables mais juste que toutes les combinaisons de la matière qui se different de notre cerveau ne donnent pas automatiquement de la subjectivité et par conséquent, il me parais bien plus difficile de croire une IA qui me dit qu'elle a conscience d'elle même qu'un autre humain.

[yquemener]

Ce qui m'amuse c'est que là on parle de croyance. Pas de preuve. Il y aura des personnes qui refusent de croire que les IAs sont conscientes ou intelligente quelque soient les preuves. La croyance m'intéresse assez peu. Ma croyance personnel est que cette conscience subjective est l'illusion causée par le mécanisme que je viens de décrire (un concept de "moi" relié de façon inconsciente mais très forte à l'instinct de survie).

À la différence des humains, il est possible de visualiser de façon objective l'intégralité des expérience d'un programme. Il sera facile de voir si une IA ment, joue un rôle ou fait semblant ou si son affirmation «je suis conscience» vient d'une rationalisation d'un instinct profond. Dés lors, en ce qui me concerne, j'aurais une certitude plus forte que cette IA a une conscience subjective que je n'en ai pour mes congénère humains.

[shisha]

A Yquemener

il est possible de visualiser de façon objective l'intégralité des expérience d'un programme.

Observer de manière objective l'intégralité d'un programme ne nous renseignerait pas réellement/forcément sur ses éventuelles expériences subjectives.

C'est comme si on créait de A à Z une petite brindille (donc sans nocicepteurs), dans l'absolu on ne pourrait pas savoir si elle éprouve de la douleur (comme pour les brindilles qui n'ont pas été créé par nous), on dirait, "jusqu'à preuve du contraire elles n'éprouvent pas de la douleur".

La question serait donc comment prouver que quelque chose/quelqu'un éprouve de la douleur alors qu'il n'est pas doté de nocicepteurs ? J'ai l'impréssion (je peux me tromper) qu'on serait obligé de faire intervenir même à petite dose une notion de confiance/croyance (ce qui dans l'absolu pourrait ne pas être concidéré comme une preuve).

Tu évites d'avoir recours à la partie/expérience subjective pour déterminer le réel or c'est grâce à cette dernière qu'on peut comprendre moultes choses (même si je suis d'accord qu'il faut faire attention, les biais etc).

Les observateurs humains qui étudient la douleur ont eux même expérimenté (sauf rare exception) la notion "ressenti de la douleur".

En revanche, un observateur alien qui n'est pas doté de nocicepteur* (= "n'éprouve pas la douleur" pour cet exemple) qui observerait le fonctionnement des nocicepteurs humains (ou autres espèces) et ou qui observerait nos réactions (cris, crispements etc) suites à certaines expériences qu'on ne qualifierait pas d'éthiques (petite torture par exemple), ne comprendrait pas pour autant ce que signifie "éprouver de la douleur". Pour lui, nos réactions seraient "assez proches" de celle d'une plante (ses mécanismes chimiques de defense par exemple) .

Maintenant, si l'on devait étudiait un alien supposé honnête non doté de nocicepteurs (ou une machine doté d'IA) qui nous dirait qu'il éprouve de la douleur, on pourrait interpréter:

- Qu'on ne met pas la même signification derrière le terme douleur => Qu'il n'éprouve pas en réalité de la douleur comme on l'entend.

- Peut-être qu'il éprouve réellement de la douleur mais on ne pourra pas le savoir avec certitude car après tout, on ne peut pas affirmer dans l'absolu, qu'avoir des nocicepteurs est une condition indispensable pour éprouver de la douleur. Peut-être existe t-il d'autres manières pour éprouver de la douleur. Pour autant, je trouverais bien plus compliqué de croire une machine IA ou un alien ami sans nocicepteur me disant qu'il éprouve de la douleur plutôt qu'un autre humain (qui aura donc partagé, sauf en étant déraisonable à mon sens, a peu près les mêmes expériences que moi car constitué de la même manière que moi).

Quand bien même la douleur serait un mécanisme créé par rapport à l'instinct de survie (pour faire écho à une de tes phrases) cela ne change pas le fait que concrètement, on puisse éprouver des sensations très désagréables qualifiées comme étant des douleurs.

[DictionnairErroné]

Pour l'instant, l'IA est très fragmentaire et caricatural. Un modèle pour la conversation, un modèle pour les jeux, un modèle pour l'automatisation des voitures, un modèle pour la peinture, en robotique, etc... Dont tout est réuni dans un seul cerveau humain et bien plus encore. Nous sommes encore très loin d'une "imitation" complète d'un cerveau humain, dont l'intelligence n'étant qu'un aspect, il ne faut pas se méprendre. Nous nous en approcherons de plus en plus sans vraiment pouvoir y arriver complètement.

[yquemener]

il est possible de visualiser de façon objective l'intégralité des expérience d'un programme.

Observer de manière objective l'intégralité d'un programme ne nous renseignerait pas réellement/forcément sur ses éventuelles expériences subjectives.

Si. On voit tous les éléments de l'état du programme. Si on pouvait faire ça à un humain qui dit "aïe!" on pourrait remonter aux neurones qui se sont activés, à voir s'ils ont été activés par les centres de la douleur, retrouver le nerfs qui a causé cette réaction, en extraire la qualia. Remonter tout ce chemin te donne l'ensemble de la subjectivité ressentie.

Alors oui, ça nous force à définir un peu plus précisemment ce qu'on entend par "douleur" ou "ressenti" ou "subjectivité", mais selon à peu près toutes les définitions qui me viennent à l'esprit, ce sont des choses incluses dans les informations dont on disposerait alors.

En revanche, un observateur alien qui n'est pas doté de nocicepteur* (= "n'éprouve pas la douleur" pour cet exemple) qui observerait le fonctionnement des nocicepteurs humains (ou autres espèces) et ou qui observerait nos réactions (cris, crispements etc) suites à certaines expériences qu'on ne qualifierait pas d'éthiques (petite torture par exemple), ne comprendrait pas pour autant ce que signifie "éprouver de la douleur". Pour lui, nos réactions seraient "assez proches" de celle d'une plante (ses mécanismes chimiques de defense par exemple) .

Avec une compréhension suffisament profonde de ses processus mentaux et des notres, ils devraient être capable de recréer cette sensation dans leurs processus cognitifs. Et nous de comparer très précisément si les chemins mentaux sont les même.

Pour l'instant, l'IA est très fragmentaire et caricatural. Un modèle pour la conversation, un modèle pour les jeux, un modèle pour l'automatisation des voitures, un modèle pour la peinture, en robotique, etc... Dont tout est réuni dans un seul cerveau humain et bien plus encore. Nous sommes encore très loin d'une "imitation" complète d'un cerveau humain, dont l'intelligence n'étant qu'un aspect, il ne faut pas se méprendre. Nous nous en approcherons de plus en plus sans vraiment pouvoir y arriver complètement.

GATO ( https://www.deepmind.com/publications/a ... list-agent ) est un modèle unique qui fait de la conversation, joue à des jeux, contrôle des bras robots et décrit des images. Il utilise le même algorithme pour ces tâches pourtant diverses.

[DictionnairErroné]

GATO ( https://www.deepmind.com/publications/a ... list-agent ) est un modèle unique qui fait de la conversation, joue à des jeux, contrôle des bras robots et décrit des images. Il utilise le même algorithme pour ces tâches pourtant diverses.

C'est bien, vraiment bien. D'après la description c'est très basique. Est-il aussi performant que les autres IA spécialisées dans chacun de ces domaines. Je doute.

Je ne conteste pas les avancées spectaculaires de l'IA. Il ne faut pas non plus tomber dans la science-fiction en disant, "nous pourrions" faire ceci ou cela... Le contrôle d'un bras de robot, nous référons à la robotique. Nous sommes très loin de l'agilité du corps humain. C'est à peine s'ils peuvent marcher sans tomber partout.

D'ailleurs je me questionne sur l'utilité de mimer le corps humain dont le cerveau que nous ne connaissons pas encore l'ampleur. Par exemple, je trouve que la question de la conscience et des qualias sont futiles. Au lieu de dire que c'est une question de survie comme vous avez fait référence, je dirais plutôt que c'est le contrôle de son environnement.

La question de la survie serait très différente de la nôtre. Nous c'est l'air, la nourriture biologique, l'eau. Un ordinateur IA n'aura pas les mêmes besoins de survie, il aurait des pensées et actions très différentes qui s'éloigneront des mimiques humaines.

[yquemener]

Il serait au contraire irresponsable de ne pas faire un peu de prospective en terme d'IA, attendu les progrès quasi-quotidiens faramineux qui sont faits. Pas une semaine ne passe sans une nouvelle architecture qui fait gagner 20% de perf quand ce n'est pas carrément un x10.

C'est bien, vraiment bien. D'après la description c'est très basique. Est-il aussi performant que les autres IA spécialisées dans chacun de ces domaines. Je doute.

Pas encore, il ne fait "que" 1 milliard de paramètres sur plein de tâches différentes, contre 100 fois plus pour un modèle spécialisé.

Par contre, un résultat surprenant de ce genre de recherches est que des tâches apparemment sans lien entre elles bénéficient l'une de l'autre. Par exemple on a vu que l'apprentissage de jeux vidéo (des jeux graphiques sans composante textuelle) aidait à ensuite apprendre plus vite les tâches textuelles! Certains concepts de haut niveau semblent se partager entre les deux tâches.

Le contrôle d'un bras de robot, nous référons à la robotique. Nous sommes très loin de l'agilité du corps humain. C'est à peine s'ils peuvent marcher sans tomber partout.

Là pour le coup c'est vraiment déraisonnable de penser qu'on ne dépassera pas l'agilité humaine. Boston Dynamics progress tous les ans:

https://www.youtube.com/watch?v=tF4DML7FIWk

Disney prévoit de déployer cette année des "cascadeurs robotiques" dans ses parcs, a priori habillés en spiderman:
https://www.youtube.com/watch?v=ENa98h7M7qY

On fait des robots plus rapides que les humains:
https://www.youtube.com/watch?v=chPanW0QWhA (le robot peut s'équilibrer tout seul, le bras du fond est juste une sécurité)

D'ailleurs je me questionne sur l'utilité de mimer le corps humain dont le cerveau que nous ne connaissons pas encore l'ampleur.

De façon assez surprenante, c'est un des business model de robotique le mieux prouvé à ce jour grâce à Disney qui fait de l'animatronics depuis un demi-siècle dans ses parcs. Fais un robot qui a «juste» l'air humain, ils rendent ça rentable.

Par exemple, je trouve que la question de la conscience et des qualias sont futiles. Au lieu de dire que c'est une question de survie comme vous avez fait référence, je dirais plutôt que c'est le contrôle de son environnement.

Oui moi aussi je trouve ça futile. Je ne pense pas que ce soit une condition nécessaire à la survie, c'est juste comme ça que les deux choses (instinct de survie et intelligence) ont coévolué chez nous.

[DictionnairErroné]

Il serait au contraire irresponsable de ne pas faire un peu de prospective en terme d'IA, attendu les progrès quasi-quotidiens faramineux qui sont faits. Pas une semaine ne passe sans une nouvelle architecture qui fait gagner 20% de perf quand ce n'est pas carrément un x10...

Je ne dis pas qu'il ne faut pas imaginer les possibilités grâce aux avancés fulgurant en IA, sinon elles stagneraient. Je préconise la prudence imaginaire. Régulièrement en science, un mur fait obstacle. Tout comme la programmation informatique traditionnelle avait frappé un mur et finalement une découverte comme l'IA a tout changé. En IA je m'attends à une autre révolution informatique. Il serait surprenant qu'une première étape soit la plus évolutive.

Là pour le coup c'est vraiment déraisonnable de penser qu'on ne dépassera pas l'agilité humaine. Boston Dynamics progress tous les ans:

https://www.youtube.com/watch?v=9aUBpByABiA

https://www.youtube.com/watch?v=Ggk26a7GTbE

On pense que... nous pourrions... Je ne dis pas que c'est impossible, tant que cela n'est pas réaliser nous pouvons en douter.

Par exemple, je trouve que la question de la conscience et des qualias sont futiles. Au lieu de dire que c'est une question de survie comme vous avez fait référence, je dirais plutôt que c'est le contrôle de son environnement.

Oui moi aussi je trouve ça futile. Je ne pense pas que ce soit une condition nécessaire à la survie, c'est juste comme ça que les deux choses (instinct de survie et intelligence) ont coévolué chez nous.

Je ne sais pourquoi vous vous limitez à la survie, c'est une vision très limitative de la vie.

[DictionnairErroné]

Pas encore, il ne fait "que" 1 milliard de paramètres sur plein de tâches différentes, contre 100 fois plus pour un modèle spécialisé.

Mais comment faites-vous pour ajuster une centaine de milliards de paramètres?

Est-ce que la prochaine étape serait d'utiliser un IA pour ajuster ces paramètres, qui à l'échelle humaine est pratiquement impossible ou est-ce déjà fait?

[yquemener]

Oui, ils ne sont bien sur pas ajustés à la main! 10 paramètres ça commence déjà à être trop pour un humain. On utilise généralement l'algorithme nommé "descente de gradient stochastique" pour les ajuster. C'est un vieil algo, qui fait varier les paramètres dans la direction qui diminue l'erreur, avec une petite dose de hasard. Les avancées récentes viennent d'une bonne quantité de petits trucs qui permettent à cet algorithme de marcher avec un nombre de paramètre et une "profondeur" de réseau très importante (d'où le qualificatif de "deep" network).