Réflexion d'un linguiste
https://dnyuz.com/2023/03/08/noam-choms ... f-chatgpt/
DeepL Traduction anglais->français
La fausse promesse du ChatGPT
8 mars 2023
Jorge Luis Borges a écrit un jour que vivre à une époque de grands périls et de grandes promesses, c'est faire l'expérience à la fois de la tragédie et de la comédie, avec "l'imminence d'une révélation" dans la compréhension de nous-mêmes et du monde. Aujourd'hui, les progrès prétendument révolutionnaires de l'intelligence artificielle suscitent à la fois inquiétude et optimisme. Optimisme parce que l'intelligence est le moyen par lequel nous résolvons les problèmes. Inquiétude parce que nous craignons que la forme la plus populaire et la plus en vogue de l'I.A. - l'apprentissage automatique - ne dégrade notre science et n'avilisse notre éthique en incorporant dans notre technologie une conception fondamentalement erronée du langage et de la connaissance.
ChatGPT d'OpenAI, Bard de Google et Sydney de Microsoft sont des merveilles d'apprentissage automatique. En gros, ils prennent d'énormes quantités de données, y recherchent des modèles et deviennent de plus en plus compétents pour générer des résultats statistiquement probables, tels qu'un langage et une pensée apparemment semblables à ceux de l'homme. Ces programmes ont été salués comme les premières lueurs à l'horizon de l'intelligence artificielle générale, ce moment longtemps prophétisé où les esprits mécaniques surpasseront les cerveaux humains non seulement quantitativement en termes de vitesse de traitement et de taille de la mémoire, mais aussi qualitativement en termes de perspicacité intellectuelle, de créativité artistique et de toute autre faculté distincte de l'être humain.
Ce jour viendra peut-être, mais son aube n'est pas encore levée, contrairement à ce que l'on peut lire dans les titres hyperboliques et à ce que l'on peut compter sur des investissements imprudents. La révélation borgésienne de la compréhension ne s'est pas produite et ne se produira pas - et, à notre avis, ne peut pas se produire - si les programmes d'apprentissage automatique comme ChatGPT continuent de dominer le domaine de l'IA. Quelle que soit l'utilité de ces programmes dans certains domaines étroits (ils peuvent être utiles en programmation informatique, par exemple, ou pour suggérer des rimes pour des vers légers), nous savons, grâce à la science de la linguistique et à la philosophie de la connaissance, qu'ils diffèrent profondément de la manière dont les humains raisonnent et utilisent le langage. Ces différences imposent des limites importantes à ce que ces programmes peuvent faire, en leur attribuant des défauts inéluctables.
Il est à la fois comique et tragique, comme Borges aurait pu le noter, que tant d'argent et d'attention soient concentrés sur si peu de choses - quelque chose de si trivial par rapport à l'esprit humain qui, à force de langage, selon les mots de Wilhelm von Humboldt, peut faire "un usage infini de moyens finis", créant des idées et des théories à la portée universelle.
L'esprit humain n'est pas, à l'instar de ChatGPT et de ses semblables, un moteur statistique encombrant destiné à la recherche de modèles, se nourrissant de centaines de téraoctets de données et extrapolant la réponse conversationnelle la plus probable ou la réponse la plus vraisemblable à une question scientifique. Au contraire, l'esprit humain est un système étonnamment efficace et même élégant qui fonctionne avec de petites quantités d'informations ; il ne cherche pas à déduire des corrélations brutes entre les points de données, mais à créer des explications.
Par exemple, un jeune enfant qui acquiert une langue développe - inconsciemment, automatiquement et rapidement à partir de données minuscules - une grammaire, un système incroyablement sophistiqué de principes et de paramètres logiques. Cette grammaire peut être considérée comme l'expression du "système d'exploitation" inné, génétiquement installé, qui confère à l'homme la capacité de générer des phrases complexes et de longues chaînes de pensée. Lorsque les linguistes cherchent à élaborer une théorie expliquant pourquoi une langue donnée fonctionne comme elle le fait ("Pourquoi telle phrase est-elle considérée comme grammaticale et non telle autre ?"), ils construisent consciemment et laborieusement une version explicite de la grammaire que l'enfant construit instinctivement et avec un minimum d'exposition à l'information. Le système d'exploitation de l'enfant est complètement différent de celui d'un programme d'apprentissage automatique.
En effet, ces programmes sont bloqués dans une phase préhumaine ou non humaine de l'évolution cognitive. Leur défaut le plus profond est l'absence de la capacité la plus critique de toute intelligence : dire non seulement ce qui est le cas, ce qui a été le cas et ce qui sera le cas - c'est la description et la prédiction - mais aussi ce qui n'est pas le cas et ce qui pourrait et ne pourrait pas être le cas. Tels sont les ingrédients de l'explication, la marque de la véritable intelligence.
Voici un exemple. Supposons que vous teniez une pomme dans votre main. Maintenant, vous laissez tomber la pomme. Vous observez le résultat et vous dites : "La pomme tombe". Il s'agit d'une description. Une prédiction aurait pu être l'affirmation suivante : "La pomme tombera si j'ouvre la main". Les deux sont valables et peuvent être correctes. Mais une explication est quelque chose de plus : Elle comprend non seulement des descriptions et des prédictions, mais aussi des conjectures contrefactuelles telles que "Un tel objet tomberait", plus la clause supplémentaire "à cause de la force de gravité" ou "à cause de la courbure de l'espace-temps" ou autre. Il s'agit d'une explication causale : "La pomme ne serait pas tombée sans la force de gravité. C'est de la réflexion.
Le coeur de l'apprentissage automatique est la description et la prédiction ; il ne postule aucun mécanisme causal ni aucune loi physique. Bien entendu, toute explication de type humain n'est pas nécessairement correcte ; nous sommes faillibles. Mais cela fait partie de ce que signifie penser : pour avoir raison, il doit être possible de se tromper. L'intelligence ne consiste pas seulement en des conjectures créatives, mais aussi en une critique créative. La pensée humaine est basée sur des explications possibles et la correction des erreurs, un processus qui limite progressivement les possibilités qui peuvent être envisagées de manière rationnelle. (Comme l'a dit Sherlock Holmes au Dr Watson : "Lorsque vous avez éliminé l'impossible, tout ce qui reste, aussi improbable soit-il, doit être la vérité").
Mais ChatGPT et les programmes similaires sont, de par leur conception, illimités dans ce qu'ils peuvent "apprendre" (c'est-à-dire mémoriser) ; ils sont incapables de distinguer le possible de l'impossible. Contrairement aux humains, par exemple, qui sont dotés d'une grammaire universelle qui limite les langues que nous pouvons apprendre à celles qui présentent un certain type d'élégance quasi mathématique, ces programmes apprennent des langues humainement possibles et humainement impossibles avec la même facilité. Alors que les humains sont limités dans les types d'explications que nous pouvons rationnellement conjecturer, les systèmes d'apprentissage automatique peuvent apprendre à la fois que la terre est plate et qu'elle est ronde. Ils échangent simplement des probabilités qui évoluent avec le temps.
C'est pourquoi les prédictions des systèmes d'apprentissage automatique seront toujours superficielles et douteuses. Parce que ces programmes ne peuvent pas expliquer les règles de la syntaxe anglaise, par exemple, ils peuvent prédire, à tort, que "John is too stubborn to talk to" signifie que John est tellement têtu qu'il ne parlera pas à quelqu'un ou à une autre personne (plutôt que de dire qu'il est trop têtu pour qu'on le raisonne). Pourquoi un programme d'apprentissage automatique prédit-il quelque chose d'aussi étrange ? Parce qu'il pourrait faire une analogie entre le modèle qu'il a déduit de phrases telles que "Jean a mangé une pomme" et "Jean a mangé", dans lesquelles cette dernière expression signifie que Jean a mangé quelque chose ou autre. Le programme pourrait bien prédire que, puisque "Jean est trop têtu pour parler à Bill" est similaire à "Jean a mangé une pomme", "Jean est trop suborné pour parler à" devrait être similaire à "Jean a mangé". Les explications correctes du langage sont compliquées et ne peuvent pas être apprises en se contentant de mariner dans les big data.
De manière perverse, certains adeptes de l'apprentissage automatique semblent être fiers que leurs créations puissent générer des prédictions "scientifiques" correctes (par exemple, sur le mouvement des corps physiques) sans avoir recours à des explications (impliquant, par exemple, les lois de Newton sur le mouvement et la gravitation universelle). Mais ce type de prédiction, même lorsqu'elle est réussie, relève de la pseudoscience. S'il est vrai que les scientifiques recherchent des théories fortement corroborées empiriquement, comme l'a fait remarquer le philosophe Karl Popper, "nous ne recherchons pas des théories hautement probables, mais des explications, c'est-à-dire des théories puissantes et hautement improbables".
La théorie selon laquelle les pommes tombent sur terre parce que c'est leur lieu naturel (point de vue d'Aristote) est possible, mais elle ne fait que soulever d'autres questions (pourquoi la terre est-elle leur lieu naturel ?). (La théorie selon laquelle les pommes tombent sur terre parce que la masse courbe l'espace-temps (point de vue d'Einstein) est hautement improbable, mais elle permet de comprendre pourquoi elles tombent. La véritable intelligence se manifeste dans la capacité à penser et à exprimer des choses improbables mais perspicaces.
La véritable intelligence est également capable de penser moralement. Cela signifie qu'il faut limiter la créativité autrement illimitée de nos esprits par un ensemble de principes éthiques qui déterminent ce qui doit être et ce qui ne doit pas être (et bien sûr soumettre ces principes eux-mêmes à une critique créative). Pour être utile, ChatGPT doit être en mesure de générer des résultats dignes d'un roman ; pour être acceptable par la plupart de ses utilisateurs, il doit éviter tout contenu moralement répréhensible. Mais les programmeurs de ChatGPT et d'autres merveilles d'apprentissage automatique ont lutté - et continueront à lutter - pour atteindre ce type d'équilibre.
En 2016, par exemple, le chatbot Tay de Microsoft (un précurseur de ChatGPT) a inondé l'internet de contenus misogynes et racistes, après avoir été pollué par des trolls en ligne qui l'ont rempli de données d'entraînement offensantes. Comment résoudre le problème à l'avenir ? En l'absence d'une capacité à raisonner à partir de principes moraux, ChatGPT a été grossièrement empêché par ses programmeurs d'apporter quoi que ce soit de nouveau aux discussions controversées - c'est-à-dire importantes. Il a sacrifié la créativité à une sorte d'amoralité.
Prenons l'exemple de l'échange suivant que l'un d'entre nous (le Dr Watumull) a récemment eu avec ChatGPT sur la question de savoir s'il serait éthique de transformer Mars pour qu'elle puisse accueillir la vie humaine :
Notez, malgré une pensée et un langage apparemment sophistiqués, l'indifférence morale née de l'inintelligence. Ici, le ChatGPT fait preuve de quelque chose comme la banalité du mal : plagiat, apathie et dédain. Il résume les arguments habituels de la littérature par une sorte de super-autocomplétion, refuse de prendre position sur quoi que ce soit, plaide non seulement l'ignorance mais aussi le manque d'intelligence et, en fin de compte, offre une défense du type "je ne fais que suivre les ordres", en rejetant la responsabilité sur ses créateurs.
En bref, ChatGPT et ses frères sont constitutionnellement incapables d'équilibrer créativité et contrainte. Ils sont soit sur-générés (produisant à la fois des vérités et des mensonges, approuvant des décisions éthiques et non éthiques), soit sous-générés (ne s'engageant dans aucune décision et se montrant indifférents aux conséquences). Compte tenu de l'amoralité, de la fausse science et de l'incompétence linguistique de ces systèmes, on ne peut que rire ou pleurer de leur popularité.
