MaisBienSur a écrit : 14 janv. 2023, 17:41
Oui, certaines réponses sont plus que surprenantes, pour ne pas dire décevantes
Q . Quels sont les légumes qui commencent par la lettre m
R .
la mandarine
la melon
la mâche
la morelle
la myrtille (souvent considérée comme un fruit)
le maïs
le melon d'eau
le mélange de légumes (ex: ratatouille)
le radis noir
le navet
le mizuna (plante cultivée comme légume)
le moutarde (plante cultivée pour ses feuilles)
le potimarron
le maca (root vegetable)
(et le mélange entre fruits et légumes

)
Q- Liste-moi quelques légumes, c’est-à-dire des aliments dont la probabilité qu’ils soient considérés comme étant des légumes soit de 100% et dont leur nom débute par la lettre « M »
ChatGPT a écrit :Melon
Maïs
Menthe
Mâche
Macis
Maca
Morue (si elle est consommée sous forme de légume, ce qui n'est pas le cas dans toutes les cultures culinaires)
Monarde
Morelle
Myrtille (si elle est consommée sous forme de légume, ce qui n'est pas le cas dans toutes les cultures culinaires)
C’est mieux. Ta question n’était pas suffisamment précise! Plus nous l’encadrons et précisons, moins il commet d’erreurs, d’après ce que j’ai observé. Sinon j’ai observé des résultats identiques et c’est pourquoi j’avais dit que, bizarrement, il «
fail » souvent sur des trucs pourtant tout simples. Et c’est là que je rejoins Thewild : il ne s’agit que (
enfin, façon de parler) de prédictions probabilistes et de statistiques en rapport avec des listes et combinaisons de mots qu’il a observées et analysées en très grand nombre lors de son apprentissage. Et c’est ce qui fait que — pour l’instant — il n’y a aucune garantie (
d’exactitude) quant aux réponses qu’il génère.
Bref, moi, ce que je me plais à souligner, contrairement (
ou en complément, plutôt) à Thewild, c’est que
ses réponses dépendent précisément et exclusivement de nos questions, de leur formulations, précision et des mots que nous employons. En m’amusant à modifier et « adapter » mes questions, j’apprends comment lui faire générer des réponses moins erronées!
Par contre, je m’interroge encore sur certains
cas particuliers, notamment ceux qui concernent des prompts (
donc des questions) qui impliquent essentiellement des relations d’implication logique (
sans autres bla-bla), comme des maths et/ou de la création de code informatique. Procède-t-il tjrs et exclusivement de la même façon (
valeurs de probas~stats en fonction de ce qu’il a observé) ou bien il y a quand même des notions de relation logiques (
et formules de math) d’impliquées dans certains de ses processus?
Car, par exemple, si j’écris uniquement «
254 698 + 5 248 963 =? » il génère pourtant :
ChatGPT a écrit :5,503,661
...ce qui est exact!
Pour ce faire, ne procède-t-il pas tout simplement de la même façon qu’une calculette (
matériel et/ou logiciel) ? J’imagine que dans le corpus étudié, ce dernier ne comportait pas toutes les combinaisons mathématiques possibles. Donc comment procède-t-il s’il ne « calcule » pas comme une calculette pour ces types de prompt ? Car mon prompt, ma « question » ne comportait pourtant aucun mot, sinon que deux nombres, le sigle « + » et le sigle « ? » à la fin
S'il ne calcule pas du tout, comment ses poids et biaise en arrivent-ils à estimer, et générer la bonne réponse?
Pour tenter d’observer s’il est en mesure d’effectuer des relations d’implication logique, je tente avec un prompt, une question qui utilise des « sujets » (
des mots) qui n’existent pas, afin de voir s’il peut exclusivement traiter des relations d’implications logiques :
« Si un « boluganozore » est plus grand qu'un « asistoranux » et qu'un « asistoranux » est plus petit qu'un « ostilopithekusublocus », pouvons-nous déduire que le « boluganozore » est plus grand ou plus petit que le « ostilopithekusublocus » ? »
Et la réponse générée est « intéressantes » :
ChatGPT a écrit :Il est impossible de déduire si un "boluganozore" est plus grand ou plus petit qu'un "ostilopithekusublocus", car ces termes ne sont pas reconnus dans le domaine scientifique. Il est possible qu'il s'agisse de termes inventés ou utilisés dans un contexte spécifique non connu de moi.
Il dit que c’est impossible de déduire (
ce qui est exact), mais par contre pas du tout pour les bonnes raisons, seulement parce que ces termes lui sont inconnu. Ce qui tend à confirmer qu’il n’effectue aucune relation logique comme telle!
Allez, je le relance en lui demandant alors : «
Au-delà des noms, si tu traites uniquement des implications et relations logiques ? »
Et il génère :
ChatGPT a écrit :Si un objet A est plus grand qu'un objet B et un objet B est plus petit qu'un objet C, on peut en déduire logiquement que l'objet A est plus petit que l'objet C.
Alors que ce n’est pas exact. Nous n’avons pas suffisamment d’infos pour nous prononcer (
la taille de l’objet C pourrait tout aussi bien être entre celle de l’objet A et B, ou alors au-delà de l’objet A, donc impossible de dire si A est plus grand ou plus petit que C). Conséquemment, il ne semble pas en mesure de faire strictement et exclusivement des liens d’implication logiques ici.
J’essaie encore pour vérifier : «
Si tous les boligarus sont mortels et que Tranakime est un homme, pouvons-nous déduire que Tranakime est mortel? »
Et il génère :
ChatGPT a écrit :Il est impossible de déduire si Tranakime est mortel, car "boligarus" ne sont pas reconnus dans le domaine scientifique, il est possible que ces termes soient inventés ou utilisés dans un contexte spécifique non connu de moi.
Je le relance donc : «
Mais au-delà des mots, uniquement selon les implications logiques?»
Et il génère :
ChatGPT a écrit :Si tous les objets de la classe X sont de propriété Y et qu'un objet Z appartient à la classe X, alors il est logique de déduire que l'objet Z possède la propriété Y. Dans ce cas, si tous les boligarus sont mortels et que Tranakime est un boligarus, on peut en déduire logiquement que Tranakime est mortel.
Ce qui est exact sauf que dans ce cas, ça peut très bien être généré avec ses poids et biaises, de façon probabiliste en fonction de ma combinaison de mots « Mais au-delà des mots, uniquement selon les implications logiques? ». Sauf que la réponse générée tient quand même compte de la structure de ma première question (
deux prémisses, une majeure, une mineure, pas plus!) alors qu’elle aurait tout aussi bien pu en comporter plus, bref, être différente.
Je tente alors autre chose avec plus de relations~implications :
«
Si A est plus grand que B. Et si B est plus grand que C. Et si C est plus grand que D. Et si D est plus grand que E. Et si F est plus petit que C. Peut-on déduire que B est plus grand ou plus petit que F? »
Et il génère :
ChatGPT a écrit :Si A est plus grand que B, B est plus grand que C, C est plus grand que D, D est plus grand que E, et F est plus petit que C, on peut dé déduire logiquement que B est plus grand que F. Cela repose sur les relations de grandeur entre les objets A, B, C, D, E et F, où B est défini comme étant plus grand que C, C étant plus grand que D, D étant plus grand que E, et C étant plus grand que F.
Ce qui est rigoureusement exact! Autant sur le fond que dans la forme, c’est-à-dire sa façon de l’expliquer.
Bref, je suis partagé, car sa réponse reprend mot pour mot mes implications (
qui, forcément, il doit évaluer comme étant correcte et tenir compte du nombre d'implications, qui sont les mêmes, en nombre, dans sa réponse) en tenant bien compte des relations d’implications.
Comment peut-il réussir à générer une réponse adéquate de ce type s’il ne tenait aucunement compte des liens d’implication logiques ?
C’est fascinant!
Je fournis la traduction en français :
«
L’IA subit un changement de paradigme avec l’essor des modèles (par exemple, BERT, DALL-E, GPT-3) qui sont formés sur des données générales à grande échelle et qui sont adaptables à un Large éventail de tâches en aval. Nous appelons ces modèles modèles de base soulignent leur caractère central mais incomplet. Ce rapport fournit un compte rendu détaillé des opportunités et des risques de la fondation modèles, allant de leurs capacités (p. ex., langage, vision, robotique, raisonnement, interaction humaine) et les principes techniques (p. ex., modèle architectures, procédures de formation, données, systèmes, sécurité, évaluation, théorie) à leurs applications (p. ex., droit, soins de santé, éducation) et sociétales l’impact (p. ex., iniquité, mauvaise utilisation, impact économique et environnemental, juridique et considérations éthiques). Bien que les modèles de fondation soient basés sur des l’apprentissage et le transfert de l’apprentissage, leur échelle se traduit par de nouvelles et leur efficacité dans tant de tâches incitent homogénéisation. L’homogénéisation fournit un puissant effet de levier mais exige de la prudence, car les défauts du modèle de fondation sont hérités par tous les modèles adaptés en aval. Malgré le déploiement imminent à grande échelle des modèles de fondation, nous manquons actuellement d’une compréhension claire de leur fonctionnement, de leurs échecs, et ce dont ils sont même capables en raison de leurs propriétés émergentes. Pour s’attaquer à ces problèmes , nous croyons qu’une grande partie de la recherche critique sur les modèles de fondation nécessitent une collaboration interdisciplinaire approfondie à la mesure de leur nature fondamentalement sociotechnique. »
________
La notion de propriétés émergentes soulevée, entre autres, est très intéressante! C'est peut-être à cause des IA que nous pourrons enfin trancher la question de l'émergence faible
VS forte!