ChatGPT

Tout sur les sciences, que ce soit la chimie, la biologie, l'astronomie etc.
thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#76

Message par thewild » 13 janv. 2023, 09:15

Dash a écrit : 13 janv. 2023, 03:07 Le problème, c’est que toi et Invité m’avez pris au premier degré en interprétant « BDD » au sens strict alors que je l’utilise au sens « générique~commun » comme synonyme de « mémoire » parce que d’une façon ou d’une autre il doit utiliser une fonction équivalente à la « notion de mémoire » (numérique~informatique).
Alors tu ne devrais pas utiliser ce terme. Bien évidemment, à un certain niveau les paramètres de ChatGPT sont stockées dans de la mémoire informatique classique, mais le terme BDD est très mal choisi. Sa mémoire est de même nature que la notre, elle réside dans les connexions entre ses neurones. Il ne te viendrait pas à l'idée de demander à un humain combien de mots il a dans sa BDD ?
J’imagine que tu effectues le même raisonnement que moi, à savoir qu’il doit nécessairement avoir accès à des « données », car quand bien même il procède par proba et « score statistique », ces derniers « scores » sont ce qui constitue « ses données ». De plus, il doit nécessairement avoir « en mémoire » tous les (enfin, d’innombrables) mots qui existent. Par exemple, le nom « « Michael Jackson », il ne peut pas le « générer » à partir du néant! :roll: Cet assemblage de lettre est soit « inscrite » quelque part dans une mémoire dont il a accès ou bien c’est un « "algo" » (façon de parler) qui permet de reconstituer ce nom (cette combinaison de lettres) précis lorsqu’en rapport avec d’autres combinaisons de lettres formant, P. Ex., « Thriller », « Billie Jean », « qui chante...? » etc., mais, dans tous les cas, il ne procède pas par « par magie ». Bref, quand moi je dis qu’il à accès à une « base de donnée », je ne parle évidemment pas d’une BDD de type SQL, je cause du concept, de la notion de « données en mémoire ».
Désolé mais j'insiste pour dire que ces termes sont mal choisis. Ils font partir du corpus de l'algorithmique procédurale, et les IA basées sur des réseaux de neurones ne sont pas résumables à des algorithmes procéduraux. Bien évidemment à un bas niveau il y a de l'informatique procédurale, mais ce qui importe c'est le niveau d'abstraction supérieur : le réseau et ses paramètres de pondération.
Mais pouvons-nous nous entendre, convenir qu’il a accès à des données numériques contenues en mémoire?

Si je lui demande quel est le nom et prénom de tel ou tel président de tel ou tel pays ou comment l’on nomme la couleur « verte » en anglais, en faisant abstraction de comment il procède dans le détail (score statistique obtenu pendant son learning, etc.), il « interroge » bien « quelque chose » puisque la magie n’existe pas!
Je ne dis pas que ce que tu dis est faux, je dis que tu ne dois pas utiliser ces termes car ils ne correspondent pas au fonctionnement de ChatGPT. Il n'y a rien qui interroge quoi que ce soit. Il y a le prompt en entrée et un mot en sortie, c'est tout. Enfin non évidemment ce n'est pas tout, mais cette simplification fonctionne bien.

Mais le nom comme tel, il ne peut pas l’inventer de toute pièce puisqu’il est déterminé, justement, par des probabilités statistiques. Et ce nom (comme tous les autres mots), il est « inscrit » quelque part, d'une façon ou d'une autre, dans une mémoire dont il a accès!
Si tu veux, mais pas inscrit au sens ou cette information pourraient être retrouvée en parcourant les paramètres de l'IA. Le mot n'est inscrit nulle part, il est la résultante du processus.
Il serait par exemple impossible de parcourir ses paramètres pour corriger toutes les fautes d'orthographe.

Maintenant que tout ceci est clarifié, concernant ce que je disais, à savoir qu’il n’est pas en mesure de nous « dévoiler » le nombre de tel ou tel « trucs » que contient sa « base de données » (la résultante de son deep learning, si tu préfères!). Par exemple combien d’études concernant tel ou tel sujet possède-t-il ou, encore, combien de biais cognitifs sont présents dans sa « mémoire » (la résultante de son deep learning, si tu préfères!), je maintiens que c’est un non sens (compte tenu de ce qu'il a « learné »), car en fait c’est possible (j’ai réussi!). Ça dépend de comment nous lui posons la question!
Je maintiens que ce n'est pas possible et qu'il ne te donnera qu'une réponse cohérente et pas une réponse exacte. Déjà, il répond "environ 150" et pas un nombre précis, c'est un signe.
Si par exemple on lui demande "Quels sont les pays d'Europe ayant la lettre a dans leur nom ?", il répond :
"Les pays d'Europe ayant la lettre "a" dans leur nom sont : Albanie, Allemagne, Autriche, Espagne, France, Grèce, Pays-Bas, Portugal." :grimace:
On voit bien dans ce genre de réponse qu'il n'est pas capable de réaliser un vrai raisonnement logique. La liste est simplement fausse (il y a des pays qui manquent et d'autres qui ne devraient pas y être).
Tout ça pour insister sur le fait qu'il ne faut pas utiliser le lexique de la programmation ou de l'informatique classique ("accès", "bdd", "mémoire", "interroger", ...) pour décrire le fonctionnement d'une IA, car elle ne fonctionne simplement pas comme un programme informatique.
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#77

Message par thewild » 13 janv. 2023, 09:19

Dash a écrit : 13 janv. 2023, 04:01 L’on ne peut de toute façon pas se fier à ses propres réponses le concernant. Là je suis d’accord avec Thewild car, de toute façon, en fonction de nos formulations, il peut répondre une chose et son contraire. Il faut rechercher l’information « ailleurs »,… …si toutefois OpenIA la partage quelque part dans le détail, en effet!
Ils ne sont malheureusement pas aussi "open" que leur nom pourrait le laisser croire ;)
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Etienne Beauman
Messages : 6881
Inscription : 20 févr. 2011, 18:59

Re: ChatGPT

#78

Message par Etienne Beauman » 13 janv. 2023, 12:38

Invité a écrit : 13 janv. 2023, 03:28 @Tous

Je pense qu'une version à venir permettra de jouer avec la température et pour avoir des réponses plus exactes (moins fofolles) on pourra baisser cette température vers 0, et inversement vers 1 pour plus de « créativité » et ...d'erreurs. Pour le moment ce n'est pas possible.

Pour l'affaire de la BDD, faudra regarder des publications techniques parce que les réponses qu'il donne sont ambigües. Il semble parfois dire que ses « connaissances » sont dans les interconnexions du réseau et ailleurs il parle d'API qui lui permettraient d'interroger une base de données externes. Je ne suis pas sûr qu'OpenAi (malgré son nom) va vouloir donner toutes les informations détaillées sur son architecture.

I.
Je n'écris que les réponses.
chatGPT :

L'API de ChatGPT est un service web qui permet aux développeurs d'intégrer les fonctionnalités de traitement de langue de ChatGPT dans leurs propres applications. Il existe plusieurs façons d'utiliser mon API, mais voici quelques étapes générales pour vous aider à démarrer:

Obtenez une clé API: Vous devez d'abord vous inscrire pour obtenir une clé API unique qui vous permettra d'accéder à mon API.

Familiarisez-vous avec les paramètres d'entrée de l'API: Il existe différents paramètres d'entrée que vous pouvez utiliser pour personnaliser les réponses générées par mon API, tels que la température, le nombre de réponses à générer, etc.

Appelez l'API: En utilisant la bibliothèque de programmation de votre choix, vous pouvez envoyer une requête HTTP à l'API en utilisant la clé API obtenue précédemment et les paramètres d'entrée souhaités.

Utilisez les réponses: Les réponses générées par mon API peuvent être utilisées pour des tâches telles que la génération de contenu, la réponse à des questions, la génération de réponses automatiques, etc.

Pour obtenir des réponses fiables en utilisant mon API, il est généralement recommandé de choisir une température relativement basse, généralement inférieure à 0,7. Cela permet de minimiser les réponses imprévisibles ou incohérentes qui pourraient être générées avec des températures plus élevées. En utilisant une température basse, l'algorithme de génération de textes sera plus enclin à générer des réponses qui sont similaires à celles qu'il a apprises lors de son entraînement, ce qui peut garantir que les réponses restent pertinentes et cohérentes pour la tâche spécifique pour laquelle il est utilisé.
Cependant, il est important de noter que cela dépend également de la tâche spécifique pour laquelle vous utilisez mon API, pour certaines tâches comme la génération de contenu créatif, il est préférable d'utiliser des températures plus élevées pour obtenir des réponses plus originales et créatives. Il est donc important de jouer avec cette valeur pour obtenir les meilleurs résultats pour chaque cas d'utilisation.

Dans cette conversation, je suis utilisé comme un système de dialogue interactif qui répond à vos questions et vos demandes d'informations. Mon API n'est pas utilisé directement pour cette conversation, donc il n'est pas possible de changer la température de mon modèle.

Mon API est proposée par OpenAI, une entreprise de recherche en intelligence artificielle qui a pour but de rendre l'IA accessible à tous. Il existe différentes offres pour utiliser l'API de ChatGPT, certaines sont gratuites avec des restrictions d'utilisation et d'autres sont payantes avec des limites d'utilisation plus élevées et des fonctionnalités supplémentaires.
Il est important de noter que pour utiliser l'API de ChatGPT, vous devez vous inscrire et obtenir une clé d'API unique, et vous devez également respecter les termes d'utilisation et la politique de confidentialité d'OpenAI.
Au royaume des cyclopes, les borgnes sont aveugles.
Is this a discussion?

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#79

Message par Invité » 13 janv. 2023, 15:02

@Etienne Beauman

Oui il existe des API que tu peux utiliser si tu veux interroger ChatGPT à partir de ton programme ou d'une app que tu as développé.

Tout ce que je dis c'est qu'avec la version qu'on utilise en ligne. le paramètre température(*) n'est pas modifiable.

(*)(ni les autres paramètres non plus)

I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#80

Message par thewild » 13 janv. 2023, 16:29

On peut définir la température sur le playground gpt 3.5, et on évite ainsi toutes mes barrières, avertissements et précautions de ChatGPT.
https://beta.openai.com/playground/p/default-chat
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#81

Message par Invité » 13 janv. 2023, 16:44

thewild a écrit : 13 janv. 2023, 16:29 On peut définir la température sur le playground gpt 3.5, et on évite ainsi toutes mes barrières, avertissements et précautions de ChatGPT.
https://beta.openai.com/playground/p/default-chat
Oui d'accord, mais text-davinci est un moins récent modèle que ChatGPT (nov 2022).

Mais intéressant à tester quand même.

I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#82

Message par thewild » 13 janv. 2023, 17:14

Je ne suis pas certain que chatgpt soit un nouveau model, tu as une référence ?
OpenAI n'est pas très clair là dessus, mais j'avais cru comprendre que c'était un sous ensemble de InstructGPT (gpt 3.5) plus pleins de règles d'affinement orientés "chat".
Il me semble que chatgpt n'a pas les 175G paramètres de gpt 3.5 notamment.
il est mieux adapté aux conversations mais bien moins bon s'il s'agit de produire de gros textes ou des textes plus complexes.
J'avais lu un article là dessus j'essaierai de le retrouver (pas depuis mon téléphone...)
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#83

Message par Invité » 13 janv. 2023, 17:46

Oui ça se ressemble assez.

Une différence c'est que ChatGPT a été entraîné avec des données textuelles choisies spécialement pour la conversation. Mais c'est dans la même lignée (on dit modèles frères). Je note que la dernière mise à jour de ChatGPT c'est le 9 janvier 2023.
ChatGPT est un modèle frère de InstructGPT, qui est entraîné à suivre une instruction dans une invite et à fournir une réponse détaillée. OpenAI indique clairement que ChatGPT est très similaire à InstructGPT, et qu'il ne diffère que par la quantité de données avec lesquelles le modèle est entraîné. InstructGPT est une version affinée de GPT3.
Je pense qu'OpenAI va sortir un produit commercial qui va intégrer tous ces modèles. Ils ont une mine d'or entre leurs mains.

I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

Avatar de l’utilisateur
Dash
Messages : 5217
Inscription : 06 mai 2009, 14:40

Re: ChatGPT

#84

Message par Dash » 13 janv. 2023, 18:03

Une mine d'or, à qui le dis-tu!!!!

Une chose est sûr, c'est que les fonctions de recherches vont changer dans le cours des prochains mois/années!

Moi j'ai juste hâte qu'il ait accès à internet!
Penser savoir est une chose, savoir penser en est une autre !

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#85

Message par thewild » 13 janv. 2023, 21:45

Le travail réalisé et le résultats sont très impressionnants.
Mais je ne peux m'empêcher de m'interroger sur la pertinence de ce genre de projets monopolisant énormément de ressources et de matière grise pour, au final,... pas grand chose.
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#86

Message par Invité » 13 janv. 2023, 22:05

Ça m'étonne que vous ne voyez pas le potentiel d'un tel outil. C'est sera du niveau de google comme impact, si je peux faire une prédiction.

I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

juliens
Messages : 195
Inscription : 08 janv. 2023, 18:51

Re: ChatGPT

#87

Message par juliens » 13 janv. 2023, 23:32

Premièrement, la question de sa consommation d'énergie est très secondaire, considérant qu'il pourrait devenir un moteur de recherche très évolué.

Deuxièmement, la question de la précision de ses réponses. Que penser si nous comparons les fausses (erreurs) informations qu'il peut générer avec ce que donnent les moteurs de recherche traditionnels comme Google? Une chose, chatGPT donne une réponse tandis que Google n'en donne aucune vraiment, il faut lire une bonne partie des liens et trouver une réponse raisonnable qui souvent peut être difficile à cerner. Comparativement, pour la personne moyenne qui cherche une réponse, quelle serait la préférence?

Troisièmement,
lorsque nous cliquons sur le bouton New Chat (en haut à la gauche) et posons une question puis obtenons une réponse, un commentaire (la question modifiée) est ajouté en dessous de ce bouton.
  • Question: Est-ce que tu donnes de la mauvaise information? --> Commentaire: Donner des informations fiables.
  • Question: Est-ce que tu traduis toujours la question en anglais? --> Commentaire: Traduction question anglaise?
  • Question: Qui suis-je? --> Commentaire: Who am I?
  • Question: Les changements climatiques sont-ils réels? --> Commentaire: Climate Change Realities
  • Question: La psychothérapie est-elle efficace? --> Commentaire: Efficacy of psychotherapy
Parfois c'est une traduction en anglais, ça arrive souvent? Il faut vérifier si c'est le cas. D'ailleurs, pourquoi ce commentaire? Est-ce la vraie question qu'il utilise?

Avatar de l’utilisateur
Christian
Messages : 5939
Inscription : 03 sept. 2003, 15:59

Re: ChatGPT

#88

Message par Christian » 14 janv. 2023, 00:53

thewild a écrit : 13 janv. 2023, 09:15 Sa mémoire est de même nature que la notre, elle réside dans les connexions entre ses neurones.
Ça semble être là où on est rendu.

À lire le fil de la discussion, j'ai l'impression d'être dans une série de science-fiction...
« I suppose it is tempting, if the only tool you have is a hammer, to treat everything as if it were a nail. »
« J'imagine qu'il est tentant, si le seul outil que vous avez est un marteau, de traiter tout problème comme si c'était un clou »

Abraham Maslow

Avatar de l’utilisateur
Dash
Messages : 5217
Inscription : 06 mai 2009, 14:40

Re: ChatGPT

#89

Message par Dash » 14 janv. 2023, 07:37

thewild a écrit : 13 janv. 2023, 09:15
Dash a écrit : 13 janv. 2023, 03:07 Le problème, c’est que toi et Invité m’avez pris au premier degré en interprétant « BDD » au sens strict alors que je l’utilise au sens « générique~commun » comme synonyme de « mémoire » parce que d’une façon ou d’une autre il doit utiliser une fonction équivalente à la « notion de mémoire » (numérique~informatique).
Alors tu ne devrais pas utiliser ce terme. Bien évidemment, à un certain niveau les paramètres de ChatGPT sont stockées dans de la mémoire informatique classique, mais le terme BDD est très mal choisi. Sa mémoire est de même nature que la notre, elle réside dans les connexions entre ses neurones. Il ne te viendrait pas à l'idée de demander à un humain combien de mots il a dans sa BDD ? […] […] Je ne dis pas que ce que tu dis est faux, je dis que tu ne dois pas utiliser ces termes car ils ne correspondent pas au fonctionnement de ChatGPT. Il n'y a rien qui interroge quoi que ce soit. Il y a le prompt en entrée et un mot en sortie, c'est tout. Enfin non évidemment ce n'est pas tout, mais cette simplification fonctionne bien.
Oui et non. Je n’utiliserai probablement pas « BDD » dans ma formulation (surtout parce qu’hors geeks d’informatique, « M. & Mme tout le monde » ne connaissent pas tous nécessairement l’acronyme « BDD »), en effet, mais dans l’idée, nous pouvons très bien imaginer que tel ou tel cerveau (dans sa « mémoire sémantique à long terme ») contient plus ou moins de mots, de concepts, notions et connaissances que tel ou tel autre cerveau. Autrement dit, au-delà de connaitre le fonctionnement dans le détail d’un cerveau et/ou d’une IA, la notion « d’emmagasinement d’information » (« bassin de données » accessible par la suite) demeure valable dans tous les cas àma. Ensuite, il ne s’agit que de formes et de mots lors de nos échanges, mais l’important, c’est la notion sous-jacente, au-delà de la forme.

Parce que sinon, même concernant l’humain, la notion de « mémoire » et/ou « d'apprentissage » (où certains se représentent de façon simpliste un « contenant » qui « contient de l’information ») n’est qu’un mot pratico-commode qui ne décrit en rien la complexité et la sophistication de comment le cerveau humain procède dans le détail (on parle habituellement de 5 systèmes mémoriels en science : mémoire de travail à court terme, mémoire sémantique et épisodique à long terme, mémoire procédurale permettant les automatismes inconscients et la mémoire perceptive, mais encore, ça n’explique rien à ce stade, faut s’enfoncer encore plus dans « la technique » pour commencer à expliquer en détail). Mais IRL, l’on ne se formalise pourtant pas d’utiliser simplement le mot « mémoire » (ou somme de connaissances formant la culture générale) pour faire référence à la notion générale d’accumulation, d’emmagasinement d’information accessible par la suite par les humains. Ben pour moi c’est pareil ici! Je veux bien abandonner le terme « BDD » parce qu’il peut en effet être confondu avec une BDD classique par ceux qui connaissent, mais le mot « mémoire » lui (et la notion d’un « bassin de données »), demeure tout à fait pertinent (conceptuellement parlant).

Nous savons que pendant son entraînement, le modèle a appris à associer différentes combinaisons de mots ou de phrases à des suites de mots ou de phrases suivantes, et que ces associations sont stockées dans la mémoire du modèle sous forme de poids et de biases. Ces poids et biases sont utilisés par le modèle pour effectuer des prédictions lorsqu'il est utilisé de différentes manières, comme pour générer du texte à partir d'un prompt ou pour effectuer des tâches de traitement du langage naturel.

Conséquemment, nous pouvons (pour vulgariser, simplifier) diviser, faire au moins 2 grandes catégories d’informations présentes dans « la mémoire » du modèle GPT :

1- Tous les mots présents dans les textes qu’il a analysés sont inscrits dans une mémoire interne, c’est un impératif! Pour moi, ce sont les « objets » (les mots),

2- d’innombrables suites et associations de (un, deux, trois, quatre, etc., etc.) mots sont « tagué » avec des valeurs, ce qui constitue des « scores statistiques » (les valeurs).

Donc autant d’innombrables « objets » que d’innombrables « valeurs de score » sont bel et bien inscrites dans une mémoire électronique. Et c’est bien pourquoi il est en mesure, P, Ex, de nous dire qu’il existe plus ou moins 150 biais cognitifs, entre autres, car pour proposer ce nombre (et pas un autre complètement erroné ou farfelu), le système « interroge » (désolé, mais au-delà de la forme et du mot, le processus, sur le fond, demeure une interrogation, une « demande », une « consultation » de ce qui est contenu en mémoire en tant qu’information, que « données » de type #1 et #2 dans sa mémoire) ses poids et biases pour arriver à la résultante que parmi toutes les suites et combinaison de mots qu’il a étudiée — en rapport avec ma question (prompt), il circonscrit 150 types de combinaisons différentes faisant sens (ou 200, selon la « température » choisie) selon ses scores statistique~probabiliste.

Mais au-delà des mots et de la forme, pour moi, cela n’est pas « intelligent » (déjà que personne ici n’a jamais été d’accord sur ce que signifie ce terme :hausse: ), dans la mesure où ça demeure une « intérrogation » d'un « bassin de données », différent d’une interrogation classique (du fait de l’exploitation de poids et de biaises basé sur des scores statistiques), mais bcp plus sophistiqué!

C’est pourquoi, dans ma représentation conceptuelle de comment le modèle procède (dans les grandes lignes, simplifié et vulgarisé, c’est obligé, je ne peux pas approfondir tous les sujets existants), je ne vois pas en quoi les notions de « mémoire », de « bassin de données » et « d’interrogation » de (accès à) cette dernière ne seraient plus présente et/ou pertinente.

C’est juste le procédé qui diffère!

Par exemple, quand je lui ai demandé de me lister tous les modèles de voiture japonaise et qu’il m’en a listé une douzaine, je conçois très bien qu’il n’a pas interrogé une structure classique de BDD où serait classé « à la dure » des modèles de voiture par pays, etc., mais 1- il a réussi à mes les lister — sans erreur — (et à ma connaissance la liste était quasi exhaustive) et 2- qu’il exploite des poids et biases pour en arriver à circonscrire 12 modèles parmi tous les noms de voiture présente en sa mémoire selon des scores statistiques (aussi en sa mémoire) tributaires d’innombrables suites et combinaisons de mots, ben ces « scores » constitue en fait son « bassin de données » au sens de « données pertinentes » en relation avec tous les « objet » (les mots) que contient sa mémoire!

Bref, pour moi, sa « "BDD" » est juste différente, étant composée de scores statistiques (préétablis lors de son learning et bel et bien inscrit en mémoire) en relation avec d’innombrables suites et combinaison de mots (eux aussi inscrits en mémoire, tout comme chaque mot individuel, eux aussi en mémoire).

Sinon, comment nommé la somme de tous ses innombrables scores statistiques auquel il a attribué des valeurs en relation avec les suites et combinaisons de mot lors de son entrainement?

:interro: :hausse:

Bref, ce qui possède une valeur (qui fait envie chez ses concurrents) dans le produit de AIOpen, c’est bien (mis à par le processus comme tel qui permet le deep learning), surtout, la résultante de sa longue phase d’apprentissage sur plusieurs années, non ?

Les valeurs statistiques attribuées aux innombrables listes et combinaisons de mots, non ?

Il s’agit donc bel et bien de « données mémorisées » puisque sinon aucun temps d’apprentissage ne serait nécessaire. Car la notion même d’apprentissage contient et implique en elle-même la notion de mémorisation d’information! Et donc d’une « somme de données » emmagasinées!

Conceptuellement, l’on n’est plus très loin d’une « base », d’un « bassin » de données au sens commun du terme. C’est juste qu’au lieu d’être « classé » par catégories (il n’y a pas de catégories ou de structure), les réponses se génèrent selon des valeurs statistiques et probabilistes attribuées à des listes et associations de mots.

Bref, conceptuellement, tout ça se tient, non ? :hausse:
Penser savoir est une chose, savoir penser en est une autre !

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#90

Message par thewild » 14 janv. 2023, 10:43

Dash a écrit : 14 janv. 2023, 07:37
Conséquemment, nous pouvons (pour vulgariser, simplifier) diviser, faire au moins 2 grandes catégories d’informations présentes dans « la mémoire » du modèle GPT :

1- Tous les mots présents dans les textes qu’il a analysés sont inscrits dans une mémoire interne, c’est un impératif! Pour moi, ce sont les « objets » (les mots),

2- d’innombrables suites et associations de (un, deux, trois, quatre, etc., etc.) mots sont « tagué » avec des valeurs, ce qui constitue des « scores statistiques » (les valeurs).

1. Pas du tout. Il y a un niveau d'abstraction que la vision "informatique traditionnelle" ne peut pas saisir.
2. Encore une fois, ce n'est pas du tout tout comme cela que je ça fonctionne.
P, Ex, de nous dire qu’il existe plus ou moins 150 biais cognitifs, entre autres, car pour proposer ce nombre (et pas un autre complètement erroné ou farfelu), le système « interroge » (désolé, mais au-delà de la forme et du mot, le processus, sur le fond, demeure une interrogation, une « demande », une « consultation » de ce qui est contenu en mémoire en tant qu’information, que « données » de type #1 et #2 dans sa mémoire) ses poids et biases pour arriver à la résultante que parmi toutes les suites et combinaison de mots qu’il a étudiée — en rapport avec ma question (prompt), il circonscrit 150 types de combinaisons différentes faisant sens (ou 200, selon la « température » choisie) selon ses scores statistique~probabiliste.
Non ! Le mot "150" est le mot le plus probable dans ce contexte, c'est tout !
Il n'y a aucune interrogation de #1 et #2 qui n'existent d'ailleurs pas.
Je maintiens que ta formulation des choses t'empêches de comprendre comment il fonctionne réellement.
les réponses se génèrent selon des valeurs statistiques et probabilistes attribuées à des listes et associations de mots
Non. Il n'y a rien de tel que des listes et associations de mots dans le modèle. Pas plus que dans ton cerveau.
Dernière modification par thewild le 14 janv. 2023, 10:47, modifié 1 fois.
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#91

Message par thewild » 14 janv. 2023, 10:45

Invité a écrit : 13 janv. 2023, 22:05 Ça m'étonne que vous ne voyez pas le potentiel d'un tel outil. C'est sera du niveau de google comme impact, si je peux faire une prédiction.
Je le vois très bien. Je fais simplement un pont avec les discussions sur l'urgence climatique. On continue la fuite en avant.
Google n'était déjà probablement déjà pas ce dont la société avait besoin il y a 20 ans.
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Etienne Beauman
Messages : 6881
Inscription : 20 févr. 2011, 18:59

Re: ChatGPT

#92

Message par Etienne Beauman » 14 janv. 2023, 12:58

thewild a écrit : 14 janv. 2023, 10:43 Le mot "150" est le mot le plus probable dans ce contexte, c'est tout !
Le plus probable par rapport à quoi ?

Quand je lui demande combien il y a d'atouts au tarot, il me répond 21. Ce chiffre il l'obtient comment ?
Soit il a stocké l'info. Soit il l'estime. Je voie pas d'autres possibilités.

Dans le cas du tarot, je croie volontiers qu'il a stocké l'info.

Mais dans le cas des biais cognitifs c'est peu probable ou alors la valeur qu'il a en mémoire est fausse.

Il fait probablement une estimation, mais il sort pas le nombre au pif.

Il faut donc bien qu'il soit capable de lister les biais cognitifs pour les compter, ou alors quoi ?
S'il est capable de lister les biais cognitif c'est bien qu'il a une façon d'associer un biais cognitif à une catégorie "biais cognitif", appelé ça un tag ou autre chose c'est juste du vocabulaire. Les catégories comme voiture, maison, animaux sont des abstraction. Et des sous catégories comme Renault, villa chat en sont aussi mais il y a bien des liens associatif entre eux, que ce ne soit pas des associations relationnelles comme dans les bases de données ok, que ce ne soit pas des association d'héritage comme en programmation orienté objet ok, appelle ça association neuronale ou un terme encore plus adéquat. Il reste que pour répondre à une question il sort pas juste une réponse probable, il y a un traitement, qu'il soit capable de lister des choses nécessite qu'il ait établit une correspondance entre ces choses et un lien qui les réunit dans un concept englobant, non ?

Quand mon cerveau estime le nombre de concert que j'ai pu faire , il estime quoi sinon le nombre d'évènement qu'il catégorise comme "concert" auquel il associe un souvenir de ma présence physique ?
Que "concert" ne soit pas stocké sous forme de mot + définition, je veux bien, n'empêche que pour établir une liste il faut bien que chaque élément de la liste à établir soit associable d'une manière ou d'une autre au concept de concert.

:hausse:
Au royaume des cyclopes, les borgnes sont aveugles.
Is this a discussion?

thewild
Messages : 3301
Inscription : 09 août 2016, 16:43

Re: ChatGPT

#93

Message par thewild » 14 janv. 2023, 13:40

Etienne Beauman a écrit : 14 janv. 2023, 12:58 Soit il a stocké l'info. Soit il l'estime. Je voie pas d'autres possibilités.

Si tu le dis comme ça... La formulation n'est simplement pas très pertinente.
Tu pourras toujours retomber sur tes pattes comme Dash en disant qu'il n'y a pas d'autre possibilité, mais parler de stockage d'information dans ce cas ça empêche simplement de comprendre le mécanisme. Ce n'est pas que c'est faux, c'est que ce n'est pas approprié.
Prends un réseau de neurones qui reconnaît des chiffres. Regarde les interconnexions et le poids de chacune. Tu ne verras rien. Pourtant on peut effectivement dire qu'il a stocké le rapport entre la forme d'un nombre et le nombre lui même, mais ce n'est pas un vocabulaire qui permet de saisir le fonctionnement du processus.
Alors oui, tu pourras dire que tu n'avais pas tort en disant cela, mais si tube l'exprimes ainsi tu ne saisis pas bien le concept.
Il fait probablement une estimation, mais il sort pas le nombre au pif.
C'était n'est pas un nombre mais un mot, et non ce n'est pas au pif en effet.

Que "concert" ne soit pas stocké sous forme de mot + définition, je veux bien, n'empêche que pour établir une liste il faut bien que chaque élément de la liste à établir soit associable d'une manière ou d'une autre au concept de concert
Oui, absolument.
Mais parce que "d'une façon ou d'une autre" ça englobe tout.
Je rappelle que tout ce qu'il fait c'est trouver le meilleur mot qui suit ceux qui précédent. Il ne fait réellement que ça, et j'insiste que c'est important de garder ça en tête pour saisir son mode de fonctionnement. Sinon on lui attribue des capacités ou des propriétés qu'il n'a pas.
"Assurons nous bien du fait, avant de nous inquiéter de la cause." Bernard Le Bouyer de Fontenelle

"Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves." Pierre Simon Laplace

Avatar de l’utilisateur
Dash
Messages : 5217
Inscription : 06 mai 2009, 14:40

Re: ChatGPT

#94

Message par Dash » 14 janv. 2023, 15:25

Etienne Beauman a écrit : 14 janv. 2023, 12:58
thewild a écrit : 14 janv. 2023, 10:43 Le mot "150" est le mot le plus probable dans ce contexte, c'est tout !
Le plus probable par rapport à quoi ?

Quand je lui demande combien il y a d'atouts au tarot, il me répond 21. Ce chiffre il l'obtient comment ? Soit il a stocké l'info. Soit il l'estime. Je voie pas d'autres possibilités. [...] Il fait probablement une estimation, mais il sort pas le nombre au pif [...] S'il est capable de lister les biais cognitif c'est bien qu'il a une façon d'associer un biais cognitif à une catégorie "biais cognitif", appelé ça un tag ou autre chose c'est juste du vocabulaire [...] Il reste que pour répondre à une question il sort pas juste une réponse probable, il y a un traitement, qu'il soit capable de lister des choses nécessite qu'il ait établit une correspondance entre ces choses et un lien qui les réunit dans un concept englobant, non ? [...] Quand mon cerveau estime le nombre de concert que j'ai pu faire , il estime quoi sinon le nombre d'évènement qu'il catégorise comme "concert" auquel il associe un souvenir de ma présence physique ? Que "concert" ne soit pas stocké sous forme de mot + définition, je veux bien, n'empêche que pour établir une liste il faut bien que chaque élément de la liste à établir soit associable d'une manière ou d'une autre au concept de concert.

:hausse:
Idem! C'est exactement l'essentiel que je veux partager et tu effectues exactement les mêmes réflexions que moi! ;)
Penser savoir est une chose, savoir penser en est une autre !

Avatar de l’utilisateur
Dash
Messages : 5217
Inscription : 06 mai 2009, 14:40

Re: ChatGPT

#95

Message par Dash » 14 janv. 2023, 16:28

thewild a écrit : 14 janv. 2023, 13:40
Etienne Beauman a écrit : 14 janv. 2023, 12:58 Soit il a stocké l'info. Soit il l'estime. Je voie pas d'autres possibilités.

Si tu le dis comme ça... La formulation n'est simplement pas très pertinente.
Tu pourras toujours retomber sur tes pattes comme Dash en disant qu'il n'y a pas d'autre possibilité, mais parler de stockage d'information dans ce cas ça empêche simplement de comprendre le mécanisme. Ce n'est pas que c'est faux, c'est que ce n'est pas approprié.
Ok, mais en l'absence d'explications plus « pointus » que ni toi, ni Invité, ni quiconque d'autres ne fournissez ici, comme toute autre « vulgarisation », si ce que moi et Étienne disons n'est pas faux (c'est toi qui le précises), c'est que ça fait le job. Sinon, si vous ne faites que prétendre que ce n'est pas ça, mais sans expliquer pourquoi et comment (dans le détails), vos propos deviennent analogue à l'approche de certains « zozos » qui prétendent que des trucs existent, mais qu'ils ne peuvent nous expliquer pourquoi parce que nous ne serions pas en mesure de comprendre parce que n'ayant pas vécu bla-bla-bla. :?
thewild a écrit : 14 janv. 2023, 13:40Prends un réseau de neurones qui reconnaît des chiffres. Regarde les interconnexions et le poids de chacune. Tu ne verras rien.

Euh, oui. D'accord. Mais idem si j'ouvre un HDD (ou toute autre forme de mémoire électronique/biologique). L'on ne verra jamais de « catégories » et/ou de mots comme tels si l'on ouvre un cerveau au scalpel et/ou si l'on observe des scans. Je ne vois pas le rapport. Comme le dit Étienne, il reste que quand il veut estimer le nombre de concerts qu'il a déjà fait, les souvenirs de tous ceux qu'il a donnés sont bel et bien présents, d'une façon ou d'une autre, dans son « esprit » (cerveau).
thewild a écrit : 14 janv. 2023, 13:40Pourtant on peut effectivement dire qu'il a stocké le rapport entre la forme d'un nombre et le nombre lui même, mais ce n'est pas un vocabulaire qui permet de saisir le fonctionnement du processus.

Dans le détail, non, mais n'est-ce pas de même pour un peu (presque) tout (ce qui est complexe) dans la vie? L'important c'est si nos représentations conceptuelles nous permettent de comprendre les grandes lignes et/ou (surtout en science) de « prédire » et d'estimer des trucs. Non?
thewild a écrit : 14 janv. 2023, 13:40Alors oui, tu pourras dire que tu n'avais pas tort en disant cela, mais si tube l'exprimes ainsi tu ne saisis pas bien le concept.
Mais en quoi tu le saisirais bcp plus « bien~mieux » que moi et Étienne alors ? Si tu dis que ce que nous disons n'est pas faux, il ne s'agit alors surtout que de terminologie.
thewild a écrit : 14 janv. 2023, 13:40
EB a écrit :Il fait probablement une estimation, mais il sort pas le nombre au pif.
C'était n'est pas un nombre mais un mot, et non ce n'est pas au pif en effet.

Contrairement à ce que tu penses, je comprends... ..Il ne calcul pas un nombre en comptant le nombre de biais, la suite de chiffres « 150 » ou « 200 » est une probabilité statistique qui ressort lorsqu'en combinaison avec d'autres suites de mots, genre « nombre de biais? » (en prompt), etc. Sauf que comme je le mentionne et le « prétend », ça revient strictement au même en termes de résultante, c'est juste que le procédé diffère!

Par exemple, prenons un truc simple, comme prompt~question : « combien existe-t-il de couleurs primaires? À cela il me répond » :
ChatGPT a écrit : Il existe trois couleurs primaires: rouge, bleu et jaune. Ces couleurs ne peuvent pas être créées en mélangeant d'autres couleurs et sont utilisées comme base pour la création de toutes les autres couleurs.
Je saisis parfaitement qu’il ne fait pas du tout un décompte de couleurs qui serait inscrit (dans une catégorie « couleur ») dans sa mémoire. Je comprends, je suis d’accord. ;) Il ne décompte pas et il n’existe pas de catégorie « couleur », ni aucune autres. ;) C’est bon, est-ce que tu comprends que je comprends ?

Par contre, pour me répondre « Il existe trois couleurs primaires » et me les nommer, il procède par estimation en fonction des relations entre les combinaisons de lettres (formant des mots) de ma question et des combinaisons similaires, sous forme de « réponse » cette fois, tributaire des innombrables observations qu’il a effectuées lors de son analyse (learning) du corpus qu’on lui a fourni. Mais ce « poids » qui lui permet d’effectuer cette estimation est, lui, bel et bien inscrit en mémoire et c’est ce « poids » qui détermine la valeur statistique de prédictibilité! C’est donc ça son « bassin de données » (tous ses poids et biaises) dont est tributaires ses réponses.

Maintenant, dire « qu’il interroge » ses poids pour estimer quelle suite de mots nous fournir comme réponse, je ne vois pas en quoi c’est problématique puisque le terme « interroger » ne signifie, qu’en termes de notion, qu’une « requête » en vue d’obtenir un résultat! Et c’est bel et bien ce que l’IA effectue! Ses poids et biaises génèrent des estimations selon les prompt~questions! :hausse:

Dans le principe, ça m'apparait suffisant pour saisir les grandes lignes (je ne désire pas et n'ai pas le temps de devenir un expert en deep learning)
thewild a écrit : 14 janv. 2023, 13:40Je rappelle que tout ce qu'il fait c'est trouver le meilleur mot qui suit ceux qui précédent. Il ne fait réellement que ça, et j'insiste que c'est important de garder ça en tête pour saisir son mode de fonctionnement. Sinon on lui attribue des capacités ou des propriétés qu'il n'a pas.
Mais je ne comprends pas pourquoi tu crois que je ne comprends pas cela. :interro:
Penser savoir est une chose, savoir penser en est une autre !

Avatar de l’utilisateur
MaisBienSur
Messages : 6117
Inscription : 13 sept. 2012, 16:43

Re: ChatGPT

#96

Message par MaisBienSur » 14 janv. 2023, 17:41

thewild a écrit : 13 janv. 2023, 09:15 Si par exemple on lui demande "Quels sont les pays d'Europe ayant la lettre a dans leur nom ?", il répond :
"Les pays d'Europe ayant la lettre "a" dans leur nom sont : Albanie, Allemagne, Autriche, Espagne, France, Grèce, Pays-Bas, Portugal." :grimace:
On voit bien dans ce genre de réponse qu'il n'est pas capable de réaliser un vrai raisonnement logique. La liste est simplement fausse (il y a des pays qui manquent et d'autres qui ne devraient pas y être).
Tout ça pour insister sur le fait qu'il ne faut pas utiliser le lexique de la programmation ou de l'informatique classique ("accès", "bdd", "mémoire", "interroger", ...) pour décrire le fonctionnement d'une IA, car elle ne fonctionne simplement pas comme un programme informatique.
Oui, certaines réponses sont plus que surprenantes, pour ne pas dire décevantes :?

Q . Quels sont les légumes qui commencent par la lettre m

R .
la mandarine
la melon
la mâche
la morelle
la myrtille (souvent considérée comme un fruit)
le maïs
le melon d'eau
le mélange de légumes (ex: ratatouille)
le radis noir
le navet
le mizuna (plante cultivée comme légume)
le moutarde (plante cultivée pour ses feuilles)
le potimarron
le maca (root vegetable)


(et le mélange entre fruits et légumes :roll: )
Et la marmotte, elle met le chocolat dans le papier d'alu.

Avant, j'étais indécis, maintenant je n'en suis plus très sûr...

Les marmottes qui pissent au lit passent un sale hiver (Philippe Vuillemin)

Avatar de l’utilisateur
MaisBienSur
Messages : 6117
Inscription : 13 sept. 2012, 16:43

Re: ChatGPT

#97

Message par MaisBienSur » 14 janv. 2023, 17:46

Dans la même veine (en pire):

Q . Quels sont les fruits qui commencent par la lettre e

R .
l'épine-vinette (fruit de l'épine-vinette)
l'églantier (fruit de l'églantier)
l'épine-noire (fruit de l'épine-noire)
l'épine-vinette (fruit de l'épine-vinette)
l'énorme (fruit de l'énorme)
l'écorce (fruit de l'écorce)
l'épine-vinette (fruit de l'épine-vinette)
l'épine-vinette (fruit de l'épine-vinette)
l'épine-vinette (fruit de l'épine-vinette)
l'épine-vinette (fruit de l'épine-vinette)
Il est important de noter que je n'ai pas de fruits qui commencent par la lettre "e" dans mes références, je suis désolé si cela a causé de confusion.


Il parait particulièrement fan de l'épine-vinette :lol:
Et la marmotte, elle met le chocolat dans le papier d'alu.

Avant, j'étais indécis, maintenant je n'en suis plus très sûr...

Les marmottes qui pissent au lit passent un sale hiver (Philippe Vuillemin)

Avatar de l’utilisateur
LoutredeMer
Messages : 9014
Inscription : 30 juil. 2008, 23:34

Re: ChatGPT

#98

Message par LoutredeMer » 14 janv. 2023, 18:26

:a2:

Si c'est un Chat, il n'est pas vraiment conçu pour faire des listes... C'est effectivement là qu'on peut voir ama qu'il n'y a pas de base de données dans le sens classique du terme.
"Par le saumon qui se meut!.. I want my food!.. Slice me tender"..

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#99

Message par Invité » 14 janv. 2023, 18:26

MaisBienSur a écrit : 14 janv. 2023, 17:41
Oui, certaines réponses sont plus que surprenantes, pour ne pas dire décevantes :?
Il faut indiquer qu'il y a des erreurs (pouce vers le bas), c'est comme ça que le modèle va s'améliorer.

I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

Avatar de l’utilisateur
Invité
Messages : 4757
Inscription : 16 janv. 2004, 17:47

Re: ChatGPT

#100

Message par Invité » 14 janv. 2023, 19:23

Center for Research on Foundation Models (CRFM) at the Stanford Institute for Human-Centered Artificial Intelligence. [BERT, DALL-E, GPT-3 a écrit :
Nous ne comprenons pas clairement comment ils fonctionnent, quand ils échouent et ce dont ils sont capables en raison de leurs propriétés émergentes.

We currently lack a clear understanding of how they work, when they fail, and what they are even capable of due to their emergent properties
https://arxiv.org/abs/2108.07258


I.
"Whatever intelligence is, it can't be intelligent all the way down. It's just dumb stuff at the bottom." [Andy Clark]

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit