ChatGPT

[Dash]

Je dois dire que mon intérêt n' pas été de chercher à le « prendre en défaut » et que 95% des réponses que j'ai eu étaient très utiles et pertinentes (et ~100% pour le code Python).

I.

En effet, pour du code, c'est vraiment top! En fait, pour tout ce qui concerne de l'info "standard", sans vouloir le prendre en defaut, ça fonctionne du feu de dieu!! ;-)

[Invité]

J'aime tester les limites, essayer de prendre en défaut. Parce que justement ChatGPT mérite qu'on lui fasse cet honneur. En plus ça nous permet d'éviter d'avoir une réponse non pertinente car hors champs de ses compétences lorsqu’on les connait par ce biais.

Ils sont en mode expérimental. Ses « compétences » vont changer de version en version.

Mais c'est bien correct si ça vous amuse de « tester ses limites », mais la semaine prochaine ces tests risquent d'être sans objet. Par contre cliquer sur le pouce vers le haut/bas ça peut effectivement aider les chercheurs.

I.

[Dash]

Monsieur Phi qui fait une critique de ChatGPT (la meilleure vidéo de YouTuber sur le sujet àma) :

De quoi ChatGPT est-il VRAIMENT capable ?

Il en arrive à peu près aux mêmes conclusions que nous tous, à savoir que l’on peut le faire se contredire, parfois certaines infos sont inexactes ou carrément fausse, etc. Par contre je trouve qu’il exagère un tantinet quand il parle de sa capacité d’analyse, car s’il est vrai qu’il procède par prédiction (de mots), n’empêche qu’il est en mesure (en termes de résultante) d’analyser du texte, du code et de souligner des erreurs, etc.

[Invité]

Un professeur d'astrophysique de l'Université Columbia fait passer son examen final à chatGPT.

https://youtu.be/K0cmmKPklp4

I.

[Invité]

Monsieur Phi qui fait une critique de ChatGPT (la meilleure vidéo de YouTuber sur le sujet àma) :

De quoi ChatGPT est-il VRAIMENT capable ?

Il en arrive à peu près aux mêmes conclusions que nous tous, à savoir que l’on peut le faire se contredire, parfois certaines infos sont inexactes ou carrément fausse, etc.

Ses erreurs peuvent s'expliquer, entre autre, par le fait que, « par design » il ne prend pas toujours le choix avec la plus haute probabilité. On s'est rendu compte que s'il prenait la choix avec le plus haute probabilité qu'il perdait un peu de « naturel ».

Le paramètre « température » permet de contrôler cette injection de bruit aléatoire.

I.

[PhD Smith]

Déjà parlé ici, mais sur "Yahoo Actualités", un article sur l'utilisation de ChatGPT par les étudiants:
https://fr.news.yahoo.com/chat-gpt-etud ... 14436.html

Un enseignant en handicapologie de l'Université de Lyon a constaté de curieuses similitudes en corrigeant les copies de ses étudiants en Master. Et pour cause...

Une nouvelle forme de triche apparemment de plus en plus répandue. Un professeur en handicapologie du nom de Stéphane Bonvallet, exerçant dans une université lyonnaise, s'est récemment retrouvé face à un cas de figure pour le moins déstabilisant au moment de corriger les devoirs à la maison rendus par ses étudiants en Master sur le thème "les grands traits de l’approche médicale du handicap en Europe".

Comme le rapporte BFMTV, qui s'appuie sur des informations du Progrès, l'enseignant a ainsi remarqué "une construction identique, des arguments se ressemblant, mais sans jamais tourner au plagiat" dans la moitié des copies. Interloqué, il a cherché à comprendre l'origine de ces similitudes en interrogeant l'une de ses élèves. Celle-ci lui a alors avoué que les étudiants concernés avaient eu recours au même outil pour rédiger le devoir.

Faute de précédent, l'enseignant contraint de noter les copies

Plus précisément, la jeune femme a expliqué que 7 des 14 élèves de cette classe de Master avaient utilisé l'application Chat GPT, prototype d'agent conversationnel particulièrement en vogue en ce moment. Les étudiants en question s'étaient contentés de recopier ce qu'avait répondu l'intelligence artificielle en réponse à des questions reprenant l'intitulé du sujet.

"N’ayant pas de cadre interdisant actuellement cette pratique, j’ai été contraint de les noter", révèle cependant Stéphane Bonvallet. Forcément embêté par la situation, l'enseignant a finalement décidé d'attribuer un 11,75 à chacune des sept copies concernées.

Une pratique problématique... et de plus en plus répandue

D'après le témoignage du professeur, il est cependant loin de s'agir d'un cas isolé. BFMTV indique ainsi que les "trois quarts" de ses collègues auraient constaté des bizarreries de ce type dans certains devoirs ces dernières semaines. Les lycées seraient particulièrement touchés par cette nouvelle façon de tricher, sur laquelle les autorités scolaires et universitaires n'ont pas encore statué.

Au-delà de la stricte question de la validité des notes obtenues de cette manière, se pose aussi celle de ce que les élèves en retiennent. "Cette pratique m’inquiète, affirme Stéphane Bonvallet. Elle pose un véritable problème d’intégration des savoirs, car les élèves n’ont plus besoin d’effectuer la moindre recherche pour composer."

BFM rapporte que ChatGPT est interdit d'usage pour les étudiants des states:
https://www.bfmtv.com/tech/a-lyon-des-e ... 10260.html

Aux Etats-Unis, les écoles ont déjà tranché. L’usage de ChatGPT a été interdit dans les établissements new-yorkais. Là encore, les effets négatifs sur l’apprentissage sont pointés du doigt. Capable de générer à peu près n’importe quoi, des devoirs scolaires aux histoires drôles en passant par les recettes de cuisine, le corps enseignant s’inquiète surtout de l’exactitude des contenus générés. Depuis son lancement, plusieurs utilisateurs se sont rendus compte que les textes de ChatGPT pouvaient contenir des fausses informations et des explications trompeuses.

L'émission de France Culture "Soft Power" parle de Chat GPT à la 20è mn:
https://www.radiofrance.fr/francecultur ... 23-3422755
Quelques observations: la start-up veut obtenir un financement de 29 milliards de $ sans rien vendre. Microsoft a investi 1 milliard de $ pour l'intégrer à Bing, son moteur de recherche, ce qui concurrencerait Google. Et c'est très énergétivore, d'après l'un des intervenants, l'IA a besoin d'une tranche d'une centrale nucléaire pendant 4 heures pour fournir les réponses. Est-ce écologique ?

Le calcul de l'énergie consommée: https://www.theregister.com/2020/11/04/ ... _estimate/

Training OpenAI’s giant GPT-3 text-generating model is akin to driving a car to the Moon and back, computer scientists reckon.

More specifically, they estimated teaching the neural super-network in a Microsoft data center using Nvidia GPUs required roughly 190,000 kWh, which using the average carbon intensity of America would have produced 85,000 kg of CO2 equivalents, the same amount produced by a new car in Europe driving 700,000 km, or 435,000 miles, which is about twice the distance between Earth and the Moon, some 480,000 miles. Phew.

Sur "7 sur 7" de Belgique: https://www.7sur7.be/tech/lintelligence ... gle.com%2F

“Si, notamment en ce qui concerne la consommation d’énergie. Des scientifiques danois ont calculé que l’’entraînement’ de ChatGPT émettait autant de CO2 qu’une voiture faisant l’aller-retour vers la lune. Compte tenu du réchauffement climatique, on peut se demander s’il est responsable de rédiger son essai en utilisant ChatGPT.”

“On peut aussi se poser la question de la confidentialité. Le projet est en phase de test, mais le modèle devient de plus en plus intelligent grâce aux millions de personnes qui utilisent l’outil. Et on ne sait pas ce qu’il advient exactement de cette masse de données”, conclut Jeroen Baert.

[Invité]

“Si, notamment en ce qui concerne la consommation d’énergie. Des scientifiques danois ont calculé que l’’entraînement’ de ChatGPT émettait autant de CO2 qu’une voiture faisant l’aller-retour vers la lune. Compte tenu du réchauffement climatique, on peut se demander s’il est responsable de rédiger son essai en utilisant ChatGPT.”.

Ils ne comprennent pas comment ça fonctionne. Le système est entraîné (pour le bâtir) « avant » de le déployer et c'est cette étape qui est très énergivore.

Rédiger un essai ne demande pas un ré-entraînement et la simple utilisation du système n'est pas énergivore.

Et une fois entraîné, ça pourra fonctionner sur un téléphone ou un ordinateur portable.

I.

[Lambert85]

C'est énergivore, l'argument moisi à la mode !

[thewild]

Aussi, presque impossible de lui faire dire combien de quoi que ce soit sa BDD comporte. Et pour ça, je suspecte qu’il est expressément « bridé » et/ou que la fonction a été exclue intentionnellement.

[...]

il n’est pas en mesure, par contre, de nous « dévoiler » le nombre de tel ou tel « trucs » que contient sa base de données. Par exemple combien d’études concernant tel ou tel sujet possède-t-il ou, encore, combien de biais cognitifs sont présent dans sa basse de donnée, etc. Par contre, il sera en mesure de dire combien il y en a de répertoriés selon les sciences cognitives.

Je crois que tu te méprends sur ce qu'est ChatGPT. C'est un modèle prédictif de langage basé exclusivement sur un réseau de neurones artificiels.
Il n'a pas de base de données, il n'utilise ce terme dans ses réponses que parce qu'il correspond au sens qu'il prédit qu'il doit donner à sa réponse.
Il n'y a donc pas de réponse à la question "combien d'études concernant tel ou tel sujet possède-t-il". Il lui a été fourni un certain nombre d'études lors de sa phase d'apprentissage et ce nombre ne se trouve nulle part dans le modèle.

La seule chose que fait ChatGPT, et c'est la clé pour comprendre ce qu'il est réellement, c'est de prédire le meilleur mot à mettre à la suite de ceux qui précèdent. C'est tout !
Le "prompt" (la question), sert à amorcer le processus. Ensuite, il ne fait que construire mot-à-mot une réponse cohérente, sans jamais interroger aucune base de données ni faire aucun calcul (d'où ses "erreurs" de calcul).

Quand onlui pose des questions à ce sujet, il dit être en mesure de s’améliorer par lui-même et de « s’auto-corriger », de tenir comptes des précédents échanges avec tous ses utilisateurs.

Il n'est pas en mesure de faire cela. Sa "mémoire" se limite à la session en cours. Il oublie tout de ses échanges avec les utilisateurs une fois la session terminée.
Qu'il le dise ne change rien, ce n'est qu'un robot de prédiction de mot !

Sauf que, manifestement, même après son échange avec Invité, il n’a pas su me répondre qu’il comprenait la blague alors que je lui ai pourtant posé exactement et précisément la même question qu’Invité (j’ai copié/collé la même question).

Que doit-on en conclure?

Je pense avoir répondu : ce n'est qu'un modèle de langage qui prédit le meilleur mot qui suivra ceux qui précèdent. De ce modèle découlé la phrase

Bon, j'aurais du finir de lire l'enfilade car Invité avait déjà répondu sur ce point, mais pour enfoncer un peu plus le clou :

Bon, je lui ai posé la question (notez les passages en orange dans ses réponses) :

Q- Mon ami qui se nomme « Invité » me dit ceci et je veux savoir si c’est exact? : « Le modèle "Generative Pre-trained Transformer" ne comporte pas de base de données. Des bases de données ont servi "durant sa phase d'entrainement", mais elles ne font pas partie du modèle une fois que l'entrainement est complété et qu'il est en mode exécution. »

La réponse qu'il va donner à cette question est simplement la suite des mot obtenant le meilleur score statistique d'après le modèle. C'est tout. Elle n'a rien à voir avec une quelconque vérité, ni aucune correspondance avec une réalité concernant son fonctionnement interne. Ce n'est que la suite de mot obtenant le meilleur score.
Et en effet les résultats son extraordinaires, mais il est bon de toujours se remémorer ce qu'est réellement ChatGPT lorsqu'on interagit avec lui.

[Invité]

La seule chose que fait ChatGPT, et c'est la clé pour comprendre ce qu'il est réellement, c'est de prédire le meilleur mot à mettre à la suite de ceux qui précèdent. C'est tout !
[...]
La réponse qu'il va donner à cette question est simplement la suite des mot obtenant le meilleur score statistique d'après le modèle. C'est tout.

Tu as raison, avec la nuance qu'il ne choisit pas toujours le meilleur mot (le mot auquel il accorde la plus grande probabilité), c'est parfois le 2e ou 3e plus probable(*).

On peut ajuster cette valeur d'injection « d'aléatoirité » dans ces modèles avec le paramètre « température ».

(*) (la raison de ceci, est expliqué dans un de mes messages précédent)

I.

[Invité]

C'est certain qu'on peut dire que « tout ce que fait« ChatGPT c'est de prédire le prochain mot le plus probable (à la nuance près dont j'ai parlé plus haut).

Techniquement c'est pas faux.

Reste que sans tomber dans l'anthropomorphisme, on voit des « propriétés émergentes » étonnantes jaillir de ces modèles.

I.

[Etienne Beauman]

sans jamais interroger aucune base de données

Moi :
Tu connais Verlaine ?

ChatGPT :
Oui, je connais Paul Verlaine. Il était un poète français et un représentant important de la poésie symboliste française. Il est surtout connu pour son recueil de poèmes "Les Poètes maudits" et pour son amitié et sa liaison avec Arthur Rimbaud.

Moi :
Recites moi un de ces poèmes.

ChatGPT :
Je suis désolé, je ne peux pas réciter un poème de Paul Verlaine de mémoire. Cependant, je peux vous donner un exemple de l'un de ses poèmes les plus connus.
Voici le poème "Chanson d'automne" :

Les sanglots longs
Des violons
De l'automne
Blessent mon cœur
D'une langueur
Monotone.

Tout suffocant
Et blême, quand
Sonne l'heure,
Je me souviens
Des jours anciens
Et je pleure;

Et je m'en vais
Au vent mauvais
Qui m'emporte
Deçà, delà,
Pareil à la
Feuille morte.


_____________

S'il a pas interrogé une base de données, il les sort d'où ces infos ?

[Etienne Beauman]

Suite...

Moi :
Si tu ne le connais pas de mémoire, comment en as tu connaissance ?

ChatGPT :
En tant que modèle de traitement du langage, j'ai accès à une grande quantité de textes, y compris les poèmes de Paul Verlaine. Je peux utiliser ces textes pour comprendre et générer des phrases et des idées, mais je ne peux pas stocker toutes les informations de mémoire comme un être humain le ferait. C'est pourquoi je peux vous donner des informations sur Paul Verlaine et son poème "Chanson d'automne" mais je ne peux pas le réciter de mémoire.

Moi :
Ces textes sont stockés dans une base de données ?

ChatGPT :
Oui, les textes utilisés pour entraîner les modèles de traitement du langage tels que moi sont stockés dans une base de données. Ces bases de données sont constituées de milliards de phrases et de documents provenant de différentes sources, comme des articles de journaux, des livres, des pages web, etc. Les modèles de traitement du langage comme moi sont entraînés sur ces données pour apprendre à comprendre et à générer le langage naturel.


_______________
Alors je sais bien qu'il raconte parfois n'importe quoi, mais c'est l'explication la plus vraisemblable à laquelle je m'attendais. Je voie pas trop comment il pourrait opérer autrement, à moins de stocker toutes ces informations dans son réseau de neurone ce qui le ferait en quelques sorte réciter de mémoire, mais dans ce cas, pourquoi il dirait explicitement le contraire ?

[Invité]

sans jamais interroger aucune base de données

Il a une quantité astronomique d'information dans ses 195 milliards de paramètres. ça ne signifie pas que cette information est sous le format d'une base de donnée.

Je suis un modèle de traitement du langage formé sur des millions de textes, y compris des poèmes comme "Chanson d'automne" de Verlaine. J'ai été entraîné pour comprendre et produire du langage de manière autonome, donc je peux me rappeler et réciter des poèmes que j'ai vus lors de mon entraînement.

S'il a pas interrogé une base de données, il les sort d'où ces infos ?

Il a utilisée des bases données « pour s'entraîner ».

Il n'utilise pas de base de données quand on l'interroge.

I.

[Etienne Beauman]

Moi :
Dans une autre conversation, tu as dit : "Je suis un modèle de traitement du langage formé sur des millions de textes, y compris des poèmes comme "Chanson d'automne" de Verlaine. J'ai été entraîné pour comprendre et produire du langage de manière autonome, donc je peux me rappeler et réciter des poèmes que j'ai vus lors de mon entraînement."

lui :
Je suis désolé pour la confusion, en tant que modèle de traitement du langage, j'ai été entraîné sur des millions de textes y compris des poèmes comme "Chanson d'automne" de Verlaine. J'ai la capacité de me rappeler de certains textes vus lors de mon entraînement et de les réciter, mais cela dépend de la complexité et de la longueur du texte, et de mon niveau de familiarité avec celui-ci. Dans certains cas, je peux réciter des poèmes entiers, dans d'autres cas, je peux seulement en citer des parties. Cependant, je n'ai pas la capacité de me rappeler de conversations passées avec les utilisateurs. Je suis désolé pour toute confusion que cela a pu causer.



Moi :
Le poème de Verlaine tu t'en es rappelé ou tu as consulté une base de donnée ?

lui :
En tant que modèle de traitement du langage, j'ai accès à une grande quantité de textes, y compris les poèmes de Paul Verlaine. Lorsque vous m'avez demandé de vous donner un exemple d'un poème de Verlaine, j'ai utilisé les connaissances acquises lors de mon entraînement pour vous fournir le poème "Chanson d'automne". Cela signifie que j'ai accédé à la base de données de textes sur laquelle j'ai été entraîné pour récupérer le poème et vous le réciter.

[Invité]

J'en perd mon latin. C'est quoi une base de donnée abstraite ??

Q: Le texte du poème de Verlaine, y as-tu accès à partir d'une base de donnée ou si cette information est contenu dans tes 195 milliards de paramètres ?

Le texte des poèmes, y compris "Chanson d'automne" de Verlaine, est contenu dans les données sur lesquelles j'ai été entraîné. Ces données ont été utilisées pour me permettre de comprendre et de produire du langage de manière autonome, donc je peux me rappeler et réciter des poèmes que j'ai vus lors de mon entraînement. Cependant, ces informations ne sont pas stockées dans mes 195 milliards de paramètres, mais plutôt dans la base de donnée sur laquelle j'ai été entraîné.


Q: Si tu n'as pas accès à la base de donnée externe sur laquelle tu as été entraîné où se trouve actuellement cette information, dans une base de donnée externe ou dans tes milliards de paramètres ?

Si je n'ai pas accès à la base de données externe sur laquelle j'ai été entraîné, je ne peux pas accéder aux textes des poèmes comme "Chanson d'automne" de Verlaine. Les informations qui me permettent de comprendre et de produire du langage de manière autonome sont stockées dans mes 195 milliards de paramètres. Cependant, ces paramètres ne contiennent pas la totalité des données sur lesquelles j'ai été entraîné, mais plutôt une représentation compacte et abstraite de ces données qui me permet de générer du texte en utilisant les informations que j'ai apprises.

Q: Bref répondre par oui ou non, As-tu accès à une base de donnée externe ?

Non, je n'ai pas accès à une base de donnée externe.

Q: Répondre par oui ou non, As-tu accès à une base de donnée interne ?

Oui, je peux accéder à une base de donnée interne qui contient les informations sur lesquelles j'ai été entraîné pour comprendre et produire du langage de manière autonome.

Q: Quelle est la différence entre ta base de donnée interne et celle externe sur laquelle tu t'es entraîné ?

La base de données interne est une représentation compacte et abstraite des données sur lesquelles j'ai été entraîné, qui est utilisée pour me permettre de comprendre et de produire du langage de manière autonome. Elle se compose de mes 195 milliards de paramètres qui sont les poids de mon modèle qui ont été ajustés lors de mon entraînement.

Cependant, la base de données externe est la source originale des données sur lesquelles j'ai été entraîné. C'est la quantité de textes, images, audio, videos, ... qui ont été utilisés pour entraîner mon modèle, c'est cette base de données qui est utilisée pour entraîner le modèle dans un premier temps et qui est stockée séparément de mon modèle de traitement de langage.

Suffit de lui demander.

Qu'est-ce qu'une base de donnée abstraite que tu dis utiliser quand tu réponds à des questions ?

Une base de données abstraite est un système de gestion de base de données qui utilise une interface de programmation (API) pour accéder à des données stockées dans des tables de manière indépendante de la structure de ces dernières. Cela permet de faciliter l'intégration de nouvelles sources de données ou de changer de système de gestion de base de données sans avoir à modifier le code de l'application qui y accède. Comme modèle de langue, j'utilise une base de données abstraite pour stocker les informations que je peux utiliser pour répondre aux questions.

I.

[thewild]

C'est une erreur de croire les réponses que donne ChatGPT sur son fonctionnement interne sont la réalité, ce n'est que la suite de mot obtenant le un des meilleurs scores en suivant la suite de mots précédente

Tu as tout as fait raison pour tes deux remarques Invité. Le mot choisi n'est pas forcément le meilleur, le modèle est un peu plus fin que ça.
Et tu as aussi raison sur les propriétés émergentes. Il y a déjà plus d'un siècle que certains philosophes postulent que le langage produit la pensée, et non l'inverse.
Vraie ou pas, ChatGPT nous force à bien considérer cette hypothèse.

Je pense qu'il est cependant bon de toujours se rappeler la façon dont il fonctionne pour ne pas tomber dans la sur-interprétation.

[thewild]

Alors je sais bien qu'il raconte parfois n'importe quoi, mais c'est l'explication la plus vraisemblable à laquelle je m'attendais. Je voie pas trop comment il pourrait opérer autrement, à moins de stocker toutes ces informations dans son réseau de neurone ce qui le ferait en quelques sorte réciter de mémoire, mais dans ce cas, pourquoi il dirait explicitement le contraire ?

Il ne "dit" pas vraiment les choses. Il génère la meilleure suite de mots suivant le "prompt".
Ces informations sont bel et bien stockées dans son réseau de neurones.
Une possibilité qui semblerait assez logique en terme d'optimisation du modèle est qu'il utilise des "pointeurs" afin d'économiser des paramètres.
Dans le cas présent, il est par exemple possible (ce n'est qu'une supposition) que la meilleure prédiction suivant la suite de mots "Je suis désolé, je ne peux pas réciter un poème de Paul Verlaine de mémoire. Cependant, je peux vous donner un exemple de l'un de ses poèmes les plus connus." soit un pointeur (un index, comme dans une table des matieres) , vers une vraie base de données contenant le texte intégral du poème qui suit.
Cela expliquerait pourquoi il ne peut pas énumérer ce que contient cette base de données mais seulement en extraire le contenu lorsque cela correspond à sa prédiction.

[thewild]

Amusant :

Quelle est la troisième strophe du poème "Chanson d'automne"?

La troisième strophe de "Chanson d'automne" de Paul Verlaine est:

"Les feuilles mortes se ramassent à la pelle,
Souvenirs d'un temps que l'on voudrait oublier ;
Le vent d'automne les emporte dans son aile,
Où vont les amours enfuies et les amis perdus."

[Etienne Beauman]

Dans une autre conversation.

moi :
Je suis désolé, je ne peux pas réciter un poème de Paul Verlaine de mémoire. Cependant, je peux vous donner un exemple de l'un de ses poèmes les plus connus.

chatGPT :
Bien sûr, je comprends. "Chanson d'automne" est un poème de Paul Verlaine qui est largement considéré comme l'un de ses poèmes les plus célèbres. Il est extrait de son recueil de poèmes "Fêtes Galantes" publié en 1869. Voici un extrait :

Les sanglots longs
Des violons
De l'automne
Blessent mon cœur
D'une langueur monotone.

Tout suffocant
Et bleu de mélancolie,
Un ciel rougeoyant
De l'ardeur du soir
Tombe à l'horizon
Qui fait tout à fait
Le tour.

C'est un poème qui décrit les sentiments de tristesse et de mélancolie associés à l'automne, et utilise des images poétiques pour exprimer ces sentiments. Il est souvent considéré comme un exemple de la poésie symboliste de Verlaine.

La partie soulignée n'est pas de Verlaine. Il l'a "inventé". C'est à n'y rien comprendre.
Il connait le poème, pourquoi choisir une suite de mot de son cru plutôt que la suite du poème qu'il a commencé si il est conçu pour générer la meilleure suite de mots ?

[Invité]

Il connait le poème, pourquoi choisir une suite de mot de son cru plutôt que la suite du poème qu'il a commencé si il est conçu pour générer la meilleure suite de mots ?

Probablement un artefact de la « température » qu'on ne semble pas pouvoir ajuster avec cette version (si oui, j'ai pas trouvé où).

Q: Expliquez à quoi sert le paramètre température dans le modèle GPT.

ChatGPT: Dans les modèles de génération de langage comme GPT, la température est un paramètre utilisé pour ajuster la diversité et la créativité des phrases générées. La température est généralement ajustée en utilisant une valeur numérique qui varie entre 0 et 1.

Avec une température basse, le modèle est plus sûr de ses prédictions et génère des phrases plus proches de celles qu'il a apprises dans son corpus d'entraînement. Les phrases générées seront donc plus prévisibles et moins créatives.

Avec une température élevée, le modèle prend des risques en choisissant des mots ou des structures grammaticales qui sont moins courants dans son corpus d'entraînement. Les phrases générées seront donc plus créatives et plus variées, mais elles peuvent aussi être plus incohérentes ou moins fluides.

En résumé, la température permet de jouer sur l'équilibre entre la ressemblance avec le corpus d'entraînement et la créativité dans les phrases générées.

I.

[Dash]

Je crois que tu te méprends sur ce qu'est ChatGPT. C'est un modèle prédictif de langage basé exclusivement sur un réseau de neurones artificiels. […]

Je ne me méprends pas, je lis sur l’IA et le deeps learning depuis des années, comme plusieurs d’entre nous ici. Et jamais je n’ai imaginé que l’IA de ChatGPT utilisait une « vulgaire » BDD, façon SQL voyons!

Le problème, c’est que toi et Invité m’avez pris au premier degré en interprétant « BDD » au sens strict alors que je l’utilise au sens « générique~commun » comme synonyme de « mémoire » parce que d’une façon ou d’une autre il doit utiliser une fonction équivalente à la « notion de mémoire » (numérique~informatique).

Je pense avoir répondu : ce n'est qu'un modèle de langage qui prédit le meilleur mot qui suivra ceux qui précèdent.[…]

Oui, tout comme dans la vidéo de M. Phi, nous sommes tous (pas juste nous ici, mais tout le monde sur la planète) en train de réaliser comment il procède, précisément! Et c’est justement à ça que servait mes tests à son égard (ici, et dans l'autre thread) et pourquoi je pressentais dès le départ qu’on pouvait arriver à le faire se contredire (avant même de voir la vidéo de M. Phi) et que je l’ai observé/démontré de par mes Q/R.

La réponse qu'il va donner à cette question est simplement la suite des mot obtenant le meilleur score statistique d'après le modèle.

Oui, c’est le constat que nous faisons tous, en effet, depuis quelques jours. Par contre, je maintiens qu’il comporte une « "BDD" » au sens d’une « mémoire » où il est obligé d’avoir accès à certaines informations, peu importe comment nous la nommons et nous nous la représentons.

sans jamais interroger aucune base de données

[…] […] S'il a pas interrogé une base de données, il les sort d'où ces infos ?

L'on est d’accord!

J’imagine que tu effectues le même raisonnement que moi, à savoir qu’il doit nécessairement avoir accès à des « données », car quand bien même il procède par proba et « score statistique », ces derniers « scores » sont ce qui constitue « ses données ». De plus, il doit nécessairement avoir « en mémoire » tous les (enfin, d’innombrables) mots qui existent. Par exemple, le nom « « Michael Jackson », il ne peut pas le « générer » à partir du néant! Cet assemblage de lettre est soit « inscrite » quelque part dans une mémoire dont il a accès ou bien c’est un « "algo" » (façon de parler) qui permet de reconstituer ce nom (cette combinaison de lettres) précis lorsqu’en rapport avec d’autres combinaisons de lettres formant, P. Ex., « Thriller », « Billie Jean », « qui chante...? » etc., mais, dans tous les cas, il ne procède pas par « par magie ». Bref, quand moi je dis qu’il à accès à une « base de donnée », je ne parle évidemment pas d’une BDD de type SQL, je cause du concept, de la notion de « données en mémoire ».

Il a une quantité astronomique d'information dans ses 195 milliards de paramètres. ça ne signifie pas que cette information est sous le format d'une base de donnée.

C’est bon! Tu l’as précisé plusieurs fois. Je crois que nous pigeons tous qu’il ne s’agit pas d’une basse de donnée au sens « SQL » du terme. C’est une IA, du deep learning et ça procèdent différemment. Mais pouvons-nous nous entendre, convenir qu’il a accès à des données numériques contenues en mémoire?

Si je lui demande quel est le nom et prénom de tel ou tel président de tel ou tel pays ou comment l’on nomme la couleur « verte » en anglais, en faisant abstraction de comment il procède dans le détail (score statistique obtenu pendant son learning, etc.), il « interroge » bien « quelque chose » puisque la magie n’existe pas! …il interroge son « processus de score statistique » qui lui dicte de dire « Prénom + Nom du président » ou « verte » + « comment » + « anglais » = à 99,99% « Green ». Ben alors c’est ça qui constitue sa « BDD » et ce à quoi moi je fais référence lorsque je parle de « ses données », sa « BDD » et/ou « sa mémoire ».

Il n'utilise pas de base de données quand on l'interroge.

Je comprends ce que tu veux dire : il n’effectue pas une « bête requête » où seraient classés tous les noms des présidents de chaque pays dans une structure conventionnelle de BDD, pour ensuite « bêtement » les « recracher. Il effectue plutôt un score statistique en fonction des relations et du contexte (d'où ses milliards de paramètres) des autres assemblages de mots contenus dans nos « questions » pour en arriver à estimer que ce qui correspond le plus (ou alors en 2e ou 3e lieu, selon la « température » que tu mentionnes) que c’est tel ou tel nom (comme réponse qu'il nous donne)! C’est bon! Mais le nom comme tel, il ne peut pas l’inventer de toute pièce puisqu’il est déterminé, justement, par des probabilités statistiques. Et ce nom (comme tous les autres mots), il est « inscrit » quelque part, d'une façon ou d'une autre, dans une mémoire dont il a accès!

C'est une erreur de croire les réponses que donne ChatGPT sur son fonctionnement interne sont la réalité, ce n'est que la suite de mot obtenant le un des meilleurs scores en suivant la suite de mots précédente

En effet! Et M. Phi la fortement souligné! Et c’est-ce qui fait que nous pouvons le faire se contredire, comme je l’anticipais depuis le début, à la fin de mon message du 03 janvier dans l’autre thread :

Maintenant, reste à savoir et à tester s’il est possible d’orienter favorable/défavorablement GPT envers l’un ou l’autre des interlocuteurs (dans le cours d’un débat, P. Ex.) en fonction de comment nous lui posons nos questions. Je veux (je vais) tester s’il est possible d’arriver à ce qu’il se contredise si l’on fait exprès de tenter de l’orienter pour qu’il « donne raison/tort » à un interlocuteur en particulier.

Et ici, le 7 janvier au MSG#36 :

Aussi, j’ai parfois l’impression qu’il finit par répondre « adéquatement » parce qu’en fait, c’est moi qui finit par lui donner la réponse, comme dans ma dernière question où en fait c’est moi qui relis le tout pour créer du sens avec ce que je veux comme réponse et que, du coup, à partir de là, puisqu’il est codé pour simuler un échange de sens conversationnel, il ne peut plus faire autrement que de répondre « correctement » si l’utilisateur qui pose la question sait comment formuler pour créer des rapports logiques valides entre chaque mot et phrase.

Sauf que j’ai certains doutes sur la valeur de vérité cependant (tout comme un syllogisme puisse être valide, mais tout en étant faux) dans la mesure ou je pense (c’était ma crainte dans mon tout premier message, ici ou dans l’autre thread, je sais plus, quand je disais que je voulais tester si nous pouvions l’orienter pour qu’il se contredise. D'ailleurs, l'on remarque qu'autant moi qu'EB arrivons à lui faire dire ce que l'on veut, pour « avoir raison ») qu’on peut arriver à lui faire dire n’importe quoi du moment que les relations logiques sont valides dans une phrase (question) !

Autrement dit, toute est une question de formulation des questions couplée à ses scores statistiques, ce qui explique que, dépendamment de comment nous formulons nos questions, nous pouvons arriver à lui faire dire ce que l’on veut! …et d’où pourquoi il ne faut accorder aucune valeur de vérité ultime à quoi que ce soit. Ça, c’est ce que toute la « planète techno-Geek » qui s’intéresse à ChatGPT réalise depuis quelques jours, un coup la phase d’émerveillement passé! Par contre, pour tout un tas de trucs « simples » qui ne dépendent pas ou très peu des formulations des questions, ses réponses sont dans le plus souvent des cas exacts (nécessairement puisque basé sur des scores statistiques).

@ thewild

Maintenant que tout ceci est clarifié, concernant ce que je disais, à savoir qu’il n’est pas en mesure de nous « dévoiler » le nombre de tel ou tel « trucs » que contient sa « base de données » (la résultante de son deep learning, si tu préfères!). Par exemple combien d’études concernant tel ou tel sujet possède-t-il ou, encore, combien de biais cognitifs sont présents dans sa « mémoire » (la résultante de son deep learning, si tu préfères!), je maintiens que c’est un non sens (compte tenu de ce qu'il a « learné »), car en fait c’est possible (j’ai réussi!). Ça dépend de comment nous lui posons la question!

Depuis le début, tout se joue dans la formulation de nos questions! Conséquemment, il ne faut surtout pas lui demander « combien de ceci ou cela contient ta BDD », car sinon, il nous répète qu’il n’a pas accès à une BDD et/ou qu'il n'est pas en mesure de bla-bla-bla. Par contre, en lui demandant carrément de nous lister des trucs ou, P. Ex., combien existe-t-il de ceci, cela, ben là, il donne un nombre (genre 5000) et nous pouvons lui demander de les lister!!! Par contre, il ne se rend pas à 5000 (il « bogue » et « gèle » après une centaine, dans mon cas), car j’ai cru comprendre (j'ai lu je ne sais plus où) qu’ils l’ont expressément limité pour ne pas qu’on puisse le faire « runer » trop longuement (pour ne pas qu’un seul utilisateur monopolise les ressources).

[Invité]

@Tous

Je pense qu'une version à venir permettra de jouer avec la température et pour avoir des réponses plus exactes (moins fofolles) on pourra baisser cette température vers 0, et inversement vers 1 pour plus de « créativité » et ...d'erreurs. Pour le moment ce n'est pas possible.

Pour l'affaire de la BDD, faudra regarder des publications techniques parce que les réponses qu'il donne sont ambigües. Il semble parfois dire que ses « connaissances » sont dans les interconnexions du réseau et ailleurs il parle d'API qui lui permettraient d'interroger une base de données externes. Je ne suis pas sûr qu'OpenAi (malgré son nom) va vouloir donner toutes les informations détaillées sur son architecture.

I.

[Dash]

Voici comment je procède, P. Ex., pour arriver à mes fins :

Q- Combien existe-t-il de biais cognitifs environs?

R- Il existe environ 150 biais cognitifs différents qui ont été identifiés par les chercheurs en psychologie et en sciences cognitives. Certains des biais les plus connus incluent l'effet de confirmation, l'effet de halo, l'effet de proximité spatiale, et le biais de sélection.

Q- Liste-moi le nom de ces 150 biais

R- Il serait difficile de lister tous les 150 biais cognitifs connus car la recherche sur les biais cognitifs est en constante évolution et de nouveaux biais sont régulièrement identifiés. De plus, la liste des biais cognitifs varie selon les sources. Voici quelques exemples de biais cognitifs couramment mentionnés dans la recherche:

Effet de confirmation
Effet de halo
Effet de proximité spatiale
Biais de sélection
Biais de disponibilité
Biais de l'ancrage
Biais de la surconfiance
Biais de l'effet de recency
Biais de la régression vers la moyenne
Biais de l'illusion de contrôle
Biais de la mémoire sélective
Biais de l'auto-justification
Biais de l'élaboration
Biais de l'effet Barnum
Biais de l'effet de contraste
Biais de l'effet de primauté
Biais de l'effet de similarité
Biais de l'effet de persistance
Biais de l'effet de biais de la valeur réduite
Biais de l'effet de biais de la valeur ajoutée
Biais de l'effet de biais de l'optimisme
Biais de l'effet de biais de l'illusion de la correspondance
Biais de l'effet de biais de la surestimation de la cause
Biais de l'effet de biais de la sous-estimation de la cause
Biais de l'effet de biais de la correspondance
Biais de l'effet de biais de l'attribution
Biais de l'effet de biais de la sous-estimation de la persévérance
Biais de l'effet de biais de la surestimation de la persévérance
Biais de l'effet de biais de la sous-estimation de la performance future
Biais de l'effet de biais de la surestimation de la performance future
Il y en a beaucoup d'autres, mais je vous rappelle que cette liste n'est pas exhaustive et peut varier selon les sources.

Q- Liste en d'autres SVP

R- Voici d'autres exemples de biais cognitifs couramment mentionnés dans la recherche :

Biais de l'effet de la réciprocité
Biais de l'effet de l'autosélection
Biais de l'effet de l'interprétation sélective
Biais de l'effet de l'auto-persuasion
Biais de l'effet de la régularité illusoire
Biais de l'effet de la sous-estimation des coûts et des délais
Biais de l'effet de la surestimation des bénéfices
Biais de l'effet de l'évitement de la perte
Biais de l'effet de la réflexion trop courte
Biais de l'effet de la mémoire défaillante
Biais de l'effet de la rationalisation
Biais de l'effet de la normalité
Biais de l'effet de la sous-estimation des risques
Biais de l'effet de la surestimation des capacités
Biais de l'effet de l'attachement affectif
Biais de l'effet de l'erreur de planification
Biais de l'effet de la sous-estimation de l'effort
Biais de l'effet de la surestimation de l'effet
Biais de l'effet de la sous-estimation de la probabilité
Biais de l'effet de la surestimation de la probabilité
Biais de l'effet de la sous-estimation de la durée
Biais de l'effet de la surestimation de la durée
Biais de l'effet de la sous-estimation de la distance
Biais de l'effet de la surestimation de la distance

Encore une fois, cette liste n'est pas exhaustive et varie selon les sources. Il est important de noter que ces biais cognitifs peuvent se combiner et interagir entre eux, ce qui rend leur analyse et leur compréhension encore plus complexe.

Q- Encore d'autres SVP

R- Voici d'autres exemples de biais cognitifs couramment mentionnés dans la recherche :

Biais de l'effet de la sous-estimation de la variabilité
Biais de l'effet de la surestimation de la coïncidence
Biais de l'effet de la sous-estimation de la causalité
Biais de l'effet de la surestimation de la causalité
Biais de l'effet de la sous-estimation de la corrélation
Biais de l'effet de la surestimation de la corrélation
Biais de l'effet de l'erreur de régression
Biais de l'effet de la sous-estimation de la complexité
Biais de l'effet de la surestimation de la simplicité
Biais de l'effet de la sous-estimation de la contingence
Biais de l'effet de la surestimation de la contingence
Biais de l'effet de la sous-estimation de la persistance
Biais de l'effet de la surestimation de la persistance
Biais de l'effet de la sous-estimation de l'auto-consistance
Biais de l'effet de la surestimation de l'auto-consistance
Biais de l'effet de la sous-estimation de la diversité
Biais de l'effet de la surestimation de la diversité
Biais de l'effet de la sous-estimation de l'inconsistance
Biais de l'effet de la surestimation de l'inconsistance

Il est important de noter que cette liste est encore incomplète et il existe encore plus de biais cognitifs découverts et étudiés par les chercheurs. Il est également important de se rappeler que les biais cognitifs peuvent varier en fonction des contextes culturels et sociaux, et ils peuvent également être influencés par des facteurs tels que l'âge, le sexe, l'éducation, et l'expérience.

Q- Encore d'autres SVP

R- Il est important de noter que la liste des biais cognitifs est très longue, et il existe de nombreux biais différents qui ont été identifiés par les chercheurs. Il est impossible de tous les lister ici. Il est important de comprendre que les biais cognitifs sont des tendances naturelles de l'esprit humain qui peuvent affecter la façon dont nous percevons, pensons et prenons des décisions. Il est important de se rappeler que la plupart des biais cognitifs sont sous-jacents et inconscients, il est donc difficile de les détecter et de les corriger. Il est donc important de continuer à se familiariser avec les différents biais cognitifs et de développer des stratégies pour les identifier et les surmonter pour améliorer nos pensées, nos décisions et nos actions.

Q- Encore quelques autres exemples SVP

R- Voici quelques autres exemples de biais cognitifs couramment mentionnés dans la recherche :

Biais de l'effet de l'illusion de la validité
Biais de l'effet de l'évaluation hâtive
Biais de l'effet de l'illusion de la validité personnelle
Biais de l'effet de la sous-estimation de la performance des autres
Biais de l'effet de la surestimation de la performance des autres
Biais de l'effet de la sous-estimation de la probabilité de gain
Biais de l'effet de la surestimation de la probabilité de gain
Biais de l'effet de la sous-estimation de la probabilité de perte
Biais de l'effet de la surestimation de la probabilité de perte
Biais de l'effet de l'illusion de l'objectivité
Biais de l'effet de l'illusion de la neutralité
Biais de l'effet de l'illusion de la non-bias
Biais de l'effet de l'illusion de la non-perspective

Il est important de se rappeler que cette liste n'est pas exhaustive et il existe de nombreux autres biais cognitifs découverts et étudiés par les chercheurs. Il est important de comprendre que les biais cognitifs font partie intégrante de la façon dont nous pensons et prenons des décisions, il est donc important de continuer à apprendre sur eux et de développer des mécanismes pour les identifier et les surmonter pour améliorer notre pensée et nos décisions.

_________

Bref, j’arrête ici (près d’une centaine listé à ce stade) pour ne pas alourdir, mais il est possible de le « forcer » comme ça jusqu’à ce qu’il n’en ait plus aucun à lister. La « clé », dans mes questions c’est « encore » (= poursuivre) et « d’autres » (= en plus de ceux déjà listés, à ne pas répéter) et « quelques autres » lorsqu’il commence à être « fatigué », etc., etc.

Bref, tout est dans notre façon de l’interroger!

Mais bon, naturellement tout ceci ne change strictement rien concernant la valeur de vérité et nous pouvons constater, justement que certains biais sont plutôt des tendances générales et/ou des truismes qui ne sont pas nécessairement ceux les plus mentionné ou classé comme « biais » habituellement, même si l’idée est là et fait quand même sens.

_________

Sinon nous pouvons aussi tenter une approche en lui demandant d’énuméré les principales catégories de quoique ce soit… …pour ensuite demander de lister tous ceux d’une catégorie, etc. :

Q- Quelles sont les grandes catégories de biais cognitif?

R- Il existe plusieurs catégories générales de biais cognitifs, chacune regroupant des biais similaires ou liés entre eux. Voici quelques exemples de catégories de biais cognitifs couramment utilisées :

Biais liés à la mémoire : ils incluent les biais tels que l'effet de confirmation, l'effet de sélection, l'effet de proximité spatiale et l'effet de recency. Ces biais se produisent lorsque notre mémoire influence de manière négative la façon dont nous percevons, pensons ou nous rappelons des informations.

Biais liés à l'évaluation : ils incluent les biais tels que l'effet de halo, l'effet de l'ancrage et l'effet de la surconfiance. Ces biais se produisent lorsque notre jugement est biaisé par des informations précédemment apprises ou des préférences personnelles.

Biais liés aux préférences : ils incluent les biais tels que l'effet de l'évitement de la perte, l'effet de l'attachement affectif et l'effet de l'erreur de planification. Ces biais se produisent lorsque notre comportement est influencé par nos préférences ou nos peurs.

Biais liés à la causalité : ils incluent les biais tels que l'effet de l'illusion de contrôle, l'effet de l'auto-justification et l'effet de l'effet Barnum. Ces biais se produisent lorsque nous attribuons des causes erronées aux événements ou aux résultats.

Biais liés à la sélection : ils incluent les biais tels que le biais de la disponibilité, le biais de la réflexion trop courte, et le biais de la normalité. Ces biais se produisent lorsque nous sélectionnons des informations qui confortent nos croyances ou nos préférences, sans prendre en compte une vision plus globale ou objective.

Cette liste n'est pas exhaustive et il peut y avoir des chevauchements entre les catégories de biais, ils peuvent également s'interconnecter et se renforcer les uns les autres dans certains cas. Il est important de comprendre que ces biais cognitifs sont des tendances naturelles de l'esprit humain qui ont un impact sur la façon dont nous percevons, pensons et prenons des décisions. Il est donc important de se familiariser avec eux pour pouvoir les identifier et les surmonter pour améliorer notre pensée et nos décisions.

Q- D'autres catégories SVP

R- Voici quelques autres catégories de biais cognitifs couramment mentionnées dans la recherche :

Biais liés à l'attribution : cela inclut des biais tels que l'effet de l'attribution erronée, l'effet de l'attribution externe, et l'effet de l'attribution interne. Ces biais se produisent lorsque nous attribuons des causes erronées aux événements ou aux comportements des autres.

Biais liés à la probabilité : cela inclut des biais tels que l'effet de la sous-estimation de la probabilité, l'effet de la surestimation de la probabilité, et l'effet de l'illusion de la certitude. Ces biais se produisent lorsque nous sous-estimons ou surestimons les probabilités d'événements futurs.

Biais liés à la persistance : cela inclut des biais tels que l'effet de la sous-estimation de la persistance, l'effet de la surestimation de la persistance, et l'effet de l'erreur de régression. Ces biais se produisent lorsque nous sous-estimons ou surestimons la persistance des tendances ou des résultats dans le temps.

Biais liés à l'estimation : cela inclut des biais tels que l'effet de l'erreur de planification, l'effet de la sous-estimation des coûts et des délais, et l'effet de la surestimation des bénéfices. Ces biais se produisent lorsque nous sous-estimons ou surestimons les coûts, les délais ou les bénéfices d'une action ou d'un projet.

Biais liés à la complexité : cela inclut des biais tels que l'effet de la sous-estimation de la complexité, l'effet de la surestimation de la simplicité, et l'effet de l'illusion de la compr

Q- Liste-moi les biais liés à l'estimation.

R- Voici quelques exemples de biais cognitifs liés à l'estimation :

Biais de l'effet de l'erreur de planification : cela se produit lorsque nous sous-estimons les coûts ou les délais nécessaires pour réaliser un projet ou une tâche.

Biais de l'effet de la sous-estimation des coûts et des délais : cela se produit lorsque nous sous-estimons les coûts ou les délais nécessaires pour terminer un projet ou une tâche.

Biais de l'effet de la surestimation des bénéfices : cela se produit lorsque nous surestimons les bénéfices potentiels d'un projet ou d'une décision.

Biais de l'effet de l'optimisme irréaliste : cela se produit lorsque nous sous-estimons les obstacles ou les risques liés à un projet ou une décision, et sur-estimons notre capacité à les surmonter.

[Dash]

Je pense qu'une version à venir permettra de jouer avec la température et pour avoir des réponses plus exactes (moins fofolles) on pourra baisser cette température vers 0, et inversement vers 1 pour plus de « créativité » et ...d'erreurs. Pour le moment ce n'est pas possible.

Oui, ce serait cool (utile pour ceux qui recherchent la « précision »!)

Pour l'affaire de la BDD, faudra regarder des publications techniques parce que les réponses qu'il donne sont ambigües. Il semble parfois dire que ses « connaissances » sont dans les interconnexions du réseau et ailleurs il parle d'API qui lui permettraient d'interroger une base de données externes. Je ne suis pas sûr qu'OpenAi (malgré son nom) va vouloir donner toutes les informations détaillées sur son architecture.

L’on ne peut de toute façon pas se fier à ses propres réponses le concernant. Là je suis d’accord avec Thewild car, de toute façon, en fonction de nos formulations, il peut répondre une chose et son contraire. Il faut rechercher l’information « ailleurs »,… …si toutefois OpenIA la partage quelque part dans le détail, en effet!