ChatGPT et autres LLM

[Jeudi]

(…)

Gilles, ferme ta gueule s’il te plaît.

[GillesH38]

au moins, on est sûr que Jeudi n'est pas une IA, elles sont bridées pour ne pas dire de gros mots

ça t'a pas fait rire le fil sur FS, Juju, sérieux ?

allez avoue quand même que ça fait sourire ...

https://forums.futura-sciences.com/atta ... t-kilo.png

[energy_isere]

Et combien de fois faudra-t-il expliquer que ça ne "raisonne" pas?

Je suis curieux de lire cette explication.

Oui, on l' a déjà dit ca ne raisonne pas.

Ca génère du texte et qui peut vite être idiot et faire rire les ceusses qui s'intéressent à l'astronomie :

peut-on photographier la face cachée de Jupiter ?

chatGPT : Techniquement, il est possible de prendre des photos de la face cachée de Jupiter, mais cela dépend de plusieurs facteurs. Tout d'abord, la face cachée de Jupiter ne peut être vue que depuis un point situé derrière la planète, ce qui signifie que seuls les vaisseaux spatiaux qui ont survolé ou orbité Jupiter ont pu prendre des photos de cette zone.

Ensuite, la grande tache rouge de Jupiter, une tempête géante, se trouve du côté opposé à la face cachée, ce qui signifie que la plupart des photos de Jupiter montrent cette caractéristique remarquable plutôt que la face cachée.

Cependant, les images de la face cachée de Jupiter ont été obtenues par les sondes Voyager et Galileo, qui ont toutes deux étudié la planète en détail. En outre, la sonde Juno, qui orbite actuellement autour de Jupiter, a pris des images de la planète depuis des angles différents, y compris de la face cachée.

En résumé, il est possible de photographier la face cachée de Jupiter, mais cela nécessite des missions spatiales spécifiques ou des instruments de pointe tels que ceux utilisés par la sonde Juno.

https://forums.futura-sciences.com/scie ... atgpt.html

il reprend le concept de face cachée de la Lune pour un observateur terrestre, mais évidemment pour Jupiter ca ne marche pas.

[Silenius]

effectivement, une IA ne s'alimentant qu'aux textes connus, est incapable de remettre en cause un consensus. C'est pour ça qu'elle n'inventera jamais rien d'intelligent

Ah non, ça fonctionne tres bien : https://www.youtube.com/watch?v=lSGrn40eE1s

[Jeudi]

Et combien de fois faudra-t-il expliquer que ça ne "raisonne" pas?

Je suis curieux de lire cette explication.

Oui, on l' a déjà dit ca ne raisonne pas.

Par « expliquer », je veux dire donner une explication technique du problème. Si c’est juste de l’humour de répétition, bof bof.

Ca génère du texte et qui peut vite être idiot et faire rire les ceusses qui s'intéressent à l'astronomie :

…et ça ne te rappelle aucun des raisonnements humains que tu peux lire sur oleocene? Vraiment?

[GillesH38]

ah si, des gens qui ne font que répéter mécaniquement ce qu'ils ont lu, qui ne peuvent rien remettre en cause de ce qu'on leur dit, qui peuvent proférer des conneries, et qui font rire des astronomes, moi ça me rappelle quelque chose !

[GillesH38]

Par « expliquer », je veux dire donner une explication technique du problème. Si c’est juste de l’humour de répétition, bof bof.

plus sérieusement, tu as vraiment besson d'une explication de pourquoi utiliser une méthode basée sur la statistique des mllliards de mots qu'on a pu ingurgiter sur internet sans aucune connexion à une expérience physique du monde auquel ils se réfèrent, ça n'est pas la même chose que vivre dans un monde réel et tirer des inférences des expériences concrètes qu'on vit ?

Ce qui fait par exemple qu'inventer une telle recette est possible dans le premier cas, mais pas dans le deuxième ?

Voici une recette simple et délicieuse pour des spaghettis farcis à la viande :

Ingrédients :

250 grammes de spaghettis
400 grammes de viande hachée (bœuf, porc, veau ou un mélange)
1 oignon, finement haché
2 gousses d'ail, émincées
1/2 tasse de chapelure
1/4 de tasse de parmesan râpé
1/4 de tasse de persil frais, haché
1 œuf
1/2 cuillère à café de sel
1/2 cuillère à café de poivre
2 tasses de sauce tomate
Fromage râpé (mozzarella, parmesan, etc.)
Instructions :

Faites cuire les spaghettis selon les instructions du paquet. Égouttez-les et réservez.
Dans un grand bol, mélangez la viande hachée, l'oignon, l'ail, la chapelure, le parmesan râpé, le persil, l'œuf, le sel et le poivre. Mélangez bien jusqu'à ce que tous les ingrédients soient incorporés.
Prenez une petite quantité de mélange de viande dans vos mains et formez de petites boules. Enfoncez chaque boule de viande dans un spaghetti cuit, en laissant dépasser un peu de chaque côté.
Dans une grande poêle, faites chauffer la sauce tomate à feu moyen. Ajoutez les spaghettis farcis à la viande dans la poêle et laissez mijoter pendant environ 15-20 minutes, en retournant délicatement les spaghettis à mi-cuisson.
Une fois les spaghettis farcis à la viande cuits, saupoudrez-les de fromage râpé et laissez fondre quelques minutes.
Servez les spaghettis farcis à la viande chauds, accompagnés de sauce tomate supplémentaire si désiré. Garnissez-les de parmesan râpé et de persil frais.
Ces spaghettis farcis à la viande sont délicieux et feront le bonheur des amateurs de pâtes. Bon appétit !

[tita]

Et combien de fois faudra-t-il expliquer que ça ne "raisonne" pas?

Je suis curieux de lire cette explication.

https://bdtechtalks.com/2022/06/27/larg ... reasoning/

L'article date un peu. Avec la croissance des données d'entraînement, ça donne l'impression de réponses logiques (ça crée cet effet). Actuellement, on contourne les limitations du système en utilisant des astuces (par exemple, décomposer les prompts pour forcer des réponses séquentielles et résoudre des problèmes de math simples).

Tout ça va évoluer.

[energy_isere]

Je suis curieux de lire cette explication.

Oui, on l' a déjà dit ca ne raisonne pas.

Par « expliquer », je veux dire donner une explication technique du problème. Si c’est juste de l’humour de répétition, bof bof.

Ca génère du texte et qui peut vite être idiot et faire rire les ceusses qui s'intéressent à l'astronomie :

…et ça ne te rappelle aucun des raisonnements humains que tu peux lire sur oleocene? Vraiment?

ce dont il était question c'était ChatGPT (pas de l' IA en général).
et donc voir ou revoir le vidéo de David Louapre 27mn que j' avais déjà signalé dans le fil sur chatGPT : https://www.youtube.com/watch?v=7ell8KEbhJo
Ce qui se cache derrière le fonctionnement de ChatGPT

ScienceEtonnante
1,31 M d’abonnés
960 k vues il y a 2 mois Informatique
Je vous explique les bases de ChatGPT, et comment il a été conçu à partir du modèle de langage GPT.

[Jeudi]

Et combien de fois faudra-t-il expliquer que ça ne "raisonne" pas?

Je suis curieux de lire cette explication.

https://bdtechtalks.com/2022/06/27/larg ... reasoning/

L'article date un peu. Avec la croissance des données d'entraînement, ça donne l'impression de réponses logiques (ça crée cet effet). Actuellement, on contourne les limitations du système en utilisant des astuces (par exemple, décomposer les prompts pour forcer des réponses séquentielles et résoudre des problèmes de math simples).

Tout ça va évoluer.

Merci. Tout-à-fait d’accord qu’il y a un vrai problème technique derrière cet article (« la généralisation out-of-distribution »). Juste pas d’accord que « ça ne raisonne pas », ou « ça ne raisonne pas comme un humain » soient les meilleures vulgarisations. Une meilleure image est que ça raisonne en partie comme un humain*, mais avec des illusions bizarres qui sont à la fois robustes et complètement extraterrestres. C’est un problème générique qui touche également les systèmes de vision -perso je soupçonne que c’est pour cela que les voitures autonomes sont difficiles à sécuriser complètement.


*et c’est pas une image poétique: si tu prends les activations d’une IA devant des images, puis les activations hémodynamiques d’un cerveau humain devant les mêmes images, le premier explique (au sens statistique) une grande partie de la variance du second, avec une hiérarchie entre les niveaux (les premières couches expliquent mieux le cortex visuel primaire, les dernières expliquent mieux les cortex visuels associatifs).

[GillesH38]

c'est le contraire, "ça" ne raisonne absolument pas comme un humain, car les humains réels apprennent en quelques années à parler tout à fait correctement sans avoir ingurgité des milliards de pages web, et associent les mots à des représentations sensorielles dont les IA sont totalement dépourvues (aucune IA n'a jamais éprouvé de sensation physique associée à "chaud", "rouge", "soif", " envie de faire pipi", etc ...)

en revanche on a fini par trouver un truc informatique assez efficace pour leur faire produire des textes souvent très semblables à ce que produit un humain.

C'est par pour ça que ça les fait raisonner pour autant.

[GillesH38]

*et c’est pas une image poétique: si tu prends les activations d’une IA devant des images, puis les activations hémodynamiques d’un cerveau humain devant les mêmes images, le premier explique (au sens statistique) une grande partie de la variance du second, avec une hiérarchie entre les niveaux (les premières couches expliquent mieux le cortex visuel primaire, les dernières expliquent mieux les cortex visuels associatifs).

mais ça ça existait bien avant l'arrivée des modèles de langage type chatGPT, or ce sont ces modèles de langage qui ont commencé à faire dire que peut être ils "raisonnaient", pas les reconnaissances d'images qui existent depuis bien plus longtemps.

C'est uniquement d'être arrivé à produire des discours semblant cohérent qui a fait délirer - sauf que ces discours cohérents ne viennent pas d'une pensée mais de l'efficacité statistique d'une méthode "aveugle", et les erreurs qu'elle commet sont incompatible avec une représentation mentale de ce qu'elle raconte<.

[GillesH38]

Tiens je vais faire un test :

Jeudi, donne moi une recette de tarte aux poireaux.

[Jeudi]

voir ou revoir le vidéo de David Louapre 27mn que j' avais déjà signalé dans le fil sur chatGPT : https://www.youtube.com/watch?v=7ell8KEbhJo

C’est un très bon vidéo de vulgarisation. Je m’arrête à la première petite bêtise (7:45, « les humains ne prédisent pas le prochain mot »: non, les humains ne perçoivent pas qu’ils prédisent le prochain mot). « Petite » parce qu’il pourrait reformuler par « les humains n’apprennent pas le langage en prédisant le prochain mot » ce qui corrigerait sa phrase sans impact sur son discours jusque là. Est-ce qu’il y a d’autres choses plus loin ou c’est bien l’origine de ta croyance ?

[Silenius]

Selon une equipe du MIT : https://arxiv.org/abs/2307.02477

Les performances impressionnantes des modèles de langage récents dans un large éventail de tâches suggèrent qu'ils possèdent un certain degré de capacités de raisonnement abstrait. Ces compétences sont-elles générales et transférables, ou spécialisées à des tâches spécifiques vues lors de la préformation ? Pour démêler ces effets, nous proposons un cadre d'évaluation basé sur des variantes de tâches « contrefactuelles » qui s'écartent des hypothèses par défaut sous-jacentes aux tâches standard. Sur une suite de 11 tâches, nous observons des performances non triviales sur les variantes contrefactuelles, mais constatons néanmoins que les performances se dégradent considérablement et systématiquement par rapport aux conditions par défaut. Cela suggère que si les LM actuels peuvent posséder dans une certaine mesure des compétences abstraites en résolution de tâches, ils s'appuient souvent également sur des procédures étroites et non transférables pour la résolution de tâches. Ces résultats motivent une interprétation plus prudente des performances du modèle de langage qui distingue ces aspects du comportement.