ChatGPT et autres LLM

[GillesH38]

C'est justement ça le fantasme, l'idée que les IA ont des pulsions et des désirs de pouvoir analogues à ceux des humains parce qu'elles produisent un langage proche, alors qu'en réalité, elles ne produisent pas du tout ce langage par le même mécanisme que les humains, mais seulement parce qu'on les a entrainés sur des milliards de textes humains à le reproduire. Ce qui à la base n'a rien à voir.

C'est un peu comme si tu découvrais des idéogrammes chinois sur des tablettes et que tu t'amusais à les redessiner en notant les associations fréquentes de caractères dont tu ne connaitrais absolument pas la signification. Ca pourrait aussi bien décrire une stratégie militaire qu'une recette de cuisine, tu n'en saurais rien. Ca ne fait pas de toi un cuisinier ou un général.

[energy_isere]

C'est justement ça le fantasme, l'idée que les IA ont des pulsions et des désirs de pouvoir analogues à ceux des humains parce qu'elles produisent un langage proche, alors qu'en réalité, elles ne produisent pas du tout ce langage par le même mécanisme que les humains, mais seulement parce qu'on les a entrainés sur des milliards de textes humains à le reproduire. Ce qui à la base n'a rien à voir.

C'est un peu comme si tu découvrais des idéogrammes chinois sur des tablettes et que tu t'amusais à les redessiner en notant les associations fréquentes de caractères dont tu ne connaitrais absolument pas la signification. Ca pourrait aussi bien décrire une stratégie militaire qu'une recette de cuisine, tu n'en saurais rien. Ca ne fait pas de toi un cuisinier ou un général.

Mais on s'en fiche que le désir de l' IA est un vrai désir ou un faux désir !
Il suffit que des humains suivent le désir hallucinatoire ''anti humain'' de l'IA pour que cela fonctionne. N'oublie pas que plein d'humains sont cons et stupides aussi.

On va voir dans un futur pas si lointain un humain se baser sur ce qu'il aura lu sur une IA generative pour déconner complétement et faire des meurtres (dans moins de 10 ans c'est absolument certain) .......

[GillesH38]

C'est justement ça le fantasme, l'idée que les IA ont des pulsions et des désirs de pouvoir analogues à ceux des humains parce qu'elles produisent un langage proche, alors qu'en réalité, elles ne produisent pas du tout ce langage par le même mécanisme que les humains, mais seulement parce qu'on les a entrainés sur des milliards de textes humains à le reproduire. Ce qui à la base n'a rien à voir.

C'est un peu comme si tu découvrais des idéogrammes chinois sur des tablettes et que tu t'amusais à les redessiner en notant les associations fréquentes de caractères dont tu ne connaitrais absolument pas la signification. Ca pourrait aussi bien décrire une stratégie militaire qu'une recette de cuisine, tu n'en saurais rien. Ca ne fait pas de toi un cuisinier ou un général.

Mais on s'en fiche que le désir de l' IA est un vrai désir ou un faux désir !
Il suffit que des humains suivent le désir hallucinatoire ''anti humain'' de l'IA pour que cela fonctionne. N'oublie pas que plein d'humains sont cons et stupides aussi......

sauf que pour commander à des vrais humains, il faut comprendre la situation, leur psychologie, leurs fantasmes, utiliser leurs pulsions de manière adaptée. Tout le monde ne réussit pas à être dictateur. Et c'est cette perception de la réalité dont l'IA est dépourvue, même si elle semble apparemment l'avoir. Les vrais dictateurs peuvent te paraître "cons" mais ils ont une vraie intelligence des pulsions humaines, sinon ils ne garderaient pas le pouvoir.

C'est ce que montre les exemples des recettes de "spaghettis farcis" où elle recommande de faire cuire les spaghettis, de les ouvrir en deux et de les remplir de farce. Ce n'est pas seulement un exemple rigolo qui fait sourire, c'est aussi une preuve expérimentale qu'elle peut aligner des mots apparemment anodins sans se rendre compte de l'absurdité de ce qu'elle écrit.

Pour diriger une vraie révolte, élaborer une stratégie militaire victorieuse et vaincre des ennemis, c'est évidemment un peu gênant d'avoir ce genre de défauts .

[Jeuf]

elles ne produisent pas du tout ce langage par le même mécanisme que les humains, mais seulement parce qu'on les a entrainés sur des milliards de textes humains à le reproduire. Ce qui à la base n'a rien à voir

C'est un peu comme ça que les enfants apprennent à parler : en écoutant beaucoup de propos, en imitant mal au début, puis de mieux en mieux. Certes, l'IA repète mal d'une autre manière (chatgpt est très poli et écrit sans faute, mais hallucine)

C'est ce que montre les exemples des recettes de "spaghettis farcis" où elle recommande de faire cuire les spaghettis, de les ouvrir en deux et de les remplir de farce. Ce n'est pas seulement un exemple rigolo qui fait sourire, c'est aussi une preuve expérimentale qu'elle peut aligner des mots apparemment anodins sans se rendre compte de l'absurdité de ce qu'elle écrit.

En ajoutant des modules d'analyses d'image et de vidéo à un modèle de langage, ce genre d'erreur sera évitée facilement.
Associer texte et image, ça a déjà commencé avec ce générateur de vidéo à partir de description (dans un autre sens).
Il y a besoin de beaucoup de travail (et je ne sais pas s'il a été fait, où il en est, mais je suppose qu'il a bien commencé): décrire textuellement des millions d'heures de vidéo, séquence par séquence, faire avaler le contenu à la machine.

Après avoir bien compris toutes sortes d'images, une IA pourra décrire des séquence vidéo et "projeter des possibles" et des impossible (comme la section des spaghettis). Je saute des étapes : la projection va s'appliquer, de façon plus pragmatique que les spaghettis, sur les mines, usines et robots qui auront pour mission de reproduire son cerveau et ces machines.

[GillesH38]

elles ne produisent pas du tout ce langage par le même mécanisme que les humains, mais seulement parce qu'on les a entrainés sur des milliards de textes humains à le reproduire. Ce qui à la base n'a rien à voir

C'est un peu comme ça que les enfants apprennent à parler : en écoutant beaucoup de propos, en imitant mal au début, puis de mieux en mieux. Certes, mal d'une autre manière (chatgpt est très poli et écrit sans faute, mais hallucine)

non pas du tout, l'apprentissage du langage se fait par association des mots avec des situations réellement vécues (par exemple on dit "tiens" en tendant un objet, ou "il fait froid" quand il fait vraiment froid ), ce qui assure l'association du signifiant et du signifié. Un LLM n'a aucune perception réelle associée avec le langage qu'il manipule, seulement des fréquences d'associations de mots. C'est justement pour ça que "spaghetti farci" ne lui parait pas plus étrange que "courgette farcie", alors que nous nous comprenons tout de suite pourquoi ça ne peut pas exister.
Evidemment l'association statistique marche plutot bien pour tout un tas de choses puisque les textes auxquels il s'est alimenté sont eux même cohérents, donc "'statistiquement ça marche souvent", mais en présence de situations inconnues, il ne pourrait pas les gérer

(encore une fois en SF l'ordinateur intelligent est souvent utilisé pour décrypter une menace inconnue que les humains ont du mal à identifier, mais en réalité c'est exactement le contraire avec les LLM, il ne gère bien que ce qui correspond à des textes déjà connus mais il serait incapable de comprendre et de traiter une situation nouvelle).

[Jeuf]

l'apprentissage du langage se fait par association des mots avec des situations réellement vécues (par exemple on dit "tiens" en tendant un objet), ce qui assure l'association du signifiant et du signifié.

ça c'est vrai au début de l’apprentissage du langage
(Et puis encore une fois, il reste à adjoindre un module vidéo+ audio+capteur tactile à ces IA pour être plus proche du ressenti humain)

Quand on est à ce stade de propos, de maniement de langage :

Dans le simple concept d'une chose on ne saurait trouver absolument aucun caractère de son existence. En effet, quoique ce concept soit tellement complet que rien n'y manque pour concevoir une chose avec toutes ses déterminations intérieures, l'existence n'a cependant rien à faire avec toutes ses déterminations et toute la question est de savoir si une chose de ce genre nous est donnée de telle sorte que sa perception puisse toujours précéder le concept. En effet, que le concept précède la perception, cela signifie simplement que la chose est possible, tandis que la perception qui fournit au concept la matière est le seul caractère de la réalité.

l'apprentissage par l'expérience concrète est très loin, et ne me semble pas très utile pour discourir.
Certes, la charrue du langage a été mis avant les boeufs de l'analyse de la perception sensorielle( ), au contraire de ce qui arrive à l'enfant, en donnant d'abord un semblant de maitrise de ce langage, cependant il me semble tout à fait possible de "recoller les morceaux" après, de mettre en oeuvre cette perception sur des LLM.
Les spaghettis farcis ne seront pas longtemps un problème (pas longtemps à l'échelle du développement d'un intelligence, qui s'étend sur des milliers d'années. En quelques années ça sera réglé).
Pendant des années, les enfants ont dans leur modèle du monde un père noël, (qui est analogue au spaghetti farci sur l'aspect physique du problème passage étroit) et ils passent au-delà sans problème, ne restent pas figé à vie...

[GillesH38]

ok mais tu ne vas pas élever un ordinateur comme un gamin avec de l'amour, des frustrations, une histoire personnelle, familiale, un environnement social, bref tout ce qui a fait que tu es un être humain.
Et tu te trompes sur l'origine du problème du spaghetti farci, ce n'est pas un problème de "fantaisie dans les représentations", mais un problème d'absence de représentation. C'est très différent du Père Noel qui est justement un fantasme chargé d'affects. Je ne crois pas du tout que ce problème sera réglé d'ici quelques années.

[GillesH38]

Bref tu penses qu'un truc qui n'a pas de corps, pas faim, pas soif, pas froid, pas chaud, pas envie de faire pipi, ni caca, pas de désir sexuel, pas de parents, pas de famille, pas de patrie, pas de relation affective avec personne, qui ne rêve pas, qui n'est jamais en colère, qui n'est jamais fatigué, qui n'a aucun goût pour aucun aliment, qui n'a jamais mal, n'est jamais amoureux, ne se sent jamais blessé ni ému par une parole, n'aura aucun problème pour se conduire comme un être humain tout à fait normal ?

[Jeuf]

n'aura aucun problème pour se conduire comme un être humain tout à fait normal ?

Non, il n'aura pas une conduite " d'humain normal", si ça existe.
Revenons à la base : un système, pour perdurer doit se maintenir se reproduire, en utilisant matière et énergie accessibles, et doit pouvoir fournir plus d'énergie . Sinon il redevient minéral inerte (pour ce qui est des objets matériels)
C'est le cas des écosystèmes terrestres basées sur l'utilisation des matières minérales du sol, c'est le cas des société humaines et leurs systèmes économiques.
Ce n'est pas encore le cas des IA, mais une transition à long terme peut être imaginée vers des machines auto-reproductibles sans intervention humaine, même s'il reste pas mal de chemin.
Et avec ou sans affects, on ne sait pas encore.

[GillesH38]

si tu veux juste ça, y a les limaces aussi.
Mais en fait ces systèmes n'existent que parce qu'ils ont été sélectionnés par l'évolution naturelle, ce qui suppose deux choses :
a) un mécanisme de mutation aléatoire
b) un mécanisme de sélection de ce qui survit

c'est d'ailleurs ce qui est fait parfois dans des programmes de robots qui simulent des mutations aléatoires et gardent ce qui marche (typiquement les IA qui ont appris à jouer au go en essayant plein de coups et en gardant ceux qui marchaient).

Sauf que ça n'a rien à voir avec le monde physique, l'ordinateur physique n'évolue pas et ne se reproduit pas. Ces simulations fonctionnent dans un monde virtuel mais pas dans le monde physique. Je ne vois pas avec la technique actuelle ce qui permet de faire ça .

[Jeuf]

Sauf que ça n'a rien à voir avec le monde physique, l'ordinateur physique n'évolue pas et ne se reproduit pas. Ces simulations fonctionnent dans un monde virtuel mais pas dans le monde physique. Je ne vois pas avec la technique actuelle ce qui permet de faire ça .

Justement, c'est l'étape à venir : que ces ordinateurs conçoivent et pilotent des machines qui agissent dans le monde physique, en vue de se produire à nouveau eux-mêmes physiquement. Ce n'est en effet pas dans les possibilités de la techniques actuelles, et ça demande de mobiliser des ressources très importantes (avec des mines de métaux divers sur toute la planète, et toutes sortes d'usines), je dis que ça peut être envisagé partant des dernières nouveautés que nous voyons dans le domaine de l'IA.

[GillesH38]

mais ça n'a rien à voir avec les techniques utilisées pour les LLM (le GPT justement ou "generative pre trained transformer" qui est un truc à générer des données virtuelles mais n'a rien à voir avec la maitrise du monde physique. Ce qui est marrant c'est qu'à partir du moment où il s'est mis à "bien parler", on a le sentiment que beaucoup de gens se sont "ah si il parle bien c'est qu'il comprend tout et si il comprend tout il va pouvoir se débrouiller dans la vie et faire tout comme des humains et même mieux" alors que ça n'a rien à voir avec ça (cf par exemple ses piètres performances en calcul par rapport à un ordinateur déterministe).

[Jeuf]

Il parle bien mais ça reste un bébé (et au contraire des bébé humains, qui ne parlent même pas), très loin de pouvoir se débrouiller seul. Il est peut-être sur la voie de se débrouiller seul (se reproduire), on ne sait pas, c'est tôt pour le dire.
quand je parle d'auto-reproduction, je parle pas de llm mais d'IA de façon plus large.

ChatGPT est à comparer avec un humain pour le calcul, pas avec un ordinateur. Le niveau des humains est pas au top.

Largement moins difficile que le fait de lui adjoindre un module de visio et audio, lui donner une calculette résoudra ce point qui te chagrine. Je ne sais pas pourquoi ça n'a pas été fait jusqu'à présent, je ne vois pas en quoi ce serait difficile, peut-être pour garder l'authenticité de la pure génération de langage. Je lui demande ce soir, si j'y pense...

[GillesH38]

Il parle bien mais ça reste un bébé (et au contraire des bébé humains, qui ne parlent même pas), très loin de pouvoir se débrouiller seul. Il est peut-être sur la voie de se débrouiller seul (se reproduire), on ne sait pas, c'est tôt pour le dire.

absolument pas, générer des caractères ascii n'a strictement rien à voir avec fabriquer des semi-conducteurs, d'ailleurs tes aptitudes à te reproduire n'ont rien à voir non plus avec le fait que tu parles un langage.

De toutes façons chatGPT n'est même pas un organisme, c'est un ensemble de logiciels qui tourne sur des serveurs délocalisés donc on voit même pas ce que ça voudrait dire "se reproduire".

[Jeuf]

absolument pas, générer des caractères ascii n'a strictement rien à voir avec fabriquer des semi-conducteurs,

donc dans la formation d'un enfant futur ingénieur de STmicroélectronique, apprendre à écrire et manier la grammaire n'a servi à rien , il faut rester focus sur le façonnage du silicium.

d'ailleurs tes aptitudes à te reproduire n'ont rien à voir non plus avec le fait que tu parles un langage.

Pas facile de se reproduire seul quand on ne sait pas se bouturer ou se marcotter.
En général, on est en interaction avec d'autres, ce qui requiert un langage commun.

De toutes façons chatGPT n'est même pas un organisme, c'est un ensemble de logiciels qui tourne sur des serveurs délocalisés donc on voit même pas ce que ça voudrait dire "se reproduire".

C'est ce que j'essaye d'expliquer, et je me répète sans cesse. La reproduction ne concerne pas chatGPT, mais ce que j'évoque est la possibilité de l'autoreproduction, disons, du système robotico-informatique, de la mine à l'usine de circuit électronique et la programmation. Les serveurs seraient les cerveaux centraux qui commanderaient des robots plus ou moins autonomes, plus ou moins sachant, qui voient et agissent selon ce qu'ils voient et selon ce qu'il ont compris du monde.