ChatGPT et autres LLM

[GillesH38]

explique moi alors pourquoi ça marche pas sur des singes si c'est si simple à faire d'acquérir une conscience ?

[Silenius]

euh y.a juste un petit problème, c'est qu'on ne sait pas du tout comment "faire apprendre" à une IA un concept réel.

Non, mais on sait editer un modele a posteriori pour qu'il donne la reponse factuelle correcte. Le titre de la publication est assez alambiqué, mais Yannic Kilcher a fait une video dessus.

[Silenius]

Zéro pointé pour l'arithmétique.

Oui mais le probleme a ete contourne par une equipe en le liant au moteur https://www.wolframalpha.com/ (Mathematica) a l'aide de langchain : https://youtu.be/wYGbY811oMo?t=621

[energy_isere]

Zéro pointé pour l'arithmétique.

Oui mais le probleme a ete contourne par une equipe en le liant au moteur https://www.wolframalpha.com/ (Mathematica) a l'aide de langchain : https://youtu.be/wYGbY811oMo?t=621

ca a donc fait exactement ce que je pensais pour la suite, le coupler avec les instruments adéquats pour l'arithmétique et les maths.

[Silenius]

J'ai essayé d'aller pour la première fois sur le site de chatGPT et ça à l' air complétement embouteillé :

Peu de monde évoque en effet la puissance de calcul nécessaire à simplement faire tourner cette IA. C'est surtout que ce n'est pas divulgué. C'est pas anodin pourtant.

Un fil qui discute de ça:

https://twitter.com/tomgoldsteincs/stat ... 1955100694

Faut déjà 5 GPU (Nvidia A100, avec 80Gb chacun) rien que pour le faire tenir dans un système. C'est dû au nombre de paramètres. Et après, pour satisfaire toutes les demandes, y'a probablement un tas de serveurs chez Microsoft qui tournent rien que pour ça, surboostés aux GPU de Nvidia.

Il y a des LLM (large language model) similaires a chatgpt, en open source que tu peux telecharger et faire fonctionner sur ton PC : il faut 16 Gb de ram minimum et 600 Gb de ssd. Mais il lui faut 3 minutes pour generer un token (il y a environ 3,5 tokens par mot pour la langue anglaise) c'est donc tres lent car il passe son temps a transferer des donnees du ssd vers la ram.
Avec du "compute in memory" ou les unites de calcul (multiplication matricielle) seraient accolées au stockage, cela serait 1000 fois plus rapide et moins energivore.

[Silenius]

Zéro pointé pour l'arithmétique.

Oui mais le probleme a ete contourne par une equipe en le liant au moteur https://www.wolframalpha.com/ (Mathematica) a l'aide de langchain : https://youtu.be/wYGbY811oMo?t=621

ca a donc fait exactement ce que je pensais pour la suite, le coupler avec les instruments adéquats pour l'arithmétique et les maths.

Et autres taches que les maths, le modele pourra meme choisir l'outil le plus adapte pour resoudre la tache.
Exemple : utiliser Whisper pour comprendre une voix humaine dans un environnement tres bruyant, diriger la requete vers chatgpt et utiliser Dall-e ou StableDiffusion pour creer de magnifiques images !

[Silenius]

Par contre, toute question sur l'islam fait bugger ces systemes https://www.youtube.com/watch?v=Yb1UFNR_qPY , comme dit Majid, ils pratiquent la "Taq-IA"

[energy_isere]

Microsoft mise sur l'intelligence artificielle

FRANCE 24•24/01/2023

Microsoft va investir plusieurs milliards de dollars sur plusieurs années dans la startup OpenAI, à l'origine du générateur d'images Dall-E et du logiciel d'intelligence artificielle ChatGPT. Le groupe fondé par Bill Gates veut rattraper son retard face à ses concurrents et notamment Google.

https://www.boursorama.com/videos/actua ... 9576bba1be

[marocain]

Le truc c'est que comme il "apprend" sur des textes déjà existants, il ne fait que donner des réponses "moyennes", standards. Et effectivement ce n'est que du langage donc aucune vérification mathématique ou physique (dans une autre conversation il s'est planté d'un facteur 1000 sur le contenu carbone d'un TWh en me donnant celui d'un GWh); Donc pas du tout fiable sur les données scientifiques. Ca parait paradoxal parce qu'on pense qu'un ordinateur ne peut pas se tromper sur les maths mais là il ne fait pas de maths, il ne fait que reproduire du langage.

Du coup il peut être bon pour produire des textes standards, mais pas d'inventivité ni d'adaptation en temps réel aux nouvelles. On est admiratif parce qu'on ne pensait pas qu'un robot pouvait atteindre cette qualité d'expression, mais dans le fond je ne vois pas trop ce qu'il apporte....Comme je disais sur FS, l'intelligence pour un robot c'est d'arriver à faire comme la moyenne des hommes, mais l'intelligence pour un humain c'est d'arriver à s'en écarter

+1
ChatGPT est parfait pour remplacer un commercial ou un agent de marketing, il est capable de générer du texte creux à volonté.
Il sera parfait pour éviter aux étudiants de se taper les fastidieux mémoires à la con et autres rédactions débiles.
En revanche, il ne peut pas aujourd'hui remplacer un scientifique et encore moins un ingénieur ou technicien.

[marocain]

Par contre, toute question sur l'islam fait bugger ces systemes https://www.youtube.com/watch?v=Yb1UFNR_qPY , comme dit Majid, ils pratiquent la "Taq-IA"

cette IA a un biais gauchiste confirmé.

[tita]

Avec du "compute in memory" ou les unites de calcul (multiplication matricielle) seraient accolées au stockage, cela serait 1000 fois plus rapide et moins energivore.

Heu, c'est le principe des GPU de Nvidia intégrés dans des serveurs. Évidemment que c'est inefficace de faire tourner ces trucs sur des ordis persos. Tout comme c'était inefficace en 1995 de faire du rendu 3D sur les bécanes persos de l'époque.

Là, on externalise la puissance de calcul et la Big Tech cherche à vendre du temps de calcul désormais.

[LeLama]

Le truc c'est que comme il "apprend" sur des textes déjà existants, il ne fait que donner des réponses "moyennes", standards. Et effectivement ce n'est que du langage donc aucune vérification mathématique ou physique (dans une autre conversation il s'est planté d'un facteur 1000 sur le contenu carbone d'un TWh en me donnant celui d'un GWh); Donc pas du tout fiable sur les données scientifiques. Ca parait paradoxal parce qu'on pense qu'un ordinateur ne peut pas se tromper sur les maths mais là il ne fait pas de maths, il ne fait que reproduire du langage.

Du coup il peut être bon pour produire des textes standards, mais pas d'inventivité ni d'adaptation en temps réel aux nouvelles. On est admiratif parce qu'on ne pensait pas qu'un robot pouvait atteindre cette qualité d'expression, mais dans le fond je ne vois pas trop ce qu'il apporte....Comme je disais sur FS, l'intelligence pour un robot c'est d'arriver à faire comme la moyenne des hommes, mais l'intelligence pour un humain c'est d'arriver à s'en écarter

+1
ChatGPT est parfait pour remplacer un commercial ou un agent de marketing, il est capable de générer du texte creux à volonté.
Il sera parfait pour éviter aux étudiants de se taper les fastidieux mémoires à la con et autres rédactions débiles.
En revanche, il ne peut pas aujourd'hui remplacer un scientifique et encore moins un ingénieur ou technicien.

+1 aussi.
Ca fait penser aux etudiants qui ne comprennent rien. Tu leur poses une question precise, et ils repondent une géneralité vaguement liée à la question. Ils ne comprennent pas que cette reponse floue est non seulement une signature de leur ignorance, mais même une signature de l'absence de comprehension de la question.

Une autre signature des etudiants tres mauvais, c'est d'ecrire n'importe quoi plutôt que de ne pas répondre. En fait quand tu ne sais pas, tu ne dis rien, c'est le mieux. Ou tu dis precisement que tu fais un sous-cas et que c'est pas vraiment la reponse a la question. Mais tu ne devrais pas dire n'importe quoi. Et c'est exactement ce que fait chatgpt. Il invente pour avoir de la repartie en accolant les mots les uns aux autres, tant pis si c'est completement faux.

En revanche, il faut reconnaitre que si le fond est mauvais, la forme est vraiment bien léchée et la syntaxe est remarquable. Ca me fait penser a une intervention quand j'etais doctorant. Un mec est venu faire une intervention totalement creuse en parlant bien. Je le trouvais pathétique. Un vrai con a pavaner alors qu'il n'avait rien a transmettre. Et ma voisine de se pamer :"Qu'est ce qu'il parle bien !".

[marocain]

Ca me fait penser a une intervention quand j'etais doctorant. Un mec est venu faire une intervention totalement creuse en parlant bien. Je le trouvais pathétique. Un vrai con a pavaner alors qu'il n'avait rien a transmettre. Et ma voisine de se pamer :"Qu'est ce qu'il parle bien !".

dans le monde du business, cela fonctionne.
Un costume, une cravate, un mec rasé de près, grand et jeune et qui parle bien, et il peut vendre n'importe quoi, même une réforme des retraites.

[GillesH38]

Le truc c'est que comme il "apprend" sur des textes déjà existants, il ne fait que donner des réponses "moyennes", standards. Et effectivement ce n'est que du langage donc aucune vérification mathématique ou physique (dans une autre conversation il s'est planté d'un facteur 1000 sur le contenu carbone d'un TWh en me donnant celui d'un GWh); Donc pas du tout fiable sur les données scientifiques. Ca parait paradoxal parce qu'on pense qu'un ordinateur ne peut pas se tromper sur les maths mais là il ne fait pas de maths, il ne fait que reproduire du langage.

Du coup il peut être bon pour produire des textes standards, mais pas d'inventivité ni d'adaptation en temps réel aux nouvelles. On est admiratif parce qu'on ne pensait pas qu'un robot pouvait atteindre cette qualité d'expression, mais dans le fond je ne vois pas trop ce qu'il apporte....Comme je disais sur FS, l'intelligence pour un robot c'est d'arriver à faire comme la moyenne des hommes, mais l'intelligence pour un humain c'est d'arriver à s'en écarter

+1
ChatGPT est parfait pour remplacer un commercial ou un agent de marketing, il est capable de générer du texte creux à volonté.
Il sera parfait pour éviter aux étudiants de se taper les fastidieux mémoires à la con et autres rédactions débiles.
En revanche, il ne peut pas aujourd'hui remplacer un scientifique et encore moins un ingénieur ou technicien.

+1 aussi.
Ca fait penser aux etudiants qui ne comprennent rien. Tu leur poses une question precise, et ils repondent une géneralité vaguement liée à la question. Ils ne comprennent pas que cette reponse floue est non seulement une signature de leur ignorance, mais même une signature de l'absence de comprehension de la question.

+1 aussi, ChatGPT m'a irrésistiblement fait penser à un étudiant doué d'une grande mémoire et maîtrisant bien son langage, mais qui ne comprend rien sur le fond. Il est à la fois capable de répondre sur tout et de sortir des erreurs énormes. Parfois très surprenantes et qui interrogent sur la façon dont son algorithme fonctionne. Par exemple je lui ai demandé "quelle est la capitale de la France?" , il me répond très correctement "la capitale de la France est Paris". Après je lui demande de me sortir les initiales de chaque mot de sa réponse précédente. Et il me sort un truc du genre (je ne me rappelle plus exactement) Q E L E L A C A P I T.... c'est à dire qu'il commence bien (donc il semble avoir "compris" ce qu'on lui demande et tout à coup commence à bugger et sort la liste des lettres au lieu des initiales. C'est très surprenant, on ne voit pas un humain "commencer à comprendre" et ensuite ne plus comprendre. Ca montre qu'il est très loin de fonctionner comme un humain.

[marocain]

+1
ChatGPT est parfait pour remplacer un commercial ou un agent de marketing, il est capable de générer du texte creux à volonté.
Il sera parfait pour éviter aux étudiants de se taper les fastidieux mémoires à la con et autres rédactions débiles.
En revanche, il ne peut pas aujourd'hui remplacer un scientifique et encore moins un ingénieur ou technicien.

+1 aussi.
Ca fait penser aux etudiants qui ne comprennent rien. Tu leur poses une question precise, et ils repondent une géneralité vaguement liée à la question. Ils ne comprennent pas que cette reponse floue est non seulement une signature de leur ignorance, mais même une signature de l'absence de comprehension de la question.

+1 aussi, ChatGPT m'a irrésistiblement fait penser à un étudiant doué d'une grande mémoire et maîtrisant bien son langage, mais qui ne comprend rien sur le fond. Il est à la fois capable de répondre sur tout et de sortir des erreurs énormes. Parfois très surprenantes et qui interrogent sur la façon dont son algorithme fonctionne. Par exemple je lui ai demandé "quelle est la capitale de la France?" , il me répond très correctement "la capitale de la France est Paris". Après je lui demande de me sortir les initiales de chaque mot de sa réponse précédente. Et il me sort un truc du genre (je ne me rappelle plus exactement) Q E L E L A C A P I T.... c'est à dire qu'il commence bien (donc il semble avoir "compris" ce qu'on lui demande et tout à coup commence à bugger et sort la liste des lettres au lieu des initiales. C'est très surprenant, on ne voit pas un humain "commencer à comprendre" et ensuite ne plus comprendre. Ca montre qu'il est très loin de fonctionner comme un humain.

ChatGPT c'est la compilation de tous les "savoirs" du net (forum y compris) tenus en anglais.
Donc pas étonnant qu'il y a des erreurs.