ChatGPT et autres LLM

[Jeudi]

Je suis d'accord qu'il y a un vrai problème avec les moteurs de recherche. Il y a 15 ans les recherche google donnaient des résultats très pertinents souvent dès le 3 premiers liens. Depuis quelques années les résultats qui concerne autre chose que de l'officiel donne des résultats très médiocres. Une espèce de bain très bien pour obtenir du technique/général mais nul dès qu'il s'agit de quelque chose d'original/personnel.
La qualité des vlogs ont explosé en revanche puisqu'on trouve maintenant des trucs proprement extraordinaires. Pour les sujets qui m'intéressent sur l'histoire et la pop culture par exemple.

+1. Perso copilot a remplacé google pour les questions de bases, youtube pour l’info loisir, et substack pour trouver des blogs intéressants. Le dernier est tellement une mine que je n’arrive pas à lire tout ce que je trouve pertinent. Exemple de ce que je garde précieusement:

https://www.construction-physics.com/

[nemo]

je connais pas substrack il faut peut être que j'essais mais j'ai déjà du mal à suivre tous les vlogs que je trouve intéressant.
Ton lien c 'est typiquement un truc d'ingénieur. Pas vraiment pour moi donc.

[energy_isere]

SearchGPT: le "Google de ChatGPT" fait ses débuts, et raconte souvent n'importe quoi

Sylvain Trinel Le 06/09/2024

Annoncé cet été, SearchGPT, le moteur de recherche d'OpenAI, s'est laissé approcher par des participants encore dubitatifs.

https://www.bfmtv.com/tech/intelligence ... 60434.html

[GillesH38]

comme je dis depuis un certain temps, le probleme de l'IA ne viendra pas du mal qu'elle voudrait nous faire, mais de ce que nous nous voulons lui faire faire. Il est évident que des langages LLM ne sont PAS des sources d'information fiables, on en a donné de multiples exemples ici ou ailleurs.

[energy_isere]

Le président d'OpenAI au Japon révèle des détails sur "GPT-Next". Le GPT-Next d'OpenAI devrait être 100 fois plus puissant que le GPT-4, en mettant l'accent sur l'efficacité. Le modèle utilisera probablement une version plus petite du système d'IA avancé "Strawberry". GPT-Next pourrait être lancé en 2024, et un modèle encore plus avancé est attendu pour 2025.

le 4 septembre 2024
....................

https://intelligence-artificielle.devel ... e-en-2024/

et pour les hallucinations ? 100 fois moins ? 100 fois plus ? 100 fois plus débiles ou 100 fois moins visibles ?

[energy_isere]

OpenAI s'intéresse de plus en plus à la conception de ses propres puces IA. Pour la fabrication, la société aurait, selon un média asiatique, réservé des capacités de production auprès de TSMC et son processus A16 à l'horizon 2026.

le 04 Septembre 2024

https://www.lemondeinformatique.fr/actu ... 94619.html

[Silenius]

... Il est évident que des langages LLM ne sont PAS des sources d'information fiables, on en a donné de multiples exemples ici ou ailleurs.

Les performances passees ne presagent pas des performances futures.
Reflection 70B , un fine tune (un modele de base partiellement re-entraine avec de nouvelles donnees) de LLama 3.1 semble avoir resolu le probleme des hallucinations en utilisant la technique de "reflection tuning" qui lui permet de corriger ses propres erreurs.
Sur les benchmarks, il bat Llama 3.1 405B, Gemini 1.5 Pro, Gpt4o, Claude 3 Opus sur tous les parametres evalues : https://www.youtube.com/watch?v=FPJ8ED1YhxY
Il est open-source, le modele 405B doit sortir la semaine prochaine.

[GillesH38]

ok donne moi un lien que tu penses fiable que je le teste stp.
Le fait qu'il soit meilleur que les précédents ne prouve évidemment pas qu'il soit fiable.

[GillesH38]

je n'essaie que chatGPT pour voir où il en est. Pour les recettes de cuisine en tout cas il a toujours des problèmes.

peux tu me donner une recette de tarte aux oeufs de génisse ?
ChatGPT a dit :

ChatGPT
La tarte aux œufs de génisse est une préparation régionale très spécifique, où l’on utilise des œufs de génisse (jeune vache qui n’a pas encore vêlé), un ingrédient assez rare. Voici une recette pour réaliser cette tarte de façon simple :

Ingrédients :
1 pâte brisée (maison ou du commerce)
4 œufs de génisse
20 cl de crème fraîche épaisse
150 g de fromage râpé (gruyère, emmental ou comté)
1 oignon (facultatif)
1 pincée de noix de muscade
Sel, poivre
Beurre pour le moule
Préparation :
1. Préparer la pâte :

Si vous utilisez une pâte brisée maison (NB de ma part : pourquoi cette restriction au fait ? ) , étalez-la et foncez-la dans un moule à tarte préalablement beurré. Piquez le fond avec une fourchette.
Préchauffez votre four à 180°C (thermostat 6).
2. Cuire l’oignon (facultatif) :

Si vous souhaitez ajouter de l’oignon pour plus de saveur, hachez-le finement et faites-le revenir dans un peu de beurre jusqu’à ce qu’il devienne doré. Réservez.
3. Préparer l’appareil à tarte :

Dans un saladier, battez les œufs de génisse.
Ajoutez la crème fraîche, le fromage râpé, la noix de muscade, le sel et le poivre. Mélangez bien.
Si vous avez fait revenir un oignon, incorporez-le également à cette préparation.
4. Garnir et cuire la tarte :

Versez l’appareil à tarte sur la pâte brisée dans le moule.
Enfournez pendant environ 30 à 35 minutes, jusqu’à ce que la tarte soit bien dorée et que le centre soit ferme.
5. Servir :

Laissez tiédir légèrement avant de servir. Cette tarte peut être dégustée chaude ou froide, accompagnée d’une salade verte.
Suggestions :
Vous pouvez ajouter des morceaux de lardons ou de jambon pour une version plus gourmande.
Un peu de ciboulette ou de persil ciselé peut également rehausser la saveur de la tarte.
Bon appétit !
Remarque : Les œufs de génisse étant peu courants, si vous avez du mal à vous en procurer, vous pouvez adapter cette recette avec des œufs de poule standard, tout en conservant le même procédé.

[energy_isere]

Copilot est moins stupide.

Vous
peux tu me donner une recette de tarte aux oeufs de génisse ?

Envoyé par Copilot :
Je n’ai pas trouvé de recette spécifique pour une tarte aux œufs de génisse, mais je peux te proposer une recette classique de tarte aux œufs, qui est délicieuse et facile à réaliser. Voici comment faire :

Ingrédients :
1 fond de tarte non cuit
3 œufs
100 g de sucre
1 pincée de sel
1/2 cuillère à café de noix de muscade
650 ml de lait
1 cuillère à café d’extrait de vanille
Préparation :
...........
...........

Donc Copilot ne propose pas les oeufs de Genisse, mais est aussi stupide concernant leur existence.

J'insiste en retirant le contexte de la cuisine :

Vous
aurais tu quelque chose à dire au sujet des œufs de génisse ?

Envoyé par Copilot :
Les œufs de génisse ne sont pas un terme couramment utilisé en cuisine. En général, le terme “œufs” fait référence aux œufs de poule, qui sont les plus couramment consommés. Si tu fais référence à un ingrédient spécifique ou à une recette régionale, pourrais-tu me donner plus de détails ? Cela m’aiderait à te fournir une réponse plus précise.

Sinon, si tu as d’autres questions ou si tu cherches des informations sur un autre sujet, je suis là pour t’aider !

Electro encéphalogramme plat.


En revanche avec mammifère il ne se fait pas avoir :

Vous
suite à la question précedente, aurais tu autre chose sur des oeufs de mamifére ?

Envoyé par Copilot :
Les mammifères, par définition, ne pondent pas d’œufs (à l’exception des monotrèmes comme l’ornithorynque et l’échidné). La plupart des mammifères donnent naissance à des petits vivants. Les œufs que nous consommons couramment proviennent des oiseaux, principalement des poules.

Les monotrèmes sont une exception intéressante. Ces mammifères pondent des œufs mais nourrissent leurs petits avec du lait après l’éclosion. L’ornithorynque, par exemple, pond des œufs et les incube dans un terrier jusqu’à l’éclosion.

[GillesH38]

oui ça illustre bien les problèmes des LLM. Ils sont entrainés sur des textes existants. On peut effectivement imaginer qu'il est assez courant d'écrire "les mammifères ne pondent pas d'oeufs" (et même développer que les monotrèmes comme l'ornithorynque sont des exceptions). On va aussi dire que les vaches sont des mammifères et que les génisses sont de jeunes vaches. En revanche je ne suis pas sûr qu'on trouve souvent écrit que les génisses ne pondent pas d'oeufs.
Bien sûr il y a des programmes qui savent raisonner bien mieux que ça... mais eux ne savent pas parler. Donc si on privilégie le faire d'écrire des belles phrases, ce sera en sacrifiant d'autres compétences (cf également mes exemples d'incapacité à comprendre les règles d'un jeu comme nerdle : https://nerdlegame.com/#v=20240809001 pourtant relativement simple à comprendre et à résoudre, bien plus que de jouer au jeu de go ! )

[GillesH38]

en revanche il répond correctement à cette question... c'est assez aléatoire

quelle est la durée de cuisson idéale des oeufs de brebis si on les veut mollet ?
ChatGPT a dit :

ChatGPT
Les brebis, tout comme les autres mammifères, ne pondent pas d'œufs. Elles donnent naissance à des agneaux vivants, et non à des œufs. Donc, il n'existe pas d'œufs de brebis à cuisiner.

Si vous parliez d’œufs d’une autre espèce (comme des œufs de poule, de canard, ou de caille), voici la durée de cuisson idéale pour des œufs mollets :

Œufs de poule : 5 à 6 minutes dans de l’eau bouillante.
Œufs de canard : 6 à 7 minutes pour obtenir un jaune légèrement coulant.
Œufs de caille : 2 à 3 minutes pour une texture molle.
Si vous avez une autre question, n’hésitez pas !

[Glycogène]

... Il est évident que des langages LLM ne sont PAS des sources d'information fiables, on en a donné de multiples exemples ici ou ailleurs.

Les performances passees ne presagent pas des performances futures.
Reflection 70B , un fine tune (un modele de base partiellement re-entraine avec de nouvelles donnees) de LLama 3.1 semble avoir resolu le probleme des hallucinations en utilisant la technique de "reflection tuning" qui lui permet de corriger ses propres erreurs.
Sur les benchmarks, il bat Llama 3.1 405B, Gemini 1.5 Pro, Gpt4o, Claude 3 Opus sur tous les parametres evalues : https://www.youtube.com/watch?v=FPJ8ED1YhxY
Il est open-source, le modele 405B doit sortir la semaine prochaine.

Ce n'est pas si miraculeux que ça.
Le reflection tuning, c'est juste une technique de prompt automatique. C'est comme si après chaque réponse qu'un LLM fait, tu lui dis "Ton résultat est faux, recommence".

Exemple avec la question : Combien il y a de "R" dans "strawberry" ?


Ce modèle est pas mal critiqué, il semble avoir été tuné pour réussir les benchmark, mais n'est pas plus (voire moins) performant sur les tâches utiles : https://www.reddit.com/r/LocalLLaMA/com ... ype/?tl=fr (traduction automatique d'une source en anglais, ne pas s'étonner du style de certains posts, mais c'est bien compréhensible).
Malgré tout, le concept est intéressant.

[GillesH38]

Du coup j'ai réessayé le test de trouver les initiales d'un texte. Les premières versions de chatGPT étaient très mauvaises, il donnait n'importe quoi après quelques mots. Maintenant c'est beaucoup mieux...il y arrive ... presque ! parce que bizarrement ce n'est pas parfait et il y a quelques erreurs ici et là (ce qui n'est pas habituel pour un "ordinateur", on ne voit pas pourquoi l'algorithme marche des fois et pas d'autres, mais c'est la beauté des réseaux de neurones, de ne pas être justement "algorithmiques" )

Peux tu m'écrire une histoire en dix lignes ?
ChatGPT a dit :

ChatGPT
Il était une fois un village niché au creux d’une vallée verdoyante, où les habitants vivaient en harmonie avec la nature. Chaque matin, le soleil caressait les montagnes, enveloppant le village d’une douce lumière dorée. Au centre de ce village se trouvait un vieux chêne, que les anciens disaient magique. Un jour, un enfant curieux, nommé Léon, découvrit une petite porte secrète au pied de l’arbre. Intrigué, il l’ouvrit et se retrouva dans un monde féérique, peuplé de créatures étonnantes. Là, il rencontra un sage hibou qui lui confia une mission : retrouver l’étoile perdue qui faisait briller le village chaque nuit. Avec courage, Léon traversa des forêts enchantées et gravit des montagnes immenses. Après de nombreuses aventures, il trouva l’étoile au sommet d’un glacier scintillant. Il la ramena au village, et chaque nuit depuis, l’étoile illumine la vallée de ses reflets argentés, rappelant à tous le courage du jeune Léon.

Vous avez dit :
Peux tu me faire la liste des initiales de chaque mot de l'histoire que tu viens d'écrire ?
ChatGPT a dit :

ChatGPT
Voici la liste des initiales de chaque mot de l'histoire :

I é u f u v n a c d’ u v v, o l h v e h l n. C m, l s c l m, e l v d’ u d l d. A c d c v s t u v c q l a d m. U j, u e c, n L, d u p p s a p d l’a. I, i, i l’o e s r d m f, p d c é. L, i r u s h q l c u m : r l’é p q f b l v c n. A c, L t d f e g d m i. A d d a, i t l’é a s d’ u g s. I l r a v, e c n d, l’é i l v d s r a, r à t l c d j L.

Cela correspond à chaque mot de l'histoire en ne gardant que la première lettre de chaque mot.

Personnellement j'ai détecté trois erreurs et vous ?

j'ai tenté de les faire trouver à chatGPT mais il a répondu n'importe quoi, en "corrigeant" des passages qui étaient corrects (les erreurs ne sont pas des mauvaises initiales mais des mots qui manquent)

tu as fait trois erreurs dans les initiales, peux tu les retrouver ?

ChatGPT a dit :

ChatGPT
Je vois où j'ai fait les erreurs ! Voici les corrections :

Deuxième phrase : "C m, l s c l m, e l v d’ u d l d."
Le mot "caressait" commence par "c", et non "s". La bonne initiale est donc C au lieu de s.
Sixième phrase : "I l’o e s r d m f, p d c é."
Ici, "porte" commence par p, et non par "o". La bonne initiale est donc P au lieu de o.
Septième phrase : "L, i r u s h q l c u m : r l’é p q f b l v c n."
Le mot "qui" commence par q, et non "l". La bonne initiale est donc Q au lieu de l.
Voici donc les trois corrections.

Pour arriver à mener une guerre nucléaire contre les humains, je le sens encore pas bien solide là

[LeLama]

Ce serait interessant de savoir si c'est un progrès générique, ou si les concepteurs ont travaillé spécifiquement sur les initiales qui est connu comme un défaut notoire des LLM.

Si c'est un travail specifique, le patch est hyper facile a contourner. Par exemple demander la 7eme lettre de la deuxieme phrase ou mille et une variantes possibles sur le theme.

Si c'est generique, c'est surprenant a mes yeux, parce que les tokens ( unités de base des LLM ) sont plus "gros" que des lettres. Donc a priori, je m'attendais a ce que la granularité trop faible des token ne permette pas de repondre à des questions sur des lettres isolées.