IA Intelligence Artificielle

[Silenius]

Le probleme c'est que le modele est stocke dans la SRAM de chaque puce, limitee a 230 MB (de la memoire cache tres chere) . Donc pour charger un modele de 80 GB, il faut un serveur qui contient 80000/230=348 puces.

[tita]

Le probleme c'est que le modele est stocke dans la SRAM de chaque puce, limitee a 230 MB (de la memoire cache tres chere) . Donc pour charger un modele de 80 GB, il faut un serveur qui contient 80000/230=348 puces.

Mais avec un LLM comme Mixtral 8x7b, qui ne nécessite pas que l'entièreté des paramètres soient chargé dans la mémoire cache mais seulement la partie pertinente au prompt, ça ne nécessite pas autant de puces?

Et accessoirement, on peut imaginer des applications qui ne demandent pas de modèles énormes. Je ne sais pas comment vont être utilisés ces LLM.

[Silenius]

Je ne sais pas si les modeles MoE Mixture of Experts peuvent etre charges partiellement, mais avec de petits modeles performants et suffisants pour certaines applications, ca devrait convenir. J'ai lu que le serveur complet compte 576 puces et coute 600 000 euros pour un cout de 25 euros/token/sec. Un A80 non optimise coute 35 euros/token/sec et optimise 2,5 euros/token/sec.

[tita]

pour un cout de 25 euros/token/sec.

Je comprends pas ce que ça veut dire.

Sinon, oui, le MOE à charger deux ensembles de paramètres sur 8 pour générer un token.

[energy_isere]

Les résultats de Nvidia s’envolent sous l’effet de la bulle IA... mais cela peut-il durer ?

Porté par la vague de l’IA, Nvidia voit ses résultats exploser avec un chiffre d’affaires en bond de 126% et un bénéfice net multiplié par sept sur le dernier exercice fiscal. Cette ascension devrait se poursuivre dans les deux années à venir, mais à un rythme de moins en moins soutenu.

https://www.usinenouvelle.com/article/l ... a.N2208604

[Glycogène]

Je comprends pas ce que ça veut dire.

C'est comme le coût des Wc pour un panneau PV.
A 25 €/token/s, un serveur capable de générer 10 000 token/s coûte 250 000 € (j'imagine que c'est juste le hardware, il faut ajouter l'électricité et la clim).

[tita]

Je comprends pas ce que ça veut dire.

C'est comme le coût des Wc pour un panneau PV.
A 25 €/token/s, un serveur capable de générer 10 000 token/s coûte 250 000 € (j'imagine que c'est juste le hardware, il faut ajouter l'électricité et la clim).

Merci.

[energy_isere]

Google met en pause Gemini, son IA génératrice d’images accusée de réécrire l’histoire

24 fev 2024
Google a annoncé jeudi suspendre la création d'images de personnes sur son outil d'IA générative Gemini, accusé de propager des inexactitudes, notamment en matière de genre et de diversité pour des sujets historiques.
........................

lire https://www.capital.fr/economie-politiq ... re-1492655

[Silenius]

La start-up Magic a annonce en prive avoir un systeme qui est capable d' "active reasoning" , c'est a dire d'utiliser la logique pour resoudre de nouveaux problemes, plutot que de mimer les donnees d'entrainement.

[GillesH38]

bah il me semblait que ça existait depuis longtemps, en revanche ce n'est pas performant pour produire du langage élaboré.

Le problème c'est de tout concilier, par exemple ta calculette de bureau sait très bien te calculer une racine carrée mais elle ne te parle pas, et chatGPT te parle mais ne sait pas calculer une racine carrée.

[LeLama]

Oui, les explorateurs de logique existent depuis longtemps.
Par exemple ici : https://coq.inria.fr/

La premiere version date de 1984, c'est pas jeune.

[Silenius]

Oui, mais ici aussi bien le probleme que le raisonnement et la reponse seraient en langage naturel.

[GillesH38]

ah oui ça ne repose pas du tout sur le principe GPT ? tu vas nous faire croire qu'une Start-up annonce "en privé" avoir trouvé comment faire une IA forte ?

[LeLama]

J'ai deja donné l'exemple du paradoxe du mot, bien connu en psycho cognitive, qui montre que le fonctionnement du cerveau humain est massivement parallele, et top-down, plutot que bottom up, ce qui en fait un objet tres different d'un ordinateur.

Je vais donner un autre exemple, que j'ai appris récemment sur les joueurs d'echecs. On s'imagine parfois qu'ils calculent plein de trucs dans tous les sens comme un super ordi. Ce n'est pas du tout le cas en fait. Kramnik, alors champion du monde, s'est pris un mat celebre en un coup contre une machine. Le meilleur joueur Francais de tous les temps, Vachier-Lagrave disait que ses parties de blitz ne sont pas forcement moins bonnes que ses parties longues, car presque tous les coups qu'il joue sont les coups qui lui viennent en premiere intention.

Le truc marrant que j'ai appris est que ce qui differencie le plus un bon joueur d'un joueur mediocre est la capacité a remettre les pieces a la bonne place quand on montre une position. Une experience a montré que les maitres reproduisaient 90% des positions qui leur sont montrées du premier coup, tandis que les autres participants de l'etude ne reproduisaient que 40% des positions au premier coup.

On pourrait tenter de donner une explication en termes de mémoire. Oui et non. D'abord, ici aussi, il faut enlever le mythe du surhomme capable d'absorber des quantités de donnees sans commune mesure avec les autres. Si on montre des lettres ou des chiffres desordonnées a un etre humain, il peut en retenir entre 5 et 9, et a peu pres tout le monde tourne autour de 7. En revanche, quand les donnees sont structurées, on peut retenir plus que 7 informations. Par exemple, si on donne 5 mots, c'est facile a retenir, ca fait beaucoup plus que 7 lettres. Dit autrement, on peut retenir quelques informations non liées, mais chaque information (exemple un mot) peut contenir beaucoup de sous-informations (les lettres).

Et ce phenomene se passe aussi aux echecs. Chase et Simon en 73 ont fait une experience suggerant que les maitres ont surtout un meilleur regroupement fonctionnel des pieces. Les joueurs regroupent les pieces par paquet fonctionnel comme on regroupe les lettres dans un mot ayant du sens. Sous l'hypothese que les temps de pause constituaient les limites des paquets, on a mesuré que les maitres faisaient en moyenne 7.7 paquets tandis que les joueurs de classe A faisaient 5.7 paquets, et les debutants 5.3.

Ce que montre cet exemple a mon sens, c'est que l'etre humain n'a ni memoire de travail ( 7 cases, c'est ridiculement petit), ni capacité de calcul. Mais qu'il a une énorme capacité esthétique à identifier des structures fonctionnelles. Il y a un processus de transformation interne d'un signifiant ( les pieces sont dans telles positions) vers un signifié ( la sensation de ce que la position des pieces va impliquer comme dynamique dans la partie). Alors que le signifiant a beaucoup de sous-données, le signifié est pour le cerveau humain comme un objet elementaire.

Je suis assez convaincu par cette interpretation de Chase et Simon sur les regroupements de piece parce que ca correspond a ma sensation quand je fais des maths. Les preuves, même de très haut niveau, ont presque toujours un petit nombre d'arguments et sont simples quand tu as travaillé. Mais c'est vrai parce qu'on a travaillé précédemment et que chaque argument est préalablement digéré pour représenter une information élémentaire. Du coup, on peut resumer la preuve de facon tres simple en disant l'etape 1, c'est ça , etc, l'étape 5 c'est ca. Si on n'est pas du sujet et qu'on est obligé de développer chaque étape en 5 sous-arguments, on passe par exemple de 5 points difficiles a 25 points difficiles dans la preuve, et personne au monde ne se sent a l'aise ou confiant avec une telle complexité.

Pour l'instant je ne vois rien dans l'IA qui pourrait reproduire cette capacité de fonctionnement du cerveau humain qui reduit la complexité de facon drastique en un petit nombre d'arguments. L'IA au contraire repose sur des calculs gigantesques et une memoire enorme, c'est un peu pour moi tout le contraire d'un etre humain. Et je ne vois pas pourquoi dans ce contexte on pourrait esperer que l'IA reproduise les capacités d'un humain. Sur la memoire et le calcul, une machine ecrabouille un humain. Mais sur la reduction de complexité par perception fonctionnelle, un humain ecrabouille les machines.

[GillesH38]

Une autre illustration qu'on "ne fonctionne pas pareil"

User
peux tu me multiplier 24 par 67?

ChatGPT
Bien sûr ! 24 multiplié par 67 égale 1 608.

User
bien et 246 fois 365 ?

ChatGPT
246 multiplié par 365 égale 89 790.

User
bien et 3456 fois 2389 ?

ChatGPT
3456 multiplié par 2389 égale 8 258 784.

les deux premières sont justes, la troisième est fausse, la bonne réponse est 8 256 384 (notons cependant que les premiers et derniers chiffres sont bons, c'est le milieu qui ne l'est pas).

La plupart des humains n'auraient pas répondu à la première, certains y arrivent, beaucoup plus rarement la deuxième, sans doute quelques génies calculateurs la troisième très rarement, mais alors probablement juste.

Ce que ça dit c'est que chatGPT n'a pas de calculateur mathématique exact (sinon il ne se tromperait pas), mais est meilleur que l'humain pour faire certains calculs. Il repose sur le langage c'est à dire qu'il associe les chiffres a des caractères et a très probablement "appris" statistiquement qu'un chiffre se terminant par le caractère 6 par un chiffre se terminant par le caractère 9 se termine par le caractère 4 (il n'y a pas besoin de donner une valeur numérique pour repérer ça) , et ça marche même assez étonnamment bien (pour un humain) jusqu'à des nombres de 5 à 6 chiffres, mais au delà il se perd. Alors que l'humain ne fait pas ça, il cherche à faire des calculs précis (mais c'est difficile de tête et il peut éventuellement aussi se tromper bien sur).

C'est juste une illustration que si chatGPT ressemble superficiellement à l'humain, il ne fonctionne fondamentalement pas pareil.