IA Intelligence Artificielle

[energy_isere]

Et un transistor c'est pas une résistance donc le courant qui baisse ne fait pas baisser la tension.

Quel est l'effet d'une baisse de la capacitance du gate ?

Permettre d'augmenter la fréquence. Réduit la puissance perdue qui est en 1/2xCxV^2xf.

[Glycogène]

Ben non les portes logiques en CMOS dans le Silicium sont déjà à des voltage très faible, typiquement 0.9 Volt.
En dessous ca ne marche plus. Dans quelques noeuds technologiques ca sera peut étre 0.7 Volt, mais pas 100 fois moins.

Dans ma boite, on a développé une IP qui permet d'utiliser facilement le body biasing en techno FDSOI.
En gros, on vient polariser toute la surface sous les transistors, mais isolé des transistor par de l'oxyde de silicium (pas juste une diode), ce qui modifie grandement les caractéristiques du CMOS.
Ca permet par exemple en techno 22 nm (ouhlala c'est gros !) de faire tourner un petit CPU à 100 MHz, à 0,5 V ! Ce serait 50 ou 100 kHz sans le body biasing, car un CMOS marche quand même sous la tension de seuil, mais la perf tombe rapidement dans les kHz.
L'IP qu'on a développé permet d'asservir la tension de body biasing à la perf en fréquence souhaitée. Du coup, plus besoin de s'inquiéter du vieillissement du chip et autres dérives en fabrication, les perfs en fréquence restent identiques.

[Silenius]

(le gros de la consommation est dans l’entraînement, pas dans les inférences).

Alors non. Il est vrai que l’entraînement est extrêmement energivore mais il n'a lieu qu'une fois. Le modele va ensuite tourner pendant environ un an et servir des millions de clients 24h/24, la conso initiale se trouve donc tres diluee au point de devenir negligeable (c'est un truc que j'ai lu, mais flemme de rechercher la source, enfin pas plus que toi )

Figure A.

https://epochai.org/blog/trading-off-co ... -inference

Point 15, ils disent cela :

So the cost of training is only 1/10rd the cost of inference over a year.

Sinon comme news, Apple vient de publier un papier sur une technique qui permet d'executer rapidement un LLM avec peu de RAM (comme sur un smartphone, par ex ) https://arxiv.org/abs/2312.11514
VideoPoet de Google peut generer des videos aussi longues que l'on veut en ajoutant de nouveaux prompts.
Midjouney V6 beta genere des images plus realistes et suit mieux les prompts complexes.

[tita]

Mais on dirait que le coeur de notre désaccord est sur l’empreinte de l’IA. Perso je ne vois pas beaucoup d’activités actuelles avec une empreinte meilleure, alors que tu sembles penser le contraire. Est-ce que tu penses qu’on pourrait se mettre d’accord sur des observables pour trancher cette question?

Ben y'a pas grand chose à observer sur l'IA actuellement. On est encore dans la spéculation. Et j'essaie d'observer globalement.

L'informatique a considérablement réduit la consommation de la puissance de calcul. Mais la consommation de l'informatique dans le monde a dans le même temps explosé avec sa démocratisation.

Je pars du principe qu'il en sera de même avec l'IA. Et tu ne vas pas me faire changer d'avis.

Je suis d’accord avec ce point, déçu que tu passes à côté du point intéressant, vexé que tu me prennes pour un prosélyte.

Bien sûr qu'un ordi est plus intéressant en terme de rendement énergétique qu'une armée de calculateurs humains équipés de règles à calcul...

C'est ça ton "point intéressant"?

[Jeudi]

D'où sors-tu qu'on pourrait gagner un facteur 100 dans la tension des coeurs des processeurs d'IA (ou de n'importe quel processeur) ?
On peut baisser la tension bien sûr, mais pas d'un facteur 100. En sachant que la perte de performance est exponentielle quand on atteint la tension de seuil des transistors.
Par contre on peut peut être gagner un facteur 100 ou 10000 en conso sur une architecture sur laquelle aucune ou très peu d'optimisation de power a été mise en place, mais une fois que c'est fait les gains suivants sont plus limités (mais intéressants quand même). Attention, ces gains énormes sont obtenues dans le cas d'une utilisation intermittente d'un coeur (du genre utilisé 1% du temps => on peut diviser la conso par 100). Mais si on a une architecture et un algo qui optimise à fond l'utilisation du hardware pour gagner du temps de calcul, on ne pourra pas obtenir un gain si important à techno égale (et en changeant de techno on n'a pas des gains si énormes, même si ça reste intéressant quand on divise la conso par 2 ou 5). Malgré tout, c'est toujours utile de mettre en place des systèmes d'optimisation de conso dans les chip.

Oui, absolument. +1

Figure A.

https://epochai.org/blog/trading-off-co ... -inference

Point 15, ils disent cela :

So the cost of training is only 1/10rd the cost of inference over a year.

Sinon comme news, Apple vient de publier un papier sur une technique qui permet d'executer rapidement un LLM avec peu de RAM (comme sur un smartphone, par ex ) https://arxiv.org/abs/2312.11514
VideoPoet de Google peut generer des videos aussi longues que l'on veut en ajoutant de nouveaux prompts.
Midjouney V6 beta genere des images plus realistes et suit mieux les prompts complexes.

Mes erreurs, merci à vous trois.

Ben y'a pas grand chose à observer sur l'IA actuellement. On est encore dans la spéculation. Et j'essaie d'observer globalement.

L'informatique a considérablement réduit la consommation de la puissance de calcul. Mais la consommation de l'informatique dans le monde a dans le même temps explosé avec sa démocratisation.

Je pars du principe qu'il en sera de même avec l'IA. Et tu ne vas pas me faire changer d'avis.

Je suis d’accord avec ce point, déçu que tu passes à côté du point intéressant, vexé que tu me prennes pour un prosélyte.

Bien sûr qu'un ordi est plus intéressant en terme de rendement énergétique qu'une armée de calculateurs humains équipés de règles à calcul...

C'est ça ton "point intéressant"?

Non.

[tita]

Non.

Alors désolé, mais je n'ai pas compris.

[Silenius]

Suno peut generer une chanson entiere avec les vocaux https://www.youtube.com/watch?v=HX3NTU5zNUg
Stable Diffusion XL Turbo peut generer 100 images/sec https://www.youtube.com/watch?v=Iol2rb65aSk

[Jeudi]

Alors désolé, mais je n'ai pas compris.

Mon point est qu’on devrait pouvoir trouver des observables pour déterminer quand les activités déplacées par l’IA ont une empreinte nettement plus forte, nettement plus faible, ou pour lesquelles ça dépend de la taille de l’effet Jevons. Par exemple, si on prend le taxi autonome, qui est pour l’instant un marché de niche, combien faudrait-il de déplacement supplémentaire pour compenser le gain environnemental de partager les autos (moins l’empreinte du système embarqué, plus le gain d’éviter 6/7 des accidents)?

[tita]

Alors désolé, mais je n'ai pas compris.

Mon point est qu’on devrait pouvoir trouver des observables pour déterminer quand les activités déplacées par l’IA ont une empreinte nettement plus forte, nettement plus faible, ou pour lesquelles ça dépend de la taille de l’effet Jevons. Par exemple, si on prend le taxi autonome, qui est pour l’instant un marché de niche, combien faudrait-il de déplacement supplémentaire pour compenser le gain environnemental de partager les autos (moins l’empreinte du système embarqué, plus le gain d’éviter 6/7 des accidents)?

Bah, le vélo bat tous les autres transports (même la marche) en terme d'empreinte...

Notre conversation me fait penser au post de mobar:

http://www.oleocene.org/phpBB3/viewtopi ... 7#p2381937

[Jeudi]

Alors désolé, mais je n'ai pas compris.

Mon point est qu’on devrait pouvoir trouver des observables pour déterminer quand les activités déplacées par l’IA ont une empreinte nettement plus forte, nettement plus faible, ou pour lesquelles ça dépend de la taille de l’effet Jevons. Par exemple, si on prend le taxi autonome, qui est pour l’instant un marché de niche, combien faudrait-il de déplacement supplémentaire pour compenser le gain environnemental de partager les autos (moins l’empreinte du système embarqué, plus le gain d’éviter 6/7 des accidents)?

Bah, le vélo bat tous les autres transports (même la marche) en terme d'empreinte...

Tu vois un changement dans l’utilisation du vélo avec l’IA? Genre moins d’auto => plus de sécurité => plus de cyclistes, ou genre plus d’autopartage => taxi moins chers => moins de cyclistes?

Notre conversation me fait penser au post de mobar:

Désolé mais je ne vois pas le rapport. Tu cherches une façon polie de dire que c’est de la merde?

[mobar]

Bah, le vélo bat tous les autres transports (même la marche) en terme d'empreinte...

Et le fait que le vélo ne soit pas le mode de transport majoritaire, prouve s'il en était besoin que la notion d'empreinte n'a toujours aucune pertinence
D'ailleurs si ce n'était pas le cas bon nombre d'activités n'existeraient même pas (voyages spatiaux, industries d'armement, colloques internationaux, publicité, films à gros budgets, netflix, forums internet ...)

[energy_isere]

Mark Zuckerberg veut une intelligence artificielle générale open source, et on n’y croit pas

Par Antoine Gautherie le 19 janvier 2024

Le patron de Meta est en train d’armer son entreprise pour qu’elle puisse concurrencer les ténors du secteur dans la course à l’intelligence artificielle généraliste. Il annonce aussi son attention d’adopter un modèle open source… mais il y a de quoi être sceptique.
.............................

lire https://www.journaldugeek.com/2024/01/1 ... croit-pas/

Mark Zuckerberg relance la course à l’IA générale: fuite en avant insensée ou coup marketing?
Le directeur de Meta a affirmé que son groupe planchait sur une super intelligence artificielle capable de tout faire, se plaçant dans la course avec Google et OpenAI. Mais ses propos doivent être tempérés, affirme une experte

le 19 janvier 2024 letemps.ch


Une nouvelle pièce dans la machine, une percée technologique importante en vue ou un simple coup marketing? Une chose est certaine, Mark Zuckerberg a réussi à faire parler de lui. Dans la nuit de jeudi à vendredi, le directeur de Meta (maison mère de WhatsApp, Facebook et Instagram) a évoqué sa volonté d’avancer sur la piste de l’intelligence artificielle générale (IAG) dans le cadre d’un entretien avec le site spécialisé The Verge. Une sorte de super IA, capable de tout faire, de «penser» par elle-même, de gérer des projets et de résoudre des problèmes complexes. L’occasion de faire le point sur une technologie au cœur de nombreux fantasmes.

https://www.letemps.ch/economie/mark-zu ... -marketing

et pour ça Meta aurait prévu d'acquérir 350 000 cartes H100 de Nvidia !
voir https://www.phonandroid.com/mark-zucker ... umain.html

[Silenius]

Deepmind publie AlphaGeometry, une ia qui a participe aux olympiades de maths. Elle a reussi a demonter 25 theoremes de geometrie sur 30, le meilleur score humain etait de 25,9/30.
https://www.numerama.com/tech/1610806-c ... iques.html
le code ici https://github.com/google-deepmind/alphageometry

Ils ont aussi fait de gros progrès sur la generation de code, l'astuce c'est de retarder la generation de la reponse a la fin de plusieurs essais et etapes de travail :
https://www.codium.ai/blog/alphacodium- ... -contests/

Sur l'ensemble de validation, par exemple, la précision du GPT-4 (pass@5) est passée de 19% avec une seule invite directe bien conçue à 44% avec le flux AlphaCodium. AlphaCodium surpasse également les travaux précédents, tels qu'AlphaCode, tout en ayant un budget de calcul nettement inférieur.

[LeLama]

Deepmind publie AlphaGeometry, une ia qui a participe aux olympiades de maths. Elle a reussi a demonter 25 theoremes de geometrie sur 30, le meilleur score humain etait de 25,9/30.

Je me suis dit "ah , pas mal". Mais en fait c'est de la grosse trichouille. Ils ont eu les enonces puis ont programme' les machines de ce que je comprends pour que la machine se confronte a un grand nb de pbs du meme type. C'est tres different d'avoir des pbs qu'on ne connait pas en avance. Une fois que les pbs sont compris et expliqué, ben y'a plus bcp de maths, c'est plutot de l'algorithmique, et plutot un des pbs les plus faciles pour les machines.

Disons, c'est une peu comme passer du systeme de notation romain au systeme decimal, il faut penser comment on organise les quantités par des regles symboliques et comment on fait les calculs. Mais une fois que qqun a compris et expliqué, c'est du niveau d'un enfant de 7 ans de faire des additions qui etaient autrefois compliquées sans le systeme décimal.

Faire une gamme de pbs accessibles a une machine avec un programme specifique, on sait faire ca depuis longtemps. Y'a des librairies qui font plein de choses a partir du moment ou t'es dans un environnement fermé a peu pres circonscrit. Il n'est pas dit si un programme sans IA ferait plus vite ou moins vite ou si y'a une difficulté particuliere. Peut etre que c'est une gamme de pb assez ouverts et pas facilement programmable, mais la comme ca, on est pas capable de dire si c'est du blabla ou un truc serieux.

[Jeudi]

]Ils ont aussi fait de gros progrès sur

Peux-tu nous expliquer pourquoi tu estimes que c’est un gros progrès? Le plus simplement possible STP, genre comme si tu t’adressais à une troupe de babouins.