ChatGPT et autres LLM

[energy_isere]

Alibaba affirme avoir développé un modèle d'IA qui surpasserait ceux de DeepSeek et ChatGPT
Alibaba a annoncé mercredi 29 janvier une nouvelle version de son modèle d’IA Qwen 2.5, qui dépasserait celui de son concurrent DeepSeek. Ce dernier s’est lancé avec fracas une semaine plus tôt et a affolé les marchés américains.

REUTERS 29 janvier 2025

Alibaba ne veut pas se laisser devancer : l’entreprise technologique chinoise a dévoilé mercredi 29 janvier 2025 une nouvelle version de son modèle d'intelligence artificielle (IA) Qwen 2.5 qui, affirme-t-elle, surpasserait DeepSeek-V3. mais aussi les modèles d’IA open-source les plus avancés de ChatGPT (OpenAI) et de Llama (Meta).

Cette annonce, faite le jour du Nouvel An lunaire, une période habituellement marquée par les congés et les rassemblements familiaux en Chine, illustre la pression exercée par la start-up chinoise DeepSeek.

La sortie de son assistant d'IA DeepSeek-V3 le 10 janvier et de son modèle R1 le 20 janvier ont choqué la Silicon Valley et fait plonger les actions des entreprises technologiques. Les coûts de développement et d'utilisation prétendument faibles de la start-up chinoise ont incité les investisseurs à remettre en question les plans de dépenses considérables des principales entreprises d'IA aux États-Unis.

La surenchère des concurrents chinois

Le succès de DeepSeek incite par conséquent ses concurrents nationaux à renforcer leurs propres modèles d'IA. Deux jours après la sortie de DeepSeek-R1, ByteDance, propriétaire chinois de TikTok, a annoncé une mise à jour de son modèle d'IA phare. L’entreprise a également affirmé que son modèle surpassait l’o1 d'OpenAI, soutenu par Microsoft, dans le test AIME, une évaluation de la capacité des modèles à traiter et répondre à des instructions complexes.

Ces annonces ressemblent à l'affirmation de DeepSeek, selon laquelle son modèle R1 rivalise lui aussi avec l'o1 d'OpenAI sur plusieurs critères de performance. Par ailleurs, Bloomberg News a rapporté le 28 janvier que Microsoft et OpenAI enquêtaient afin de savoir si certaines de leurs données ont été exfiltrées par des personnes qu'ils pensent liées à DeepSeek.

https://www.usinenouvelle.com/article/a ... 3.N2226455

[LeLama]

Mais si une startup en Chine arrive à faire cette économie de moyens, qu'est ce qui va empêcher les tazus d'essayer de faire pareil ?

Savoir qu'une chose est possible est un super moyen de motiver les troupes. Je serais pas étonné que à l'été OpenAi progresse dans le même sens que cette équipe Chinoise.
Qu'en pensez vous ?

Si les chinois sont en avance, c'est qu'ils ont des avantages structurels. Ce n'est pas la volonté seule qui fait avancer un projet, ce sont des elements techniques. Ca peut etre le niveau des ingenieurs, ou le management qui leur laisse davantage de liberte', ou une focalisation sur les resutats universitaires plutot que sur les retours sur investissements directs... Quel que soit les atouts des chinois qui leur ont permis ce resultat, ces atouts ne vont pas disparaitre subitement. Surtout qu'il faut etre lucide, ca commence a etre vrai dans moult domaines. L'ia, mais aussi les voitures et l'electronique, ou les concours de piano ou l'envoi de satellites sur la lune.

Pour l'enseignment dans le superieur que je connais un peu, le systeme chinois va a l'opposé du notre. Chez nous, chaque annee depuis les annees Jospin, on "ramollit" les contenus et on pousse tout le monde a l'echelon superieur sans aucune selection. Ca va aller encore plus loin dans les annees qui viennent avec un enseignement par competences tres verbeux qui s'annonce. Les chinois ont a l'inverse une organisation ultra selective. Je connais une chinoise partie faire son doctorat aux USA parce que c'etait trop selectif en chine. Ce sont typiquement des faits sociétaux qui ne s'inversent pas par un simple volontarisme de qq mois.

[energy_isere]

IA : l'arrivée du Chinois DeepSeek est une lueur d'espoir pour les start-up européennes aux moyens limités

Boursorama avec Media Services •29/01/2025

https://www.boursorama.com/actualite-ec ... 63a798bac6

[energy_isere]

SoftBank en pourparlers pour mener le tour de table d'OpenAI, portant la valorisation à 300 milliards de dollars

par Krystal Hu, Anna Tong et Milana Vinn REUTERS 31 janvier 2025

SoftBank Group est en pourparlers pour mener un tour de financement allant jusqu'à 40 milliards de dollars dans OpenAI qui valoriserait le concepteur du robot conversationnel ChatGPT à 300 milliards de dollars (289,35 milliards d'euros), en incluant ces nouveaux fonds, selon des sources.


Il pourrait s'agir d'un record pour une entreprise non cotée en Bourse.

Cette levée de fonds interviendrait alors que la startup chinoise DeepSeek a surpris le monde entier en présentant un modèle d'intelligence artificielle (IA) à bas coût, remettant en question les attentes des acteurs occidentaux concernant le coût du développement et du déploiement de l'IA.

Cependant, SoftBank évalue OpenAI à 260 milliards de dollars avant le tour de table, contre 150 milliards de dollars il y a quelques mois, ont déclaré à Reuters des sources qui ont requis l'anonymat.


Le financement devrait prendre la forme d'obligations convertibles et, comme lors du dernier tour de table d'OpenAI, il est subordonné à une restructuration permettant à la branche à but non lucratif de l'entreprise de ne plus en avoir le contrôle.

Mener le tour de table serait un pari audacieux de la part de SoftBank et de son directeur général, le magnat japonais Masayoshi Son, dont le groupe dispose de quelque 30 milliards de dollars de liquidités à déployer, selon les documents déposés.

OpenAI et SoftBank se sont refusés à tout commentaire.

Le Wall Street Journal a rapporté jeudi qu'OpenAI était en pourparlers avec SoftBank pour un tour d'investissement visant à lever environ 40 milliards de dollars, ce qui valoriserait la start-up jusqu'à 340 milliards de dollars.

L'une des sources a déclaré que SoftBank pourrait investir entre 15 et 25 milliards de dollars directement dans OpenAI, dont une partie pourrait être utilisée pour payer l'engagement de la start-up envers Stargate.

Stargate, une coentreprise d'Oracle, OpenAI et SoftBank, prévoit d'investir jusqu'à 500 milliards de dollars pour aider les États-Unis à devancer la Chine et d'autres rivaux dans la course mondiale à l'IA.

L'investissement de SoftBank viendrait s'ajouter aux 15 milliards de dollars qu'elle a déjà engagés dans Stargate, a précisé cette source, ajoutant que les discussions n'en étaient qu'à leur début.

Les directeurs généraux de Microsoft et de Meta Platforms ont défendu cette semaine leurs investissements dans l'intelligence artificielle, affirmant qu'ils étaient essentiels pour rester compétitifs.

https://www.usinenouvelle.com/article/s ... s.N2226656

[energy_isere]

OpenAI lance le modèle o3-mini pour répondre à DeepSeek : l'IA est accessible à tout le monde

Nassim Chentouf le 01/02/25

OpenAI déploie son nouveau modèle pour tous les utilisateurs de ChatGPT, même ceux de la version gratuite : o3-mini. Il s’agit d’une avancée significative pour les capacités de raisonnement des modèles compacts d’IA en termes de mathématiques, de programmation et de sciences.
...................

https://www.lesnumeriques.com/intellige ... 32653.html

[Silenius]

Pour 30$ (10h de calcul sur carte Nvidia H100), un etudiant de Berkley a entraine un petit LLM 3B a gagner au jeu Countdown (le compte est bon). Il a utilise les techniques publiees par DeepSeek pour R1-Zero https://www.youtube.com/watch?v=e659KrxxN5w
Le code est sur Github, chercher Tinyzero. Donc pour un faible cout, on peut entrainer de petits modeles a raisonner sur un domaine restraint.

[energy_isere]

Avec DeepSeek, la "tech" européenne espère rattraper son retard dans l'IA

par Supantha Mukherjee REUTERS 03 février 2025

Hemanth Mandapati, patron de la startup allemande Novo AI, a été l'un des premiers à adopter les robots conversationnels ("chatbots") de DeepSeek, abandonnant il y a deux semaines l'usage de ChatGPT développé par OpenAI pour le modèle d'intelligence artificielle (IA) chinois.

"Si vous avez construit votre application en utilisant OpenAI, vous pouvez facilement migrer vers les autres ... il nous a fallu quelques minutes pour changer", a-t-il expliqué lors d'une interview en marge de la conférence GoWest pour les investisseurs en capital-risque à Göteborg, en Suède.

L'émergence de DeepSeek modifie le paysage de l'IA en offrant aux entreprises un accès à la technologie pour un coût bien moindre, selon des entretiens avec plus d'une douzaine de dirigeants de startups et d'investisseurs. Elle pourrait également pousser d'autres entreprises d'IA à améliorer leurs modèles et à faire baisser les prix.

"L'offre de DeepSeek est cinq fois inférieure aux prix actuels", observe Hemanth Mandapati. "J'économise beaucoup d'argent et les utilisateurs ne voient aucune différence".


Les startups technologiques européenne ont eu du mal à adopter la technologie IA au même rythme que leurs rivales américaines, qui accèdent plus facilement à des financements. Mais certains dirigeants affirment que DeepSeek pourrait changer la donne.

"Il s'agit d'une étape importante vers la démocratisation de l'IA et des conditions de concurrence plus égales avec les grandes entreprises de la tech", a déclaré Seena Rejal, directrice commerciale de l'entreprise britannique NetMind.AI, qui a également adopté DeepSeek à un stade précoce.

Les analystes de Bernstein estiment que le prix de DeepSeek est 20 à 40 fois moins cher que les modèles équivalents d'OpenAI.

OpenAI facture 2,5 dollars pour un million de jetons d'entrée ("tokens"), les unités de données traitées par le modèle d'IA, contre 0,014 dollar pour DeepSeek.

Les autorités de régulation se sont inquiétées de savoir si DeepSeek copiait les données d'OpenAI ou censurait les réponses susceptibles de donner une mauvaise image de la Chine. La société fait actuellement l'objet d'une enquête dans différents pays européens.

"Il est difficile de prédire l'avenir de DeepSeek en tant qu'entreprise, mais l'impact structurel semble assez généralisé", relève Sanjot Malhi, associé de la société de capital-risque Northzone.

APPEL AU RÉVEIL

Selon les données de PitchBook, les investisseurs en capital-risque ont investi près de 100 milliards de dollars dans des entreprises d'IA en 2024 aux États-Unis, contre environ 15,8 milliards de dollars en Europe.

Le mois dernier, le président américain Donald Trump tout juste intronisé a dévoilé le projet "Stargate" prévoyant d'investir 500 milliards de dollars dans l'IA d'ici 2029 et porté par OpenAI, SoftBank et Oracle.

En Europe, où les investissements dans l'IA ont été bien plus modestes, seul le français Mistral figure sur la liste des principaux modèles fondateurs, dominée par OpenAI, Meta, Anthropic et Google.

De son côté, DeepSeek a attiré l'attention après avoir écrit dans un article le mois dernier que l'entraînement de DeepSeek-V3 nécessitait moins de six millions de dollars de puissance de calcul provenant de puces Nvidia H800.

"Il s'agit d'un signal d'alarme qui montre que ce n'est pas toujours mieux d'être plus gros", estime Fabrizio Del Maffeo, dirigeant d'Axelera AI. "En rendant les modèles plus accessibles à tous, le coût total de détention et les obstacles à la création de technologies innovantes sont réduits, ce qui peut être un catalyseur pour l'ensemble de l'industrie."

Si certains analystes doutent que le coût de formation de DeepSeek soit aussi bas que l'affirme l'entreprise, ils reconnaissent qu'il est inférieur à celui de modèles américains comparables.

"Je considère DeepSeek comme une formidable opportunité pour des entreprises comme la nôtre", a déclaré Ulrik R-T, dirigeant de l'entreprise danoise Empatik AI, qui estime que la société chinoise montre "que nous n'avons pas besoin de budgets énormes pour mettre en oeuvre notre vision."

COÛT VS SÉCURITÉ

La guerre des prix a peut-être déjà commencé.

La semaine dernière, Microsoft a mis gratuitement à la disposition de tous les utilisateurs de Copilot le modèle de raisonnement o1 d'OpenAI, au lieu de l'abonnement habituel de 20 dollars par mois.

"Les prix de l'IA baissent, de sorte que l'utilisation future se fera probablement là où il y a de la transparence, c'est-à-dire généralement en open source, même si c'est en Chine", estime Joachim Schelde, de Scale Capital.

Les grandes entreprises, de la société finlandaise Nokia à la société allemande SAP, envisagent DeepSeek plus prudemment.

"Le coût n'est qu'un facteur parmi d'autres", a déclaré Alexandru Voica, responsable de l'entreprise britannique Synthesia. "D'autres facteurs entrent en ligne de compte : avez-vous toutes les certifications de sécurité, les cadres, l'écosystème logiciel qui permet aux entreprises de construire et d'intégrer votre plateforme ?".

https://www.usinenouvelle.com/article/a ... a.N2226912

[energy_isere]

Grosse filouterie chinoise :

DeepSeek aurait dépensé 266 fois plus que ce qu’elle prétend

Frandroïd le 04 février 2025

La startup chinoise DeepSeek fait sensation depuis des mois en prétendant avoir développé son IA pour seulement 6 millions de dollars. Une enquête révèle aujourd’hui un investissement réel de 1,6 milliard.

La startup chinoise DeepSeek, qui avait fait sensation en annonçant avoir développé son modèle d’IA pour seulement 6 millions de dollars, voit aujourd’hui sa communication remise en question. Une analyse approfondie de SemiAnalysis révèle un investissement total de 1,6 milliard de dollars, soit 266 fois plus que le chiffre initialement avancé.

Une infrastructure colossale dissimulée

Loin de l’image de startup frugale, DeepSeek dispose d’un arsenal technologique impressionnant : 50 000 GPU Nvidia Hopper, dont 20 000 unités H800 et H100 dernière génération.

Pour mettre ces chiffres en perspective, c’est l’équivalent de la puissance de calcul d’une dizaine de centres de données modernes.

L’investissement en matériel représente à lui seul 944 millions de dollars en coûts d’exploitation, selon les estimations de SemiAnalysis.

La vérité derrière les 6 millions

Le chiffre de 6 millions de dollars, largement médiatisé, ne représentait en réalité qu’une infime partie des coûts : uniquement la phase de pré-entraînement du modèle.

Cette communication sélective a occulté les centaines de millions investis dans :

# La recherche et développement
# Le perfectionnement des modèles
# Le traitement des données
# L’infrastructure globale
# Les salaires des chercheurs (certains dépassant 1,3 million de dollars annuels)

DeepSeek, issue du fonds spéculatif High-Flyer, bénéficie d’une structure autofinancée qui lui permet une grande flexibilité. L’entreprise gère ses propres centres de données, contrairement à la majorité des startups qui dépendent de services cloud externes. Cette autonomie représente un avantage stratégique majeur, mais implique des investissements considérables.

Le recrutement agressif de talents en Chine continentale, avec des salaires dépassant ceux des géants du secteur, témoigne également d’une stratégie d’investissement massive. L’entreprise cible particulièrement les diplômés d’institutions prestigieuses comme l’Université de Pékin et l’Université du Zhejiang.

Pour calculer l’écart réel entre les chiffres annoncés et la réalité : 1,6 milliard / 6 millions = 266,67. Autrement dit, l’investissement réel est 266 fois supérieur aux chiffres communiqués initialement.

Cette révélation confirme les propos d’Elon Musk : développer une IA compétitive nécessite des investissements se chiffrant en milliards de dollars. DeepSeek n’échappe pas à cette règle, malgré sa communication initiale, laissant entendre le contraire.

La leçon est claire : dans le monde de l’IA, il n’existe pas de raccourci miracle. Les avancées technologiques nécessitent des investissements massifs, qu’ils soient visibles ou non. Cette histoire rappelle l’importance d’un regard critique sur les annonces trop belles pour être vraies dans le secteur technologique.

https://www.frandroid.com/culture-tech/ ... 20milliard.

[GillesH38]

Une IA entrainée par Israël pour défendre ses positions se retourne contre lui et défend les palestiniens à Gaza ... c'est pas demain la veille qu'on va leur confier des opérations militaires !

https://www.20minutes.fr/monde/israel/4 ... rne-contre

[phyvette]

Hé ben Gilles, voila comment tu vas finir.

[GillesH38]

finir en IA moi ? jamais

[LeLama]

Les 2 principales applications des LLM aujourd'hui me semblent:
- la generation de robots conversationels qui inondent les reseaux
- la creation de contenu par plagiat sur le net, avec attaque sur le referencement Google et autres moteurs.

Pour le deuxieme point, un article sur le sujet, precisant que de nombreuses sources artificiellement construites sont utilisees dans wikipedia: https://next.ink/153613/enquete-plus-de ... et-google/

[Jeuf]

Les 2 principales applications des LLM aujourd'hui me semblent:
- la generation de robots conversationels qui inondent les reseaux
- la creation de contenu par plagiat sur le net, avec attaque sur le referencement Google et autres moteurs.

Pour le deuxieme point, un article sur le sujet, precisant que de nombreuses sources artificiellement construites sont utilisees dans wikipedia: https://next.ink/153613/enquete-plus-de ... et-google/

Merci pour ce lien sur les sites générés.

Pour le premier point, je ne vais pas sur le "réseaux sociaux". Je ne vois pas cette part du phénomène.
Peut-être que ces sites (X, facebook...)seront les premiers victimes de l'effondrement de la surproduction de texte inintéressants par IA, et disparaitront assez rapidement. Un forum comme oléocène apparaît dépassé par rapport à ce phénomène qui a émergé dans les année 2010, mais il pourrait bien l'enterrer.

L'IA a servi a générer un témoignage radio :
https://www.radiofrance.fr/francecultur ... ue-2428012

[supert]

Je m'interroge sur l'avenir du ouèb avec l'IA; mais je connais très mal ce qu'est le ouèb et son fonctionnement ce qui fait que ce que je dis ci-dessous repose sur pas grand chose.

Mon impression est que tel quel, l'IA va tuer le ouèb. Chaque année pour ne pas dire chaque jour, la qualité des pages internet diminuent, ce sont de plus en plus des trucs automatiques puant le robot parlant au robot. Tu cherches un renseignement sur une plante, une question pratique, un truc historique, tu trouves de moins en moins une bonne réponse. Tu veux contacter un site pour un truc précis, il est de plus en plus dur d'avoir un interlocuteur humain. Et les productions humaines reposeront de plus en plus sur des données "IA" tandis que les données "IA" reposeront de moins en moins sur des données humaines. Tout ça va s'empirer, des annuaires, des listings, des encyclopédies, des sites de référence qui se pomperont les uns les autres comme dans une partouze de pédés.

Il y aura donc une réaction. Car seuls Bruno Lemaire, ses copains et sa valetaille croient que quand une entité est agressée, elle n'essaie pas de s'adapter. Quelle sera cette adaptation ? C'est la question que je me pose.

Je verrais bien des certificats d'authenticité humaines, garantie sans IA ou garantie avec de l'IA utilisée "comme il faut". Mais comment les faire ? Comment garantir que mon certificat d'authenticité est authentique ? Et puis, les biens pensants qui voudront faire un beau ouèb estampillé, ils ne pourront pas s'empêcher d'utiliser l'IA aussi. Ce sera une garantie à IA modérée ?
Peut-être viendra un temps où les sources respectées seront les livres imprimés avant 2020...


Supertomate qui se demande si la pythie vient en mangeant

[energy_isere]

Les 2 principales applications des LLM aujourd'hui me semblent:
- la generation de robots conversationels qui inondent les reseaux
- la creation de contenu par plagiat sur le net, avec attaque sur le referencement Google et autres moteurs.

Pour le deuxieme point, un article sur le sujet, precisant que de nombreuses sources artificiellement construites sont utilisees dans wikipedia: https://next.ink/153613/enquete-plus-de ... et-google/

Intéressant.

Vous pourrez me communiquer le nom de sites de ce genre afin que je supprime les liens de personnes qui les utiliseraient sur ce forum.