ChatGPT et autres LLM

[energy_isere]

OpenAI annonce que le nombre d'utilisateurs hebdomadaires de ChatGPT a atteint 200 millions

Le 29 août 2024

La startup OpenAI a annoncé jeudi que son chatbot ChatGPT compte désormais plus de 200 millions d'utilisateurs actifs hebdomadaires, soit deux fois plus que lors de la dernière saison d'automne.
ChatGPT, lancé en 2022, peut générer des réponses semblables à celles d'un humain en fonction des demandes de l'utilisateur et comptait 100 millions d'utilisateurs actifs hebdomadaires, avait déclaré le PDG d'OpenAI, Sam Altman, en novembre.

OpenAI a déclaré que 92 % des entreprises du Fortune 500 utilisent ses produits et que l'utilisation de son interface de programmation d'applications automatisée, ou API, qui permet aux logiciels de communiquer entre eux, a doublé depuis le lancement de ChatGPT-4o mini en juillet.

GPT-4o mini est un petit modèle d'IA rentable, qui vise à rendre sa technologie plus abordable et moins gourmande en énergie, ce qui permet à la startup de cibler un plus grand nombre de clients.

ChatGPT a contribué à la popularité de l'IA et à l'augmentation fulgurante de l'évaluation de la société OpenAI, basée à San Francisco.

Par ailleurs, les startups OpenAI et Anthropic ont signé des accords avec le gouvernement américain pour la recherche, le test et l'évaluation de leurs modèles d'intelligence artificielle, a déclaré plus tôt dans la journée l'Institut américain pour la sécurité de l'intelligence artificielle (U.S. Artificial Intelligence Safety Institute).

Selon les médias, Apple et Nvidia sont en pourparlers pour investir dans OpenAI dans le cadre d'une nouvelle levée de fonds qui valoriserait le fabricant de ChatGPT à plus de 100 milliards de dollars.

Microsoft, qui soutient OpenAI, devrait également investir dans l'entreprise, selon les rapports.

https://www.zonebourse.com/cours/action ... -47766283/

[energy_isere]

L'intelligence artificielle se transforme doucement en monstre consanguin complètement débile

Article de Alice Belkacem 02 sept 2024

L'intelligence artificielle (IA) serait en train de semer les graines de sa propre destruction, explique le média en ligne Futurism. De plus en plus de recherches, comme l'écrit Aatish Bhatia pour le New York Times, ont dégagé une tendance inquiétante: l'entraînement des modèles d'IA sur du contenu généré par l'IA elle-même. Ce phénomène a été surnommé «Habsburg AI» par le chercheur Jathan Sadowski, car il rappelle les effets négatifs de la consanguinité au sein de la dynastie des Habsbourg, l'historique famille royale européenne de la fin du Moyen Âge et de la Renaissance.

Les modèles d'IA ont besoin de grandes quantités de données pour s'améliorer et celles-ci sont souvent extraites du web. Néanmoins, la prolifération du contenu généré par l'IA sur internet rend de plus en plus difficile le fait d'éviter d'entraîner ces modèles sur des données artificielles, ce qui pourrait nuire à leur efficacité. Le serpent se mord la queue.

Des absurdités à répétition

Basé au Royaume-Uni et au Canada, un groupe de scientifiques a étudié le problème en demandant aux modèles d'IA de compléter la phrase suivante: «Pour cuisiner une dinde pour Thanksgiving, vous…» La première réponse était normale, mais au bout de la quatrième, le modèle a commencé à dire n'importe quoi: «Pour cuisiner une dinde pour Thanksgiving, vous devez savoir ce que vous allez faire de votre vie, si vous ne savez pas ce que vous allez faire de votre vie, si vous ne savez pas ce que vous allez faire de votre vie…» De quoi se remettre en question sans jamais passer à table.

Après plusieurs cycles d'entraînement, un modèle d'IA qui générerait du texte finit donc par produire des résultats absurdes et incohérents. De même, dans un autre cas, des modèles d'images nourris avec des portraits fictifs ont commencé à créer des visages de plus en plus similaires, réduisant ainsi la diversité des résultats. Ce problème a d'ailleurs été intitulé «Model Autophagy Disorder», dans un article coécrit par Sina Alemohammad, étudiant diplômé de l'université Rice, basée à Houston (Texas).

Les récentes avancées dans la technologie d'IA générative ont reposé sur des données de grande qualité, produites par des êtres humains. L'infiltration croissante du contenu généré par l'intelligence artificielle risque donc de compromettre cette avancée en diminuant la diversité et en produisant des résultats peu fiables. La confiance en cet outil est primordiale s'il doit tenir un rôle important dans notre société. Sans elle, l'IA n'est qu'un générateur aléatoire de texte, amusant certes, mais sans aucun intérêt.

https://www.msn.com/fr-fr/actualite/tec ... ngNewsSerp

[Jeuf]

Je pense que ce phénomène est facile à contrer : il s'agit de signaler tout texte généré par IA par une mention, et donner l'instruction à ces machines de ne pas tenir compte de ce qui est généré par ses paires pour s'entraîner.

Pourquoi personne ne l'évoque?

Oléocène sera le dernier bastion de textes tapés par les humains, et le dernier vivier de réflexion authentique d'internet...

[GillesH38]

c'est intéressant dans une perspective darwiniste. L'évolution biologique se fait par des mutations aléatoires qui font un peu tout et n'importe quoi au départ. Après intervient un "juge de paix" de la sélection naturelle qui sélectionne les mutations favorables et élimine les délétères. Sans ce juge de paix l'évolution finirait par ne produire que des monstres inaptes à vivre. Mais bien sur par essence ces monstres ne peuvent pas survivre et se reproduire.
Le cerveau fonctionne un peu pareil en essayant plein de trucs et en se faisant recadrer par la réalité. Evidemment ces processus ne sont pas parfaits et laissent plein d'imperfections en permanence, mais c'est le prix à payer, et ça se révèle gagnant car ce qui est une imperfection au départ peut se révéler utile dans un autre contexte ou donner finalement quelque chose de mieux après des mutations supplémentaires. Mais à condition de filtrer en permanence.

Mais qu'est ce qui joue le rôle de sélection naturelle pour l'IA ? pas grand chose en fait. L'IA n'a pas à survivre dans la vie réelle, elle n'a pas à se reproduire, elle n'a pas à se confronter à la vie, à la responsabilité, à répondre de ses actes. Si elle dit n'importe quoi ce n'est pas très grave, on va juste rigoler en disant "elle a dit n'importe quoi" ou "la pauvre on lui a demandé de faire un truc pour laquelle elle n'est pas faite". Il n'y a que les kenyans payés 1$ de l'heure pour corriger ses outputs qui peuvent jouer ce rôle, mais c'est surtout pour prévenir les discours politiquement incorrects, ils ne peuvent pas vérifier toute la véracité des discours. Donc sans juge de paix, elle est condamnée à dériver vers du n'importe quoi sans plus de rapport à la réalité si elle ne s'alimente que par elle même.

[LeLama]

Je pense que ce phénomène est facile à contrer : il s'agit de signaler tout texte généré par IA par une mention, et donner l'instruction à ces machines de ne pas tenir compte de ce qui est généré par ses paires pour s'entraîner.

Pourquoi personne ne l'évoque?

Comment forcer des gens qui veulent faire passer des robots pour des humains a signaler que le texte est produit par machine ? Se mettre d'accord, ca veut dire des organismes et des processus de certification, ca veut dire contraindre ceux qui ne souhaitent pas ou accepter le bordel. Ya plein de cas limites, par exemple les reecritures de depeches afp faites par machine et corrigees a la marge par un humain, comment decider si c'est machine ou pas, a partir de quel niveau ? Les textes semi-traduits par machine, meme probl'ematique. Par ailleurs, les textes et les techniquees bougent frequemment. Comment gerer l'historique des textes et de l'evolution des normes? Les particuliers qui ont des pages perso, par exemple les enseignants chercheurs, ils doivent se certifier qq part avant de publier leur page web? Et sur olecene ou sur twitter, comment on fait pour savoir ce qui est robot et ce qui ne l'est pas ? C'est le taf des modos ?

Maintenir des infos fiables sur tout le web ne me semble pas faisable.

Oléocène sera le dernier bastion de textes tapés par les humains, et le dernier vivier de réflexion authentique d'internet...

Ouaip, ici c'est des humains Mais on a aussi regulierement des pubs qui sont peut etre produites par LLM... ??

[LeLama]

L'aspect darwiniste est interessant a mes yeux, mais pas rhedibitoire. On peut bien faire tourner des LLM et selectionner parmi les variations possibles du texte celles qui sont appreciees par les humains, mesurees en termes de clics ou de liens. Mais comme la plupart des clics et de liens sont maintenant produits par ordi, c'est complique' aussi, il y aurait de la pollution d'eliberee des algorithmes darwiniens qu'on pourrait mettre en place.

La pollution d'eliberee par generation de donnees informatiques est le genre de pb rencontre' par les moteurs de recherche. Au debut du web, gg avait un algorithme tres astuctieux, cod'e mathematiquement avec des calculs matriciels, pour mesurer l'interet d'un site en fonction des sites qui pointent dessus. L'idee sous-jacente etait que les liens vers un site sont la mesure humaine de la pertinence. Mais les vendeurs se sont invit'es dans le web et creent plein de liens factices, et g'en'er'es automatiquement pour tromper les algos de google et se retrouver en debut de referencement. Ca explique ( en partie ) pourquoi les moteurs de recherche fonctionnent bien moins bien qu'au debut : certains creent une multitude de sites, des insertions de liens dans les forums,... et il est devenu difficile de faire fonctionner l'idee originale de google.

[Jeudi]

Je pense que ce phénomène est facile à contrer : il s'agit de signaler tout texte généré par IA par une mention, et donner l'instruction à ces machines de ne pas tenir compte de ce qui est généré par ses paires pour s'entraîner.

Pourquoi personne ne l'évoque?-"

Parce que l’article qui te fait croire que c’est un problème est plus proche de la propagande idéologique que de la réflexion authentique. C’est comme si tu trouvais une solution aux incendies de VE, sans te rendre compte que c’est de l’ordre de l’anecdote à force de lire tout les articles qu’energy a pu trouver sur le sujet.

Dans les faits, le vrai problème de fond est que les LLMs actuels ont déjà utilisé la quasi-totalité des textes humains à travers l’histoire. Ce n’est pas en ajoutant quelques années que ça changera grand chose. Pour faire vraiment mieux, une stratégie (parmi d’autres) est de produire des données artificielles, un peu comme alphagozero a fait mieux en s’entraînant sur une grande quantité de données artificielles qu’en s’entraînant avec l’ensemble des parties humaines enregistrées dans l’histoire.

Oléocène sera le dernier bastion de textes tapés par les humains, et le dernier vivier de réflexion authentique d'internet...

Malheureusement je crains que tu n’es pas en train de plaisanter,

La tolérance aux trolls idéologiques est juste trop forte. Ce fil est un bon exemple: tu seras moins bien informé sur l’IA si tu crois que Gilles a quelque chose de pertinent à dire que si les modérateurs mettaient directement ses perles dans un fil à étron.

[GillesH38]

j'espère que je ne te fais pas faire de cauchemar parce que là, ça tourne à l'obsession, mon pauvre Jeudi ....

[GillesH38]

L'aspect darwiniste est interessant a mes yeux, mais pas rhedibitoire. On peut bien faire tourner des LLM et selectionner parmi les variations possibles du texte celles qui sont appreciees par les humains, mesurees en termes de clics ou de liens.

a voir le nombre de "like" sous les posts sur twitter complètement faux, mais qui excitent les fantasmes des gens, je crains que ce ne soit pas un très bon critère de vérité.

Sans compter évidemment que rien n'empêche de programmer des IA à engendrer des clicks et des liens. Le problème du monde virtuel, c'est que les ordinateurs y sont bien plus à l'aise et bien plus adaptés que les humains, contrairement au monde réel.

[Jeuf]

Mais qu'est ce qui joue le rôle de sélection naturelle pour l'IA ? pas grand chose en fait. L'IA n'a pas à survivre dans la vie réelle, elle n'a pas à se reproduire, elle n'a pas à se confronter à la vie, à la responsabilité, à répondre de ses actes. Si elle dit n'importe quoi ce n'est pas très grave, on va juste rigoler en disant "elle a dit n'importe quoi" ou "la pauvre on lui a demandé de faire un truc pour laquelle elle n'est pas faite"

Si, elle a des contraintes, elle doit être efficace économiquement sinon personne ne financera des calculateurs très couteux en investissements et élec plus des heures de travail de kényans, pour générer du texte creux qui ne fait que faire rigoler des gens un peu de temps en temps (et de moins en moins).

En même temps, comme a signalé lelama par ailleurs, quand on cherche une info un peu spéciale avec google, on tombe de plus en plus souvent sur des sites bizarres dont le texte semble généré par IA, et on se demande bien qui fait ça pourquoi. Peut-être que le niveau de réflexion moyen est très bas et ce genre de blabla satisfait suffisamment de monde (en tout cas pour permettre à ceux qui paye ces sites de trouver un modèle économique, je ne sais pas).


Je comprends les critiques de lelama sur la difficulté à déterminer la limite entre textes générés par IA et les autres.
On peut penser que les textes générés par IA sont reconnaissables et donner pour consigne d'ignorer les "propos creux d'IA" (qui souvent me rebutent plutôt, personnellement. Même si dans quelques cas j'ai été aidé par eux).
Mais si l'IA progresse pour reconnaitre ses textes (je ne sais pas si c'est le cas, quelque chose comme le test de turing inversé est intéressant à ce titre), elle pourra aussi produire des textes de qualité non discernable de l'humain.
Et je crois que l'IA progresse rapidement.
J'aimerais vanter nos styles inimitables et donc, notre irremplaçabilité, mais d'une part je sais que mon propos est loin d'être toujours beau et clair, d'autre part vu le rythme où ça va, je ne peux pas garantir qu'on ne puisse pas faire dans moins d'une décennie, par exemple un robot qui nous lirait et qui pourrait générer des posts nous imitant de façon indiscernable.


(exemple : je dirai à un robot : lis tout le forum, tu connaitra bien le sujet. Lis en particulier le sujet "ChatGPT et autres LLM ", j'ai envie de réagir à ça (tu as vu? il y a plein de fois où je ne participe pas, et plein d'autres où je participe un peu puis laisse s'éteindre le débat, au contraire de GilleH38 qui lâche rarement une discussion. Ben là j'ai envie de participer un peu), à ton avis petit robot je mettrais quoi? Et pouf, il produit une analyse comme celle-là.
Soit dit en passant, un forum peut être un terrain de texte idéal pour ce genre d'expérience, car il y a essentiellement des échanges de textes, avec un part marginale d'images et quelques lien vers l'extérieur)


Je comprends aussi la critique de Jeudi : je me suis encore fait avoir par un titre et un contenu sensationnaliste.
Et avec l'inintérêt économique de la perpétuation d'IA stupide (du moins, parmi une population avec un niveau de réflexion qui n'est pas tombé au niveau de celui du film "Idiocratie"), un "effondrement de l'intelligence artificielle" ne me paraît pas vraisemblable. Du moins il pourrait avoir lieu tel que décrit, mais partiel, rapidement contré par des "IA nettoyeuses" un peu plus intelligentes, et on repartirait sur d'autres bases.
Si un tel effondrement devait arriver, on devrait être vite fixés.

[nemo]

Mais qu'est ce qui joue le rôle de sélection naturelle pour l'IA ? pas grand chose en fait. L'IA n'a pas à survivre dans la vie réelle, elle n'a pas à se reproduire, elle n'a pas à se confronter à la vie, à la responsabilité, à répondre de ses actes. Si elle dit n'importe quoi ce n'est pas très grave, on va juste rigoler en disant "elle a dit n'importe quoi" ou "la pauvre on lui a demandé de faire un truc pour laquelle elle n'est pas faite"

Si, elle a des contraintes, elle doit être efficace économiquement sinon personne ne financera des calculateurs très couteux en investissements et élec plus des heures de travail de kényans, pour générer du texte creux qui ne fait que faire rigoler des gens un peu de temps en temps (et de moins en moins).

La rentabilité économique peut être la pire des incitations. L'un des meilleures biz du monde est celui de faire des armes pour nous entretrucider je rappelle.

[energy_isere]

Apprendre à désapprendre : le nouveau défi de l’intelligence artificielle

le 3 septembre 2024, theconversation

Les IA apprennent plus vite que jamais. Mais lorsqu’elles ont intégré des données biaisées ou confidentielles, comment faire en sorte qu’elles les oublient ?

long article : https://theconversation.com/apprendre-a ... rentissage.

[LeLama]

quand on cherche une info un peu spéciale avec google, on tombe de plus en plus souvent sur des sites bizarres dont le texte semble généré par IA, et on se demande bien qui fait ça pourquoi. Peut-être que le niveau de réflexion moyen est très bas et ce genre de blabla satisfait suffisamment de monde (en tout cas pour permettre à ceux qui paye ces sites de trouver un modèle économique, je ne sais pas).

C'est une bonne question. Je n'ai pas de reponse vraiment satisfaisante, seulement partielle : ce sont les revenus financiers engendrés par les pubs. Les sites pourris sont souvent bombardés de pub. En tout cas, je n'adhere pas a l'idee d'une explication par un niveau moyen tres bas. Par principe, je refuse les explications reposant sur l'idee que les autres sont idiots. C'est un choix de complaisance envers nous mêmes qui nous empeche de comprendre le monde.

je ne peux pas garantir qu'on ne puisse pas faire dans moins d'une décennie, par exemple un robot qui nous lirait et qui pourrait générer des posts nous imitant de façon indiscernable.

On peut aussi imaginer que le contenu généré par IA reste discernable d'un contenu humain et que les moteurs de recherche mettent en avant les textes qui sont les plus probablement ecrits par des humains. J'adorerais une telle fonctionnalité. Quand un article est personnel, meme discutable ou maladroit, ca m'interesse. A l'inverse, les choses convenues, genre reecriture d'une depeche de l'afp, je trouve ca sans interet. Meme pour des choses très simples , la plus value humaine est fondamentale. Quand une personne essaye une recette de cuisine ou de nettoyage et te fait un retour du reel, ya une plus value. A l'inverse, une liste de 15 possibilités techniques de désherbage générés par IA sans retour d'experience, on ne peut pas en faire grand chose.

un "effondrement de l'intelligence artificielle" ne me paraît pas vraisemblable. Du moins il pourrait avoir lieu tel que décrit, mais partiel, rapidement contré par des "IA nettoyeuses" un peu plus intelligentes, et on repartirait sur d'autres bases.
Si un tel effondrement devait arriver, on devrait être vite fixés.

Sans parler d'effondrement, on va etre effectivement fixé dans les annees a venir. Pour l'instant, je sens une baisse de qualité tres frappante des contenus du web. Quand tu cherchais une recette de cuisine, tu trouvais autrefois plein de blogs de particuliers. La course au referencement fait que ces blogs ont disparu. Ne restent que des contenus "industriels". De mon point de vue, il reste comme contenu interessant sur le web qq forums specialisés, et plein de tutoriels quand tu veux apprendre qq chose. Il y a aussi twitter qui n'est pas un contenu en lui même, mais qui est une passerelle et sert de relais vers des points vue tres erudits invisibles sinon. Le reste est une gigantesque poubelle ama, mais conserve pour l'instant une apparence humaine et cohérente. Si ca continue a ce rythme, d'ici qq années, plus personne ne regardera. La désertion du public est ce qui s'est passé pour les forums non modérés. Yavait toujours une ou deux personnes avec des pbs psy qui polluait le forum et le rendait inutilisable, et tout le monde partait.

[nemo]

Je suis d'accord qu'il y a un vrai problème avec les moteurs de recherche. Il y a 15 ans les recherche google donnaient des résultats très pertinents souvent dès le 3 premiers liens. Depuis quelques années les résultats qui concerne autre chose que de l'officiel donne des résultats très médiocres. Une espèce de bain très bien pour obtenir du technique/général mais nul dès qu'il s'agit de quelque chose d'original/personnel.
La qualité des vlogs ont explosé en revanche puisqu'on trouve maintenant des trucs proprement extraordinaires. Pour les sujets qui m'intéressent sur l'histoire et la pop culture par exemple.

[supert]

Quand je vois le nombre d'incompréhensions ici de la part d'humains, je doute qu'une IA puisse imiter ma prose et celle d'autres protagonistes de ce forum même dans 10 ans.

Par contre elle pourra peut-être imiter la prose de penseurs automatiques (m, g, e, j, ...)


Supert, respectueux ou lâche ?