IA Intelligence Artificielle

[GillesH38]

si, certainement MEME à la gravitation, simplement on n'a pas trouvé la bonne formulation qui permet de décrire les deux, mais personne ne doute qu'une "bonne" théorie devrait aussi inclure la mécanique quantique.

[LeLama]

Evidemment un homme n'est pas concrètement descriptible mais simplement parce que son organisation est très compliquée, pas à cause d'une nature spécifique.

C'est une profession de foi mystique. Il n'y a aucune donnée qui laisse penser que l'ensemble des lois connues actuellement permette de decrire completement l'homme et que c'est seulement une question de complexité

alors le principe "mystique" de la science c'est que TOUT obéit aux mêmes lois, et que si un truc n'obéit pas, on change les lois.

Il y a une difference entre 2 phrases. Tu fais toujours cette confusion. Je ne sais pas si tu trolles pour trouver une échappatoire, ou si tu ne t'en rends pas compte ( je me pose souvent la question sur toi). Les phrases:
- les lois de la physique sont toujours vérifiées
- les lois de la physique expliquent tout et sont une explication totale du monde
sont deux phrases tres differentes. Pour te donner un exemple similaire, je pense que les maths sont toujours vérifiées, mais je ne pense pas que l'ensemble du monde soit mathématisable et descriptible avec un nombre fini de caractères dans une axiomatique de zermelo-frankel. Ce serait meme une sévère distorsion de la réalité, car quand je regarde autour de moi, les maths ne s'appliquent qu'a un fragment minuscule de situations, au cadre extremement bien défini et restreint. La quasi-totalité du monde qui m'entoure n'a pas d'explication dans un cadre mathématisable. C'est evidemment encore plus vrai pour la physique qui utilise le langage des maths pour s'exprimer.

J'attends avec impatience que tu m'expliques comment l'histoire humaine ou l'humour se déduit des lois physiques que tu connais, ou même simplement tes propositions pour mathématiser ça en un nombre fini· de symboles. Je m'attends a un bon gros baratin mystique sans élément experimental

En fait mon point de vue philosophique est hérité des physiciens ( ceux qui ne sont pas mystiques ). Face aux difficultés de cohérence entre certaines théories physiques et notre monde sensible, ils ont deux reponses standards que j'ai adoptées car elles m'ont semblé de suite extremement convaincantes :
- ne pas deborder du cadre de la théorie et ne pas projeter des interprétation hors cadre à partir d'une théorie qui s'inscrit en fait un cadre tres circonstancié. C'est le "shut up and compute".
- l'autre point, c'est de ne pas poser d'hypothèses qui ne sont pas transcriptibles d'un point de vue experimental. C'est une des reponses philosophiques quand les gens se demandent en MQ quel est l'etat d'une particule quand elle est dans un état intriqué. Vu que personne ne regarde la particule, ou ne prend d'information desssus, c'est une non question. Les seules questions qui ont du sens sont celles sur lesquelles un individu peut experimenter.

Concretement, y'a pas de raison de poser l'hypothese que y'a une explication totale du monde par un nombre fini de symboles donnant les equations du monde. Y'a rien d'experimental ou de vérifiable dans cette hypothese. Et donc je suis le conseil de tes collègues physiciens et je considère que c'est une non hypothèse, un pur jeu de langage vide de sens. En fait, j'ai le meme type de discussion avec les temoins de Jeovah. Ils veulent une explication totale du monde et pensent comme toi l'avoir. Leur réponse n'est pas plus experimentale que la tienne et pas davantage vérifiable. Je peux te donner la reponse que je leur fournis et qui s'applique aussi à ta proposition d'explication universelle du monde par la physique : il y a plein de choses que je ne comprends pas dans le monde, j'admets l'immensité des choses que je ne connais pas, et je ne souhaite pas remplir ce vide par une explication farfelue.

[GillesH38]

C'est une profession de foi mystique. Il n'y a aucune donnée qui laisse penser que l'ensemble des lois connues actuellement permette de decrire completement l'homme et que c'est seulement une question de complexité

alors le principe "mystique" de la science c'est que TOUT obéit aux mêmes lois, et que si un truc n'obéit pas, on change les lois.

Il y a une difference entre 2 phrases. Tu fais toujours cette confusion. Je ne sais pas si tu trolles pour trouver une échappatoire, ou si tu ne t'en rends pas compte ( je me pose souvent la question sur toi). Les phrases:
- les lois de la physique sont toujours vérifiées
- les lois de la physique expliquent tout et sont une explication totale du monde

y a pas de confusion, j'ai seulement dit que les lois de la physique sont universelles (elles ne sont d'ailleurs pas "toujours vérifiées", mais si on les modifie, la modification s'applique à tout). J'ai jamais dit qu'elle expliquent tout.

Je t'ai juste demandé si la matière qui constituait l'humain obéissait aux lois physique. Si tu penses que c'est le cas, on est d'accord. Donc a priori un corps humain "juste" ramené à la matière physique dont on décrirait l'évolution sans savoir que c'est un être vivant (ça pourrait tout aussi bien décrire l'évolution qui donne la décomposition d'un cadavre d'ailleurs), va se comporter "de la même façon" que la réalité ?

[GillesH38]

En fait, j'ai le meme type de discussion avec les temoins de Jeovah. Ils veulent une explication totale du monde et pensent comme toi l'avoir.

je ne connais pas de cas où écouter les témoins de Jéhovah aide à réduire l'incertitude que tu peux avoir quand tu essaies de prédire ce qu'il va se passer.

[kercoz]

si, certainement MEME à la gravitation, simplement on n'a pas trouvé la bonne formulation qui permet de décrire les deux, mais personne ne doute qu'une "bonne" théorie devrait aussi inclure la mécanique quantique.

Personne ?...Le Roi est nu !... Serge Haroche au collège de France:
"""Personne ne comprend vraiment la physique quantique ». Ce jugement du physicien Richard Feynman exprime une vérité paradoxale sur la théorie scientifique qui a révolutionné notre compréhension de la nature et enrichi de façon extraordinaire nos moyens d’action et d’information sur le monde. Dans cette leçon, je vous parlerai de physique quantique en tentant de résoudre ce paradoxe. Et si je n’y parviens pas, la boutade de Feynman nous laissera au moins la consolation d’être en nombreuse compagnie. """
Prigogine (l'autre) est plus optimiste il disait que ceux, sur terre, qui comprennent cette théorie, se comptent sur les doigts d'une main . Tu dois en faire partie.

[Silenius]

YaRN-Mistral une variante developpee sur Mistral-7B a un contexte de 128 000 tokens. https://huggingface.co/NousResearch/Yar ... al-7b-128k
et OpenChat-3.5-7B un modele 7B parametres qui obtient des scores equivalents a ChatGPT(175B selon la rumeur) de mars 2023 https://github.com/imoneoi/openchat

edit: Microsoft a ecrit dans 1 papier sur ses futurs modeles que ChatGPT 3.5 est un modele tres faible avec seulement 20B parametres ???

[LeLama]

Bon au moins, yaura de quoi se marrer dans les années a venir (Dédicace spéciale pour supert qui voudrait savoir danser ! ).

https://twitter.com/i/status/1720429095534633144

[Silenius]

Bof, m'expliquer que l'IA va comprendre et faire de l'ironie en me disant déja qu'elle distingue 4 types d'humour, je trouve cela assez... ironique !

Tout ça me rappelle une discussion que j'ai eu au mi-temps des 90's (anglicisme que j'aime bien) avec un prof de stat ou de formalisation, je ne sais plus trop. Pour les plus jeunes, un mec normal comme moi ne connaissait pas internet à cet époque, on était loin de l'IA...
Je disais donc à ce prof que l'on arriverait jamais à modéliser l'humain et que c'était tant mieux. Lui trouvait que c'était dommage ! Nous avions des points de vue différents tout en étant capable de s'accorder sur les constats (un constat futur, je reconnais que c'est discutable comme formulation).

Il est évident qu'en 2028 comme en 2023, un ordianteur qui ne connait que des 0 et des 1, ne pourra fonctionner de manière semblable à un humain. On trouvera un certains nombres de situations où il pourra le faire, mais globalement il en sera incapable. Et c'est tant mieux !

En tout cas, en attendant les progrès fulgurants dans les 5 ans à venir, une machine n'est pas capable de me dire bonjour comme le fait un être humain, c'est à dire en tenant compte de plein de facteurs (force et qualité du lien entre le locuteur et moi, la tronche que je tire à ce moment là, la météo qu'il fait, etc ...)

Prétendre ou croire qu'en 2028 une machine aura une intelligence similaire à celle d'un être humain est soit de la bêtise, soit de la manipulation.


Supert qui choisi ses anglicismes avec parcimonie ou les subit

Tu me fais fais penser a ces europeens qui quand ils ont vu pour la premiere fois des girafes ramenees d'Afrique se sont exclames : "De tels animaux, ça n'existe pas !"

[Silenius]

Il est évident qu'en 2028 comme en 2023, un ordianteur qui ne connait que des 0 et des 1,

Caramba, encore rate , IBM vient de presenter North Pole, une puce analogique avec memoire integree donc assez similaire dans son fonctionnement au cerveau humain.
Et l'architecture des "transformers" sur laquelle est basee les LLM presente des similaritees avec le cerveau humain (Whittington et al 2022).
Par example quand on lui donne un texte a memoriser, il se rappelle mieux du debut et de la fin, mais tends a oublier le millieu.

[GillesH38]

Il est évident qu'en 2028 comme en 2023, un ordianteur qui ne connait que des 0 et des 1,

Caramba, encore rate , IBM vient de presenter North Pole, une puce analogique avec memoire integree donc assez similaire dans son fonctionnement au cerveau humain.

pourquoi juste "humain" ? c'est aussi assez similaire à une limace ...

[kercoz]

Que le cerveau fonctionne sur un modèle hologramme semble une évidence. Entre autres arguments, sa capacité à se "réparer" pour certaines fonctions abimées (résilience) et sa capacité de stockage.
Je ne sais pas ou en est cette piste amorcée par Pibram :
https://www.neurozen.fr/le-cerveau-holonomique

[tita]

Il est évident qu'en 2028 comme en 2023, un ordianteur qui ne connait que des 0 et des 1,

Caramba, encore rate , IBM vient de presenter North Pole, une puce analogique avec memoire integree donc assez similaire dans son fonctionnement au cerveau humain.

Heu, non, c'est évidemment une puce digitale. Son architecture est très différente par contre des processeurs qu'on connaît. Quand au cerveau humain, on ne peut pas le définir en terme de digital ou d'analogique.

Le cerveau humain, c'est pas juste des neurones... L'ensemble des capteurs (qui sont analogiques) font partie du cerveau. On essaie d'imiter une partie du cerveau humain (réseaux neuronaux).

C'est probablement un peu absurde de comparer Intelligence Artificielle avec l'Intelligence Humaine. Les IA sont plus performantes dans pleins de situations (genre les échecs, ou manipuler des quantités énormes de données). Mais elles seront différentes, forcément, elles vont jamais avoir d'estomac.

[tita]

Accessoirement, il y a bien de la recherche dans des "mémoires analogiques" dans le domaine de l'IA.

https://www.nature.com/articles/s41586-023-06337-5

Je suis pas sûr de bien comprendre, mais ça permettrait de faire des opérations directement dans la mémoire au lieu de l'extraire, la traiter et la mémoriser.

Bref.

[LeLama]

Une remarque sur la psycho cognitive qui montre que le cerveau humain est tres different d'un ordi.

La psycho cognitive a produit selon moi de tres beaux resultats. En particulier elle a montré que le cerveau a une approche "top-down" qu'on ne sait reproduire sur aucun matériel : nous reconnaissons plus vite la derniere lettre d'un mot de 5 lettres comme "pomme" que nous ne reconnaissons une lettre toute seule comme "e" ( ça s'appelle le paradoxe du mot ). Les gens en psycho cognitive ne se preocuppent absolument pas du substrat matériel qui en est l'origine. Ils testent des fonctionnalités et essaient de comprendre l'organisation. Le fonctionnement est tres different d'un ordi puisqu'en quelque sorte, plus l'environnement est complexe et ordonné, plus il y a de données, plus le cerveau va vite.

Il y a d'autres incarnations de ce phénomene. Par exemple, vous allez plus vite trouver la note juste si vous etes dans une chorale avec une multiplicité de sons autour que si vous chantez seul en vous calant sur la note précédente.

Il faut que l'environnement soit riche, mais ordonné. Ce gain de vitesse n'existe pas ( au contraire) si vous donnez 5 lettres au hasard qui ne forment pas un mot, ou si on vous demande de chanter un refrain pendant qu'autour on chante une autre mélodie à un autre rythme, ou si vous êtes à côté de qqun qui chante faux.

Ce truc est assez bluffant, c'est tres spectaculaire, parce qu'il n'y a guere de dispositif materiel qui puisse reproduire ce dispositif : une organisation des donnees telles que tu es d'autant plus rapide que tu as beaucoup de données.

Ca a des implications pratiques sur l'enseignement, et notamment ca explique pourquoi les pays ou on enseigne les 4 operations en parallèle ont de meilleurs resultats que ceux qui enseignent chaque operation successivement en suivant un ordre logique. Ca explique aussi a mon sens aussi une partie de nos pbs pédagogiques actuels ou on passe notre temps a reduire la complexité ambiante pour resoudre les difficultés des apprenants, surtout en maths ou y'a plus qu'ailleurs une mythologie d'apprendre les choses dans un ordre logique très précis.

A l'inverse, je n'ai pas vraiment lu de trucs interessants en neuro-psy. Je n'ai pas eu envie d'aller plus loin. C'est toujours un peu désespérant avec des intervenants qui finissent par te dire que quand tu fais telle activité, y'a telle partie du cerveau qui se met en activité et que tu vois coloré en rouge sur un graphique. Peut etre que je n'ai pas assez fouillé, mais je n'ai pas vu d'enoncés interessants qui seraient operatoires. Le paradigme neuro-psy proposant de comprendre le cerveau en décrivant l'architecture materielle me semble moins utile que le paradigme de psy cognitive disant que l'architecture materielle est secondaire.

C'est un point interessant par rapport a l'IA. L'idee que le cerveau fonctionne comme un gros ordinateur n'est pas vérifiée. L'ordinateur est "down-top", il lit les données une à une, et plus il y a de données a lire, plus c'est long.

[Silenius]

Il est évident qu'en 2028 comme en 2023, un ordianteur qui ne connait que des 0 et des 1,

Caramba, encore rate , IBM vient de presenter North Pole, une puce analogique avec memoire integree donc assez similaire dans son fonctionnement au cerveau humain.

Heu, non, c'est évidemment une puce digitale. Son architecture est très différente par contre des processeurs qu'on connaît. Quand au cerveau humain, on ne peut pas le définir en terme de digital ou d'analogique.

Le cerveau humain, c'est pas juste des neurones... L'ensemble des capteurs (qui sont analogiques) font partie du cerveau. On essaie d'imiter une partie du cerveau humain (réseaux neuronaux).

C'est probablement un peu absurde de comparer Intelligence Artificielle avec l'Intelligence Humaine. Les IA sont plus performantes dans pleins de situations (genre les échecs, ou manipuler des quantités énormes de données). Mais elles seront différentes, forcément, elles vont jamais avoir d'estomac.

Oui, je me suis trompe, la puce analogique n'a pas de nom : https://research.ibm.com/blog/analog-ai-chip-inference