ChatGPT et autres LLM

[Glycogène]

il a mécaniquement "recopié" l'explication en remplaçant garçon par fille, ce qui n'a plus aucun sens.

Certaines copies d'élèves bien humains (en tout cas officiellement) sont issues du même genre de processus
Comme quoi des humains peuvent être aussi forts que chatGPT, ce n'est pas donné à tout le monde.

[Glycogène]

Je viens de faire le test dans excel sur 1000 couples, je trouve bien autour de 33% de filles (entre 30 et 36% selon les essais - pour le pile/face de base, j'ai parfois 55% de pile sur 1000 tirages)

Imagine maintenant que quelqu'un qui a une bonne comprehension de la langue francaise demande une experience ou il y a une fille "marquee" pour pouvoir parler de l'autre ( voir mon message precedent). Imaginons que ce bon etudiant en plus cherche une experience inordonnée, pas l'ainee ni la cadette, ni la coordonnee 1 ou 2.

Il fait alors l'experience suivante dans excel ou dans le programme de ton choix. Tu tires un couple (a,b) au hasard ( a et b valent G ou F, pour garcon ou fille). Tu choisis une coordonnee au hasard ( 1 ou 2) par une fonction random. Si la coordonnée au hasard est un garcon, tu jettes le tirage a la poubelle. Si c'est une fille, OK tu satisfais la condition ( le couple a deux enfants, dont au moins une fille), donc tu continues, et tu regardes la propriété que l'autre ( maintenant bien definie, celle de l'autre coordonnee) soit une fille.

Et bien cette experience va te donner 50% de filles pour l'autre parmi les tirages que tu n'as pas jeté a la poubelle. Tu peux faire le test.

Tu t'es loupé. Il ne faut jeter que les couples avec 2 garçons, car l'énoncé indique de retenir tous les couples contenant au moins une fille.
L'énoncé est :

Un couple a deux enfants, dont au moins un est une fille.
Quelle est la probabilité que l'autre soit aussi une fille ?

Voici les formules du tableau excel qui j'ai fait.
Je donne seulement la ligne 2, à copier pour le nb de ligne qu'on souhaite.

On génère d'abord des couples d'enfants :
colonne A = enfant A = SI(ARRONDI(ALEA.ENTRE.BORNES(0;1);1) = 0;"G";"F")
colonne B = enfant B = SI(ARRONDI(ALEA.ENTRE.BORNES(0;1);1) = 0;"G";"F")

On sélectionne les couples contenant au moins une fille, en calculant un booléen (0 ou 1) :
colonne C = au moins une fille = SI(OU($A2="F";$B2="F");1;0)

Dans les couples sélectionnés, on sélectionne un enfant fille :
colonne D = select fille (0 : enfant A; 1 : enfant B) = SI($C2=1;SI($A2="F";0;1);"")
colonne E = enfant connu (une fille) = SI($C2=1;SI($D2=0;$A2;$B2);"")
colonne F = enfant inconnu (fille ou garçon) = SI($C2=1;SI($D2=0;$B2;$A2);"")

Calcul de la proportion de filles parmi les enfants inconnus (dans les cases de son choix) :
nombre d'enfants inconnus = LIGNES(F2:F1001) - NB.VIDE(F2:F1001)
nombre de filles parmi les enfants inconnus = NB.SI(F2:F1001;"F")
proportion de filles parmi les enfants inconnus = F1003/F1002
J'ai entre 30 et 36% selon les essais.

On peut vérifier que la colonne des enfants connus (E) ne contient que des filles :
nombre d'enfants connus = LIGNES(E2:E1001) - NB.VIDE(E2:E1001)
nombre de filles parmi les enfants connus = NB.SI(E2:E1001;"F")
proportion de filles parmi les enfants connus = E1003/E1002 = 100%

On peut aussi vérifier que la colonne C (au moins une fille) contient bien autour de 75% de 1.

[GillesH38]

il a mécaniquement "recopié" l'explication en remplaçant garçon par fille, ce qui n'a plus aucun sens.

Certaines copies d'élèves bien humains (en tout cas officiellement) sont issues du même genre de processus
Comme quoi des humains peuvent être aussi forts que chatGPT, ce n'est pas donné à tout le monde.

bah non, j'ai l'habitude de corriger des copies; il y a souvent des erreurs mais pas ce genre là. J'ai jamais vu d'humain se tromper de cette façon en répondant à cette question . Il y a plein d'autres exemples où les réponses de chatGPT sont incompatibles avec une conscience , par exemple quand on lui demande de sortir les initiales d'une phrase, il commence correctement (donc il a bien "compris" la question) mais après il dérape et écrit n'importe quoi, alors que la suite ne présente aucune difficulté particulière supplémentaire : on voit que c'est un algorithme machinal qui ne marche pas bien, pas une "conscience" de qu'il écrit.

On peut l'améliorer, d'ailleurs GPT 4 fait moins d'erreurs dans les initiales, mais ces améliorations n'ont certainement pas changé fondamentalement son fonctionnement, ce n'est pas parce qu'il fait moins d'erreurs qu'il a acquis soudainement une conscience inexistante auparavant. De toutes façons à la base les humains n'ont pas été entrainés en lisant des milliards de textes de wikipedia;

[LeLama]

Tu t'es loupé. Il ne faut jeter que les couples avec 2 garçons, car l'énoncé indique de retenir tous les couples contenant au moins une fille.

Non, tu projettes ton interprétation sur l'énoncé qui n'indique pas ce que tu annonces. L'enoncé parle d'un seul couple ("un couple a deux enfants dont une fille"). Il ne dit pas comment ce couple a été choisi. Peut etre que je me rends en visite chez des amis que je sais avoir deux enfants. Un des enfants vient me dire bonjour et c'est une fille. Ca satisfait a l'enoncé et la reponse est 50% dans ce cadre.

Mais il y a d'autres cadres ou la reponse est 33% comme tes calculs le montrent. Bref, modèle probabiliste sous-jacent mal défini. Mauvais énoncé.

[LeLama]

Il y a plein d'autres exemples où les réponses de chatGPT sont incompatibles avec une conscience , par exemple quand on lui demande de sortir les initiales d'une phrase, il commence correctement (donc il a bien "compris" la question) mais après il dérape et écrit n'importe quoi, alors que la suite ne présente aucune difficulté particulière supplémentaire : on voit que c'est un algorithme machinal qui ne marche pas bien, pas une "conscience" de qu'il écrit.

Cet exemple là est bien plus convaincant que le precedent. Il est clair que pour un humain, soit il ne comprend pas la question sur les initiales d'une phrase ( par exemple un enfant de 4 ans qui ne sait pas lire ). Soit l'enfant comprend la question et il ne met pas de lettres au hasard comme chatgpt.

De facon assez singuliere, quand j'evalue des etudiants, souvent je donne des exos "previsibles" pour qu'ils aient un contrat clair sur ce qu'ils ont a apprendre, mais un contexte imprevu ( pour qu'ils ne puissent pas appliquer betement sans comprendre). D'une certaine facon, je fais involontairement des exos qui discriminent entre les etudiants à la chatgpt et les autres qui comprennent. Ceux a la chatgpt repondent mecaniquement en fonction des exos passés deja faits ( je veux leur mettre une mauvaise note car ils font n'importe quoi sans comprendre ). Je veux valoriser ceux qui font l'effort de mettre leur savoir en contexte et de s'adapter parce que ce savoir a du sens pour eux.

[Glycogène]

L'enoncé parle d'un seul couple ("un couple a deux enfants dont une fille"). Il ne dit pas comment ce couple a été choisi. Peut etre que je me rends en visite chez des amis que je sais avoir deux enfants. Un des enfants vient me dire bonjour et c'est une fille. Ca satisfait a l'enoncé et la reponse est 50% dans ce cadre.

Ce couple a été choisi au hasard => au départ, on ne sais rien.
Les parents te disent qu'ils ont 2 enfants => il y a des probabilité égales pour les cas GG GF FG FF (25% chacun).
Un des enfants vient te dire bonjour, et c'est une fille => les cas possibles deviennent GF FG FF, avec 33% chacun.
Mais dans les cas GF et FG, c'est la fille qui est venu te voir => l'autre enfant est forcément un garçon.
Reste le cas FF où l'autre enfant est une fille, qui est le seul cas où l'autre enfant est une fille => probabilité que l'autre enfant soit une fille = 33%.

[nemo]

L'enoncé parle d'un seul couple ("un couple a deux enfants dont une fille"). Il ne dit pas comment ce couple a été choisi. Peut etre que je me rends en visite chez des amis que je sais avoir deux enfants. Un des enfants vient me dire bonjour et c'est une fille. Ca satisfait a l'enoncé et la reponse est 50% dans ce cadre.

Ce couple a été choisi au hasard => au départ, on ne sais rien.
Les parents te disent qu'ils ont 2 enfants => il y a des probabilité égales pour les cas GG GF FG FF (25% chacun).
Un des enfants vient te dire bonjour, et c'est une fille => les cas possibles deviennent GF FG FF, avec 33% chacun.
Mais dans les cas GF et FG, c'est la fille qui est venu te voir => l'autre enfant est forcément un garçon.
Reste le cas FF où l'autre enfant est une fille, qui est le seul cas où l'autre enfant est une fille => probabilité que l'autre enfant soit une fille = 33%.

Mais GF et FG se confondent dans ce cas et ne font qu'un seul cas. Il reste qu'un enfant à voir il y a donc bien une chance sur deux que ce soit une fille.

[Glycogène]

Mais GF et FG se confondent dans ce cas et ne font qu'un seul cas.

Si tu veux, mais on a donc les probabilités :
FG : 66%
FF : 33%

Ce n'est pas parce qu'on réduit 3 cas en 2 cas en groupant 2 cas initiaux, que les 2 cas formés restent équiprobables. C'est juste un artifice de calcul pour simplifier le nb de cas, mais du coup la probabilité du "groupe de cas" est la somme de la probabilité de chaque cas contenu dans le groupe.

[nemo]

Mais GF et FG se confondent dans ce cas et ne font qu'un seul cas.

Si tu veux, mais on a donc les probabilités :
FG : 66%
FF : 33%

Ce n'est pas parce qu'on réduit 3 cas en 2 cas en groupant 2 cas initiaux, que les 2 cas formés restent équiprobables. C'est juste un artifice de calcul pour simplifier le nb de cas, mais du coup la probabilité du "groupe de cas" est la somme de la probabilité de chaque cas contenu dans le groupe.

SAuf qu'une fois que tu as vu la fille tout change.
Tu vois une fille. Tu sais qu'il y un autre enfant. Il y a donc 1chance/2 que ce soit une fille.

[GillesH38]

L'enoncé parle d'un seul couple ("un couple a deux enfants dont une fille"). Il ne dit pas comment ce couple a été choisi. Peut etre que je me rends en visite chez des amis que je sais avoir deux enfants. Un des enfants vient me dire bonjour et c'est une fille. Ca satisfait a l'enoncé et la reponse est 50% dans ce cadre.

Ce couple a été choisi au hasard => au départ, on ne sais rien.
Les parents te disent qu'ils ont 2 enfants => il y a des probabilité égales pour les cas GG GF FG FF (25% chacun).
Un des enfants vient te dire bonjour, et c'est une fille => les cas possibles deviennent GF FG FF, avec 33% chacun.
Mais dans les cas GF et FG, c'est la fille qui est venu te voir => l'autre enfant est forcément un garçon.
Reste le cas FF où l'autre enfant est une fille, qui est le seul cas où l'autre enfant est une fille => probabilité que l'autre enfant soit une fille = 33%.

Mais GF et FG se confondent dans ce cas et ne font qu'un seul cas. Il reste qu'un enfant à voir il y a donc bien une chance sur deux que ce soit une fille.

si tu confonds GF et FG dans le même cas, alors "GF +FG" (un garçon et une fille) est un cas deux fois plus fréquent que "FF" (deux filles) : tu peux le vérifier chez les couples avec deux enfants que tu connais, ou réaliser un tirage avec une boule blanche et une boule noir dans un sac, ou réaliser une simulation informatique aléatoire si tu sais faire, ça te donnera toujours le même résultat.

Donc il y a deux fois plus de chance que l'autre soit un garçon, qu'une fille, donc 2/3 - 1/3.

[GillesH38]

Mais GF et FG se confondent dans ce cas et ne font qu'un seul cas.

Si tu veux, mais on a donc les probabilités :
FG : 66%
FF : 33%

Ce n'est pas parce qu'on réduit 3 cas en 2 cas en groupant 2 cas initiaux, que les 2 cas formés restent équiprobables. C'est juste un artifice de calcul pour simplifier le nb de cas, mais du coup la probabilité du "groupe de cas" est la somme de la probabilité de chaque cas contenu dans le groupe.

SAuf qu'une fois que tu as vu la fille tout change.
Tu vois une fille. Tu sais qu'il y un autre enfant. Il y a donc 1chance/2 que ce soit une fille.

facile à vérifier par l'une des méthodes précédentes, ou en tirant à pile ou face par série de deux. Tu gardes tous les tirages où il y a eu au moins un pile (donc tu vires ceux où il y a eu deux faces), et dans ceux qui restent, tu compares ceux où l'autre est pile et ceux ou l'autre est face.

Pour une fois que tu peux facilement comparer tes théories à l'expérience, profites-en

[nemo]

facile à vérifier par l'une des méthodes précédentes, ou en tirant à pile ou face par série de deux. Tu gardes tous les tirages où il y a eu au moins un pile (donc tu vires ceux où il y a eu deux faces), et dans ceux qui restent, tu compares ceux où l'autre est pile et ceux ou l'autre est face.

Pour une fois que tu peux facilement comparer tes théories à l'expérience, profites-en

Tu as raison si le tirage ne se fait pas quand je vois la fille. S'il est fait a ce moment 1/2, s'il est fait quand on annonce qu'il y a 2 enfants 1/3.

[Glycogène]

Tu as raison si le tirage ne se fait pas quand je vois la fille. S'il est fait a ce moment 1/2, s'il est fait quand on annonce qu'il y a 2 enfants 1/3.

Et oui, et c'est une erreur fréquente en calcul de proba : confondre 2 scénarios où il y a les même types de tirage, mais où le séquencement des tirages est différent.
Ici les tirages sont figés dès qu'on sait qu'il y a 2 enfants, et comme l'énoncé n'indique rien de spécial sur la conception et vie des enfants, on suppose qu'il y a 4 cas possibles équiprobables. Mais on ne peut plus changer leur probabilité, on peut juste exclure des cas, grouper avec des enfants d'autres parents, etc.

[GillesH38]

si tu dis "le premier est une fille" , bien sur qu'il y a 50 % de chance que le deuxième soit une fille (en fait il y a un peu plus de garçons que de filles à la naissance), mais si tu dis 'un des deux est une fille" il faut attendre d'avoir les deux pour le savoir.

[Jeuf]

attend n'embrouille pas chatgtp avec des questions où plusieurs humains vont s'embrouiller entre eux.

Je suis d'accord avec toi. D'autant plus, on a deja parlé sur ce petit pb sur ce forum, que Gilles se trompe : le problème est mal posé et les deux reponses sont admissibles.

[...]Celui qui fait l'erreur est celui qui presente l'enoncé, dont il ne se rend pas compte qu'il n'a pas de sens. Il faut decrire exactement l'experience probabiliste pour savoir quelle est la bonne reponse. [...]

Je suis d'accord (sauf sur les termes "énoncé pourri", "erreur" de la part de qui le présente...)
Ce cas est trop limite et même les humains ne tombent pas d'accord sur 50 ou 33%.
Je ne débattrai pas des heures sur ce sujet (il y a beaucoup de débats que j'écourte, ou que je ne lis pas, quand ça devient oiseux à mon goût.)

Après, il est vrai que Chatgpt raisonne mal dans tous les cas sur cette question pour trouver 66%.
Ce qui, une fois encore, ne présage pas des capacités à venir, entre autres pour savoir faire des raisonnements qui tiennent comme un bon étudiant, et mieux encore pour savoir esquiver les pièges où tout le monde tombe?

Je lui ai demandé quelque chose pour lequel je trouve pas la réponse facilement sur internet (et la flegme de creuser en associant des bouts de connaissance à rechercher ici et là), et pour laquelle j'ai aucune idée préalable : quel est l'ordre de grandeur du nombre d'atomes sur la molécule d'ADN du chromosome 1 humain? il m'a semblé bien raisonner et aboutir à 2,4 milliards d'atomes (ou 2,8? disons quelque milliards en tout cas). Je sais pas si c'est vrai.

Je lui ai posé un autre problème (curieux, il me semble l'avoir déjà mis sur ce forum, mais est-ce un faux souvenir?).
Chatgpt se plante magistralement en répondant 10 km/h. La question est :

Je viens de monter une côte à vélo d'un km de long à la vitesse de 10km/h. Je vais la redescendre, j'aimerai améliorer ma moyenne générale à 20km/h en tout, sur les 2 km. à quelle vitesse moyenne je dois faire la descente pour atteindre cet objectif?

Contrainte pour vous les humains : interdit de faire des calculs, réponse spontanée.