"Mieux que le simple hasard": calculs, probabilités

[Carabistouille]

Bonjour,

Je lis souvent que pour qu'un test en double aveugle soit validé, il faut que le participant fasse mieux que le simple hasard.

Étant absolument nul en calculs de probabilité, pouvez-vous m'aider à déterminer ce qu'est ce "mieux que le simple hasard" dans le cas de figure suivant ? :

On place une feuille, bleue ou rouge, dans une enveloppe opaque, à l'abri du regard de Robert.
Robert dit qu'il arrive à deviner quelle couleur est dans l'enveloppe.
Il a une chance sur deux de tomber juste "par hasard".
S'il fait le test 100 fois, combien de fois doit-il tomber juste pour qu'on puisse dire que Robert possède une capacité de "voyance" ?

Merci d'avance pour votre aide, et pour les explications que vous pourrez me fournir concernant ce calcul et comment vous êtes arrivé ce chiffre.

[Zeph]

Bonjour,

Je lis souvent que pour qu'un test en double aveugle soit validé, il faut que le participant fasse mieux que le simple hasard.

Étant absolument nul en calculs de probabilité, pouvez-vous m'aider à déterminer ce qu'est ce "mieux que le simple hasard" dans le cas de figure suivant ? :

On place une feuille, bleue ou rouge, dans une enveloppe opaque, à l'abri du regard de Robert.
Robert dit qu'il arrive à deviner quelle couleur est dans l'enveloppe.
Il a une chance sur deux de tomber juste "par hasard".
S'il fait le test 100 fois, combien de fois doit-il tomber juste pour qu'on puisse dire que Robert possède une capacité de "voyance" ?

Merci d'avance pour votre aide, et pour les explications que vous pourrez me fournir concernant ce calcul et comment vous êtes arrivé ce chiffre.

Hmmm bonne question. Je pense que pour évaluer les "pouvoirs" de Robert il faudrait d'abord faire le même test à plusieurs autres personnes ne possédant pas ce "pouvoir", je dirais au moins une bonne centaine pour obtenir quelque chose de solide. On pourrait ensuite dresser une courbe des taux de réussite sur 100 lancer en effectuant une moyenne, on aurait ainsi des statistiques présentant, à peu près, les taux de chances d'avoir telles taux de réussite. SI notre cher Robert obtient un taux de réussite totalement hors norme selon nos statistique, imaginons 95%, nous ne pouvons pas en conclure qu'il a des pouvoirs directement, mais nous pouvons dire qu'il y a quelque chose de plutôt anormal. Je te renvoie vers ce passage d'une vidéo de "la statistique expliquée à mon chat" qui présente un peu la même situation, mais là le test c'est si un dé est pipé ou non : https://youtu.be/1zhfzGSTseE?t=4m32s

[Vathar]

Hmmm bonne question. Je pense que pour évaluer les "pouvoirs" de Robert il faudrait d'abord faire le même test à plusieurs autres personnes ne possédant pas ce "pouvoir", je dirais au moins une bonne centaine pour obtenir quelque chose de solide.

Bof. Il reste raisonnable de partir du postulat standard que sur un tirage binaire, une personne dépourvue de hasard et se fiant au hasard aura 50% de réponses justes. Pas la peine de tester 100 témoins dépourvus de pouvoir pour cela, surtout quand on n'a pas encore écarté l’hypothèse nulle basée sur une premiere prédiction aussi neutre qu'un 50/50 de hasard.

[Zeph]

Hmmm bonne question. Je pense que pour évaluer les "pouvoirs" de Robert il faudrait d'abord faire le même test à plusieurs autres personnes ne possédant pas ce "pouvoir", je dirais au moins une bonne centaine pour obtenir quelque chose de solide.

Bof. Il reste raisonnable de partir du postulat standard que sur un tirage binaire, une personne dépourvue de hasard et se fiant au hasard aura 50% de réponses justes. Pas la peine de tester 100 témoins dépourvus de pouvoir pour cela, surtout quand on n'a pas encore écarté l’hypothèse nulle basée sur une premiere prédiction aussi neutre qu'un 50/50 de hasard.

Peut-être qu'une centaine est un peu gros, mais il est important de ne pas uniquement se baser sur la probabilité théorique. Si Robert a un résultat de 70% de réussite on pourrait croire à son pouvoir car il est au dessus de 50% alors qu'il est parfaitement possible d'obtenir un tel résultat avec de la chance. Une courbe de statistique avec des essaies nous permettrais de mieux observer si Robert a vraiment des capacités hors-norme et observer que 70% de réussite correspond déjà à un test effectué par exemple.

[Carabistouille]

Hmmm bonne question. Je pense que pour évaluer les "pouvoirs" de Robert il faudrait d'abord faire le même test à plusieurs autres personnes ne possédant pas ce "pouvoir", je dirais au moins une bonne centaine pour obtenir quelque chose de solide.

Bof. Il reste raisonnable de partir du postulat standard que sur un tirage binaire, une personne dépourvue de hasard et se fiant au hasard aura 50% de réponses justes. Pas la peine de tester 100 témoins dépourvus de pouvoir pour cela, surtout quand on n'a pas encore écarté l’hypothèse nulle basée sur une premiere prédiction aussi neutre qu'un 50/50 de hasard.

Peut-être qu'une centaine est un peu gros, mais il est important de ne pas uniquement se baser sur la probabilité théorique. Si Robert a un résultat de 70% de réussite on pourrait croire à son pouvoir car il est au dessus de 50% alors qu'il est parfaitement possible d'obtenir un tel résultat avec de la chance. Une courbe de statistique avec des essaies nous permettrais de mieux observer si Robert a vraiment des capacités hors-norme et observer que 70% de réussite correspond déjà à un test effectué par exemple.

Je ne suis pas certain qu'il suffisse d'être "au-dessus de 50%" pour valider son "pouvoir".

A priori, on a 0,00392507 % de chances de faire 70 réussites ou plus, sur 100 tests. C'est très peu, effectivement, et cela pourrait laisser penser que c'est extraordinaire. Comme gagner au loto. Ça peut arriver, même complètement par hasard. Mais si Robert fait au moins 70 réussites à chaque fois, là ça devient intéressant.

[Zeph]

Bof. Il reste raisonnable de partir du postulat standard que sur un tirage binaire, une personne dépourvue de hasard et se fiant au hasard aura 50% de réponses justes. Pas la peine de tester 100 témoins dépourvus de pouvoir pour cela, surtout quand on n'a pas encore écarté l’hypothèse nulle basée sur une premiere prédiction aussi neutre qu'un 50/50 de hasard.

Peut-être qu'une centaine est un peu gros, mais il est important de ne pas uniquement se baser sur la probabilité théorique. Si Robert a un résultat de 70% de réussite on pourrait croire à son pouvoir car il est au dessus de 50% alors qu'il est parfaitement possible d'obtenir un tel résultat avec de la chance. Une courbe de statistique avec des essaies nous permettrais de mieux observer si Robert a vraiment des capacités hors-norme et observer que 70% de réussite correspond déjà à un test effectué par exemple.

Je ne suis pas certain qu'il suffisse d'être "au-dessus de 50%" pour valider son "pouvoir".

C'est exactement ce que je dis, il faut effectuer des tests théorique pour ne pas simplement croire que Robert a des pouvoirs. Alors que ce que Vathar disait c'est qu'il n'y voyait pas l'intérêt puisque ce serait toujours près de 50%, mais ça ne règle pas le problème puisque si Robert de la chance il pourrait avoir 70% et si on ne fait pas alors de tests pratiques ce sera compliqué de connaitre le taux de réussite auquel Robert a des pouvoirs. Mais je pense que Vathar a raison sur un point, il serait mieux de faire faire le test à Robert avant pour ne pas à avoir à faire des tests pratique pour rien.

[Wooden Ali]

Ce problème est analogue à celui de la détection d'une pièce de monnaie truquée en jouant à pile ou face.
Tu trouveras la théorie ici : https://fr.wikipedia.org/wiki/Pile_ou_face.
Tu pourras dire que le sujet fait mieux que le hasard avec une probabilité de te tromper de une chance sur 1000 si il trouve la bonne couleur 67 fois. Si tu choisis de te tromper avec une probabilité de 5%, c'est 59 fois qu'il devra trouver la bonne couleur.
En n'oubliant pas que si il passe le test ric-rac, il vaut mieux le recommencer. Les super-pouvoirs n'ont rien à redouter des statistiques : s'ils existent, la loi des grands nombres (en augmentant le nombre de tirages) les confirmera.

[Zeph]

Ce problème est analogue à celui de la détection d'une pièce de monnaie truquée en jouant à pile ou face.
Tu trouveras la théorie ici : https://fr.wikipedia.org/wiki/Pile_ou_face.
Tu pourras dire que le sujet fait mieux que le hasard avec une probabilité de te tromper de une chance sur 1000 si il trouve la bonne couleur 67 fois. Si tu choisis de te tromper avec une probabilité de 5%, c'est 59 fois qu'il devra trouver la bonne couleur.
En n'oubliant pas que si il passe le test ric-rac, il vaut mieux le recommencer. Les super-pouvoirs n'ont rien à redouter des statistiques : s'ils existent, la loi des grands nombres (en augmentant le nombre de tirages) les confirmera.

Oui effectivement répéter le test de nombreuses fois marche aussi !

[Cadenas]

Il y a une très intéressante vidéo de la statistique expliquée à mon chat sur ce sujet.

[Vathar]

Peut-être qu'une centaine est un peu gros, mais il est important de ne pas uniquement se baser sur la probabilité théorique. Si Robert a un résultat de 70% de réussite on pourrait croire à son pouvoir car il est au dessus de 50% alors qu'il est parfaitement possible d'obtenir un tel résultat avec de la chance. Une courbe de statistique avec des essaies nous permettrais de mieux observer si Robert a vraiment des capacités hors-norme et observer que 70% de réussite correspond déjà à un test effectué par exemple.

Je ne suis pas certain qu'il suffisse d'être "au-dessus de 50%" pour valider son "pouvoir".

C'est exactement ce que je dis, il faut effectuer des tests théorique pour ne pas simplement croire que Robert a des pouvoirs. Alors que ce que Vathar disait c'est qu'il n'y voyait pas l'intérêt puisque ce serait toujours près de 50%, mais ça ne règle pas le problème puisque si Robert de la chance il pourrait avoir 70% et si on ne fait pas alors de tests pratiques ce sera compliqué de connaitre le taux de réussite auquel Robert a des pouvoirs. Mais je pense que Vathar a raison sur un point, il serait mieux de faire faire le test à Robert avant pour ne pas à avoir à faire des tests pratique pour rien.

Il ne suffit absolument pas de faire plus de 50%. Ce que je disais c'est qu'il est inutile de faire passer des tests a un échantillon de base pour obtenir ta valeur médiane de 50%, par contre je l'ai écrit en vitesse en attendant la fin d'une averse et ma réponse est largement incomplète. Ta valeur médiane est le sommet de ta courbe de distribution, mais il te faut ensuite déterminer une valeur p selon le degré de confiance que tu désires.

[Zeph]

Je ne suis pas certain qu'il suffisse d'être "au-dessus de 50%" pour valider son "pouvoir".

C'est exactement ce que je dis, il faut effectuer des tests théorique pour ne pas simplement croire que Robert a des pouvoirs. Alors que ce que Vathar disait c'est qu'il n'y voyait pas l'intérêt puisque ce serait toujours près de 50%, mais ça ne règle pas le problème puisque si Robert de la chance il pourrait avoir 70% et si on ne fait pas alors de tests pratiques ce sera compliqué de connaitre le taux de réussite auquel Robert a des pouvoirs. Mais je pense que Vathar a raison sur un point, il serait mieux de faire faire le test à Robert avant pour ne pas à avoir à faire des tests pratique pour rien.

Il ne suffit absolument pas de faire plus de 50%. Ce que je disais c'est qu'il est inutile de faire passer des tests a un échantillon de base pour obtenir ta valeur médiane de 50%, par contre je l'ai écrit en vitesse en attendant la fin d'une averse et ma réponse est largement incomplète. Ta valeur médiane est le sommet de ta courbe de distribution, mais il te faut ensuite déterminer une valeur p selon le degré de confiance que tu désires.

Je ne me baserais pas uniquement sur le sommet de la courbe car là oui évidemment que cela ne sert à rien. Je me baserais sur l'entièreté de la courbe et si le résultat dépasse largement le taux de réussite maximum de ma courbe je pourrai me poser des questions sur ses pouvoirs.

[Carabistouille]

En gros, on fixe le seuil là on cela nous semble bon ?

[Zeph]

En gros, on fixe le seuil là on cela nous semble bon ?

Non pas vraiment. Je pense que le mieux me semble de refaire plusieurs fois le test. Si à chaque fois les résultat sont au dessus de la courbe que tu aurais formé en analysant les résultats de précédentes personnes je pense que peut en tirer que cette personne a soit un truc ou soit un genre de "pouvoir".

[Vathar]

En gros, on fixe le seuil là on cela nous semble bon ?

Il y a des habitudes à ce sujet. Une valeur p de 5% est chose courante.

Je ne me baserais pas uniquement sur le sommet de la courbe car là oui évidemment que cela ne sert à rien. Je me baserais sur l'entièreté de la courbe et si le résultat dépasse largement le taux de réussite maximum de ma courbe je pourrai me poser des questions sur ses pouvoirs.

Non pas vraiment. Je pense que le mieux me semble de refaire plusieurs fois le test. Si à chaque fois les résultat sont au dessus de la courbe que tu aurais formé en analysant les résultats de précédentes personnes je pense que peut en tirer que cette personne a soit un truc ou soit un genre de "pouvoir".

Ça ne veut pas dire grand chose dans le cadre de distributions probabilistes classiques. Pour une loi binomiale comme celle-ci (distribution binomiale prise au pif sur gogole),



On s’intéresse aux réussites improbables, donc à l’extrémité droite de la courbe, pas au "dessus" ou "dessous".

[Zeph]

En gros, on fixe le seuil là on cela nous semble bon ?

Il y a des habitudes à ce sujet. Une valeur p de 5% est chose courante.

Je ne me baserais pas uniquement sur le sommet de la courbe car là oui évidemment que cela ne sert à rien. Je me baserais sur l'entièreté de la courbe et si le résultat dépasse largement le taux de réussite maximum de ma courbe je pourrai me poser des questions sur ses pouvoirs.

Non pas vraiment. Je pense que le mieux me semble de refaire plusieurs fois le test. Si à chaque fois les résultat sont au dessus de la courbe que tu aurais formé en analysant les résultats de précédentes personnes je pense que peut en tirer que cette personne a soit un truc ou soit un genre de "pouvoir".

Ça ne veut pas dire grand chose dans le cadre de distributions probabilistes classiques. Pour une loi binomiale comme celle-ci (distribution binomiale prise au pif sur gogole),



On s’intéresse aux réussites improbables, donc à l’extrémité droite de la courbe, pas au "dessus" ou "dessous".

Oui je me suis mal exprimé. Par au dessus je voulais dire au dessus du taux de réussite maximum de ma courbe, évidemment cela ne suffit pas mais répéter le test plusieurs fois permettra d'obtenir de meilleur conclusion. Ta courbe justement représente plutôt une estimation théorique qui ne collera pas forcément à la réalité de 100 tests. Si je lance 100 fois une pièce je n'aurai sûrement pas 50 faces 50 piles, c'est pour ça qu'il me semblait important de faire des tests dans la réalité. Mais au final je pense que Vathar vous m'avez convaincu, la meilleure solution semble de répéter l'expérience plusieurs. Si à chaque fois il se trouve à l'extrémité droite de votre courbe (théorique ou pratique ça ne change pas grand chose au final pour ce test) on pourra en déduire que quelque chose d'annormal s'est passé (des pouvoirs, un tour de passe passe etc.)

[Cadenas]

Si c'est systématiquement à l'extrémité gauche aussi, c'est intéressant. Parce que ce serait tout autant extraordinaire quelqu'un qui se trompe avec une telle régularité.

[Carabistouille]

En gros, on fixe le seuil là on cela nous semble bon ?

Il y a des habitudes à ce sujet. Une valeur p de 5% est chose courante.

Je ne me baserais pas uniquement sur le sommet de la courbe car là oui évidemment que cela ne sert à rien. Je me baserais sur l'entièreté de la courbe et si le résultat dépasse largement le taux de réussite maximum de ma courbe je pourrai me poser des questions sur ses pouvoirs.

Non pas vraiment. Je pense que le mieux me semble de refaire plusieurs fois le test. Si à chaque fois les résultat sont au dessus de la courbe que tu aurais formé en analysant les résultats de précédentes personnes je pense que peut en tirer que cette personne a soit un truc ou soit un genre de "pouvoir".

Ça ne veut pas dire grand chose dans le cadre de distributions probabilistes classiques. Pour une loi binomiale comme celle-ci (distribution binomiale prise au pif sur gogole),



On s’intéresse aux réussites improbables, donc à l’extrémité droite de la courbe, pas au "dessus" ou "dessous".

Oui je me suis mal exprimé. Par au dessus je voulais dire au dessus du taux de réussite maximum de ma courbe, évidemment cela ne suffit pas mais répéter le test plusieurs fois permettra d'obtenir de meilleur conclusion. Ta courbe justement représente plutôt une estimation théorique qui ne collera pas forcément à la réalité de 100 tests. Si je lance 100 fois une pièce je n'aurai sûrement pas 50 faces 50 piles, c'est pour ça qu'il me semblait important de faire des tests dans la réalité. Mais au final je pense que Vathar vous m'avez convaincu, la meilleure solution semble de répéter l'expérience plusieurs. Si à chaque fois il se trouve à l'extrémité droite de votre courbe (théorique ou pratique ça ne change pas grand chose au final pour ce test) on pourra en déduire que quelque chose d'annormal s'est passé (des pouvoirs, un tour de passe passe etc.)

Je ne suis pas un spécialiste des courbes binomiales, mais il me semble que c'est justement ce que montre cette courbe, non ? Elle montre ici qu'on a 8% de chances de faire 50 "pile" sur 100 lancers de pièces.

[Wooden Ali]

Ne réinventez pas l'eau tiède ! Ce problème est un classique très bien exposé dans l'article Wikipédia que j'ai cité. On utilise le test du chi carré. Il suffit de choisir le degré de confiance qu'on veut pour savoir si oui ou non on peut rejeter l'hypothèse d'une différence entre le résultat trouvé et le hasard. Exemple (tiré de Wikipédia) :

On réalise n=100 tests, et on choisit un seuil α = 5 %

si on obtient op = 61 gagné et n - op = 39 perdu,
on calcule le chi carré = 4,84
on compare ce résultat avec la colonne du tableau ci-dessous pour α = 5 %
On trouve 3,84 qui est inférieur à la valeur trouvée 4,84
On rejette alors l'hypothèse que le résultat est dû au hasard au seuil 5 %.
C'est-à-dire : on peut affirmer, avec fiabilité 95 %, que le résultat obtenu est différent du hasard.
Nota : Le même tableau nous dit qu'on ne pourrait pas rejeter cette hypothèse avec une certitude de 99% (chi carré = 6,63 > 4,84). Cela vaut donc certainement le coup d'augmenter l'échantillonnage.

Ce résultat suppose, bien sûr, que l'expérience ait été parfaitement menée sans possibilité de tricherie ou de biais d'aucune sorte.



Loi du chi carré à un degré de liberté pour un test bilatéral. fiabilité (100 % - α)
1  % 5  % 10  % 50  % 90  % 95  % 99  % 99,9  %
seuil (α) 99  % 95  % 90  % 50  % 10  % 5  % 1  % 0,1  %
χ2crit 0,000 2 0,004 0,02 0,45 2,71 3,84 6,63 10,83

[Lulu Cypher]

Bon dimanche à tous et particulièrement à zeph et carabistouille,

[mode moderation=on]
Merci de ne pas citer intégralement le message auquel vous faites référence quand ce n'est pas absolument indispensable. Vous pouvez faire des citations partielles grâce à la balise quote (entre autres).
Si vous souhaitez de l'aide sur son utilisation vous trouverez des informations sur ce fil
[/mode moderation]

Merci