Statistiques, défis et ESP

[Alexandre]

Bonjour à tous.

Après avoir lu "Le Québec Sceptique - numéro 58" et "l'annexe6" du Laboratoire de Zététique de Nice-Sophia Antipolis sur les tests de perception extrasensorielle, j'ai pu me faire une petite idée de la mise en place d'un protocole expérimental rigoureux chez les sceptiques afin de tester cette "capacité" (ici avec les cartes Zener).

Aussi, j'ai besoin de comprendre certains points, donc si vous pouvez me les éclaircir, je vous en serai vraiment reconnaissant.

Il me semble que les parapsychologues fixent souvent un seuil de "significativité" de p = 0.05 (voire p = 0.01, avec p la probabilité d'obtenir k réussites sur n essais pour un évènement de probabilité p'). Sur votre article ( numéro 58 ) il est indiqué que le seuil de significativité minimum est de p = 0.00001 pour pouvoir négliger le hasard (voire même jusqu'à p = 0.000001). Comment expliquer un tel écart entre vous et les parapsychologues ?

Je viens aussi de remarquer que dans un polycopié de méthodologie scientifique fait par Henry Broch pour les étudiants en Zététique est aussi d'accord pour dire que le seuil du hasard complet est considéré à p > 0.01 (source de l'article ----> http://www.unice.fr/zetetique/polycop_methodo.pdf voir page 21, courbe).


Une autre question, si une personne lambda participe à ce "défi", combien de tirages effectuerez-vous ? Sur "l'annexe 6" il est question d'au minimum 800 tirages. Qu'en est-il pour le "défi" ?



J'ai donc effectué quelques recherches sur internet et je suis tombé sur ce site d'information sur la "parapsychologie scientifique actuelle".Il y avait une section programmes et j'ai pu télécharger par le biais de ce site un logiciel qui permettrait de tester les perceptions extrasensorielles (cartes Zener). Même si très sceptique, j'ai téléchargé le logiciel et l'ai testé. A première vue il s'agirait de tester ses "facultés" de précognition.

Après cinq séries de 1000 essais, en ne validant à chaque fois qu'une seule carte spécifique (chacune des cinqs cartes), le résultat tendait vers le hasard "pur" (environ 20% à chaque fois, sauf une à 21%).
J'ai donc supposé que les tirages étaient indépendants (à vérifier) et que l'on pouvait donc se fier à la loi binomiale, car j'ai vérifié en faisant les calculs par rapport aux réussites et échecs. A noter que le p calculé par le logiciel ne semble pas être le même que celui que j'ai calculé avec la loi binomiale.

J'ai donc effectué une dernière série en me prenant au jeu et au bout de 1000 essais j'ai obtenu un résultat de 231 réussites avec un p = 0.0017.

Voici les captures d'écran de mes résultats :

http://img465.imageshack.us/img465/5943 ... uesuk6.png





Si vous voulez, voici un logiciel qui permet de calculer le p ----> (http://psiland.free.fr/dossiers/utiles/ ... o/bino.zip)



Donc mes dernières questions sont :

- Ce logiciel fait-il des tirages indépendants (1 chance sur 5 à chaque fois) ?
- Mes résultats peuvent-ils être considérés comme statistiquement "significatifs" ou non-attribués au hasard ?




Il est probable que dans ce que j'ai écrit plus haut, il y ait quelque chose de faux ou mal maîtrisé, merci de me corriger (sans me taper sur les doigts de préférence :p).

P.S : Edit car l'image était illisible

[Denis]

Salut Alexandre,

Vous dites :

Il me semble que les parapsychologues fixent souvent un seuil de "significativité" de p = 0.05 (voire p = 0.01, avec p la probabilité d'obtenir k réussites sur n essais pour un évènement de probabilité p'). Sur votre article ( numéro 58 ) il est indiqué que le seuil de significativité minimum est de p = 0.00001 pour pouvoir négliger le hasard (voire même jusqu'à p = 0.000001). Comment expliquer un tel écart entre vous et les parapsychologues ?

C'est simplement parce qu'une expérience significative à 5% (ou à 1%) est encore très très loin d'être une preuve. Au mieux, c'est un indice encourageant, une incitation à poursuivre la recherche.

Aussi, lors des défis sceptiques, il y a habituellement un assez gros montant $ en jeu. Si 200 candidats se présentent, allez vous les tester à 5% ? Si vous le faites, le simple jeu du hasard vous fournira une dizaine de gagnants.

Le 5% (ou le 1%) peut servir lors de tests préliminaires, mais certainement pas lors du test principal où on demande une preuve (ou un argument très fort), pas seulement un petit coup de chance ordinaire.

Si moi j'avais le pouvoir de deviner correctement 1 fois sur 5 (plutôt que sur 6) le résultat d'un dé, je n'aurais aucun mal à le prouver à 0.0000001%. Et je pense bien qu'il devrait en être de même pour toute personne qui aurait authentiquement ce pouvoir.

Vous demandez aussi :

Une autre question, si une personne lambda participe à ce "défi", combien de tirages effectuerez-vous ? Sur "l'annexe 6" il est question d'au minimum 800 tirages. Qu'en est-il pour le "défi" ?

Le nombre de tirages requis (pour avoir des chances raisonnables de détecter très significativement un effet) dépend de la force de cet effet. Si, par exemple, j'avais le pouvoir de deviner correctement 5 fois sur 6 (plutôt que 1 fois sur 6) le résultat d'un dé, je pourrais aisément le démontrer (à 0.0000001%) en une petite trentaine de lancers. Le "800" n'est donc pas un critère en béton. Il dépend de façon cruciale de la "force du pouvoir" et du seuil de significativité requis.

Vous dites aussi :

A noter que le p calculé par le logiciel ne semble pas être le même que celui que j'ai calculé avec la loi binomiale.

J'ai donc effectué une dernière série en me prenant au jeu et au bout de 1000 essais j'ai obtenu un résultat de 231 réussites avec un p = 0.0017.

Moi non plus je n'arrive pas à la même probabilité critique. Je calcule qu'obtenir 231 succès (en 1000 essais, avec p = 1/5) est significatif à 0.875% plutôt qu'à 0.17%.

Je vous invite à refaire l'expérience. Je pense que vous avez été simplement un peu chanceux d'obtenir 231 succès. Je serais surpris (à 0.875%) que, dans une nouvelle série de 1000 essais, vous répétiez ce petit exploit.

Aussi, mettez vous à notre place. Si plusieurs milliers de personnes s'essayent à ce test en ligne, il n'y a rien de surprenant à ce que plusieurs dizaines d'entre elles réussissent (comme vous) une performance significative à <1%. Et il n'y a rien de surprenant à ce qu'une de ces plusieurs dizaines de personnes chanceuses viennent nous rapporter leur exploit. Un forum sceptique, c'est un peu fait pour ça. Ça attire plus ceux qui ont été chanceux que ceux qui ne l'ont pas été. Je dirais à peu près la même chose à quelqu'un qui viendrait nous déclarer qu'il a gagné un gros lot au Lotto 6/49. Je sais qu'il y a, "dans la nature", des centaines de personnes qui ont réalisé cet exploit (une chance sur 14 millions). Ça ne me trouble donc pas si l'une d'entre elles vient nous le déclarer.

D'après vous, parmi toutes les personnes qui se sont essayé au test en ligne (sur les cartes Zener), combien ont réussi une performance plus significative que 231 succès en 1000 essais ? S'il y en a des centaines et que l'une d'elles vient nous le rapporter, je n'ai pas grand chose d'autre à lui suggérer que d'essayer encore, puis revenir nous en parler.

Cordialement,

Denis

[Alexandre]

Bon, donc déjà merci de m'avoir répondu.

Je ne suis évidemment pas venu ici pour afficher mes "exploits", cela va sans dire. Je ne prétends avoir aucune capacité psychique particulière qui sorte du "normal". ^^

Je voulais juste préciser une chose, c'est que même si sur mon premier post sur ce forum j'y amène un "résultat", ce n'est pas ma "chance" qui m'a attiré par ici rassurez-vous. ^^





Merci d'avoir rectifier mon erreur sur le p que j'avais obtenu, j'ai eu un gros doute avant de choisir entre 0.0017 (probabilité de ce nombre de réussite) et 0.0087 (probabilité d'obtenir d'avantage de réussite) sur le programme que j'ai utilisé dans le post précédent (car ma calculatrice ne dépasse pas la factorielle 40 ).

Je pense aussi qu'il doit y avoir pas mal de personnes qui ont déjà gagné au loto et que si elle viendrait sur ce forum pour déclarer haut et fort que la probabilité était très très faible et donc "significative", il serait là dans un tort malheureux car pour que cela soit exact, il devra répéter l'expérience bien plus de fois qu'une seule fois. Je suis d'accord sur ça.


Je suis aussi d'accord sur le fait qu'il faille répéter l'expérience énormément de fois pour pouvoir par la suite obtenir un résultat "fiable".

Vous dites qu'un résultat, tel que 231 est probablement un peu chanceux, pourtant j'ai répété l'expérience un millier de fois. Donc si je comprends bien, dans le cadre d'un "défi" sceptique, il faudrait répéter cette série de 1000 plusieurs fois pour "conclure" à quelque chose qui sorte du hasard ? (je peux me tromper)


Donc si j'ai bien compris ce que vous avez expliqué, c'est que vous définissez un "seuil" de "significativité" en fonction de "la force du pouvoir" déclarée ? (je ne comprends pas bien ici ce que signifie "force du pouvoir" )
Et que ce seuil n'est valable que si le "sujet" reproduit l'expérience des milliers (combien en fait ? ) de fois (pour les cartes Zener ici) ? (oui j'ai tendance à me répéter je crois )



Donc, le seuil des parapsychologues (et de Broch apparemment ?) est au mieux, "encourageant" dans le cadre de recherches ou de défis éventuels.

Ma question sera donc la suivante : comment avez-vous fixé le seuil de 1/100000 (minimum) pour le test avec les cartes Zener sur le numéro 58 ?


La raison pour laquelle j'ai ouvert ce sujet, est avant tout pour comprendre la façon dont le défi met en place un protocole expérimental rigoureux (donc en évitant toute fraude et biais) pour tester les possibles capacités des prétendants (ici pour les cartes Zener) et aussi comment s'y prend t-on par la suite (après résultats obtenus) pour conclure à quelque chose de significatif (quels calculs pour fixer le seuil par exemple).


Merci de m'avoir lu.

[Denis]

Salut Alexandre,

Vous dites :

Vous dites qu'un résultat, tel que 231 est probablement un peu chanceux, pourtant j'ai répété l'expérience un millier de fois.

Vous n'avez fait qu'une expérience qui vous a donné 231 succès en 1000 essais, ce qui est significatif à 0.875%.

Le 1000 n'a pas beaucoup d'importance.

Si, en un milliard d'essais, vous aviez obtenu 200 030 000 succès, ça aurait été significatif au niveau 0.885%.

Si, en 3 essais, vous aviez obtenu 3 succès, ça aurait été significatif au niveau 0.8%.

Bref, obtenir 231 succès en 1000 essais, obtenir 200 030 000 succès en 1 000 000 000 d'essais, ou obtenir 3 succès en 3 essais sont trois performances à peu près aussi significatives les unes que les autres. Dans chaque cas, le hasard a un peu moins qu'une chance sur 100 de faire aussi bien ou mieux.

Obtenir 231 succès en 1000 essais est même un peu moins surprenant~significatif qu'obtenir 3 succès en 3 essais.

Donc si j'ai bien compris ce que vous avez expliqué, c'est que vous définissez un "seuil" de "significativité" en fonction de "la force du pouvoir" déclarée ? (je ne comprends pas bien ici ce que signifie "force du pouvoir" )

Ce que j'appelle "force du pouvoir", c'est de combien la probabilité de deviner juste est supérieure à 1/5. Je considère que si on a une probabilité (de deviner juste) supérieure à 1/5, on a un "pouvoir paranormal".

Plus ce "pouvoir" est fort, plus il est facile de démontrer expérimentalement qu'il n'est pas nul.

Par exemple, si Arthur a une probabilité (de deviner juste) de 0.20001 et si Bernard a une probabilité (de deviner juste) de 0.5, il sera beaucoup plus facile à Bernard qu'à Arthur de démontrer statistico-expérimentalement la réalité de son "pouvoir paranormal".

Pour avoir 95% de chance de réaliser une expérience significative à "une chance sur un million", Bernard n'aura besoin que de seulement 82 essais alors que, pour Arthur, ça en prendra 65.5 milliards.

Et si Charles a un pouvoir ultra fort (il devine juste 100% des fois), ça ne lui prendra que 9 essais pour réaliser (à coup sûr) une expérience plus significative que "une chance sur un million".

Bref, plus le pouvoir est fort, plus il est facile de démontrer qu'il n'est pas nul et qu'il y a du paranormal sous roche.

Ma question sera donc la suivante : comment avez-vous fixé le seuil de 1/100000 (minimum) pour le test avec les cartes Zener sur le numéro 58 ?

Le "une chance sur 100 000" (ou une chance sur un milliard) est arbitraire. C'est une sorte de coussin de sécurité.

Dans mon message précédent, j'ai écrit : « on demande une preuve (ou un argument très fort), pas seulement un petit coup de chance ordinaire ».

Si on se contentait d'une performance statistiquement significative à 5% pour déclarer que "la preuve est satisfaisante", on jouerait au fou. Un petit coup de chance ordinaire n'est pas une preuve satisfaisante. Ça prend plutôt un coup de chance extraordinaire, de l'ordre d'une chance sur un million, ou sur un milliard.

Pour Bernard ou pour Charles, réaliser une performance significative à une chance sur un milliard serait un jeu d'enfant (une affaire de quelques minutes). J'admets que, pour Arthur (dont le pouvoir, pourtant réel, est très faible), il en va autrement. Pour lui, l'expérience prendrait des années (et des milliards d'essais) s'il veut avoir une probabilité raisonnable de réussir.

Et c'est normal. Plus un pouvoir est fort, plus il est facile de démontrer qu'il n'est pas nul. Et, dans un test sceptique, on demande de raisonnablement~pratiquement démontrer que le dit pouvoir n'est pas nul, rien d'autre.

Comme le disait Karl Sagan, « les affirmations extraordinaires nécessitent des preuves extraordinaires ». Or l'existence d'un pouvoir de divination (des cartes Zener ou des résultats d'un dé) meilleur qu'au hasard est une prétention extraordinaire (qui chambarderait pas mal les paradigmes scientifiques actuels). Pour admettre que "c'est vrai", ça prend donc une preuve extraordinaire. Un simple 1% ne suffit pas du tout.

Cordialement,

Denis

[Alexandre]

Merci pour votre réponse qui m'a bien éclairée sur ces points qui restaient encore très troubles pour moi.

[Hallucigenia]

Très intéressant tout çà.

Par contre en vous lisant, je constate à quel point j'aurais besoin d'une petite mise-à-jour de mes connaissances de base en statistiques...

J'ai oublié trop de choses, et sans aide aujourd'hui je serais bien incapable de calculer tout çà.

[Alexandre]

Je voulais mieux comprendre comment les parapsychologues (même si souvent biaisés) et les défis sceptiques faisaient pour mettre en place un protocole expérimental, avec les calculs rigoureux associés.

Avant je pensais que 1000 essais suffisaient pour conclure (ou non) à un résultat qui sorte du hasard. Maintenant je vois bien qu'il en faut bien plus pour accorder un résultat qui néglige le hasard (ce qui me paraît finalement tout à fait logique !).

Ce qui m'a surpris c'est que sur toutes les cinqs premieres expériences que je faisais (expériences décrites plus haut), j'obtenais à chaque fois un résultat entre 20 et 21 % ce qui semblait confirmer l'hypothèse du "hasard".
Je me suis "pris au jeu" et ai effectué la dernière série en "pensant" (souhaitant) le résultat "avenir". J'ai obtenu 231 sur 1000 donc.
Après avoir lu l'article du laboratoire zététique, j'ai cru comprendre (mal) que cela suffisait pour conclure à un résultat "significatif" (alors que je n'ai pas de faculté quelle qu'elle soit !). Ca m'a surpris, moi qui n'ai jamais "vécu" quoi que ce soit qui pouvait sortir de la "normale".


Ce résultat peut donc paraître "intéressant" mais il faut bien répéter l'expérience (que ce soit pour 1000 essais ou 25). Tout dépend par la suite de la reproductibilité de l'expérience et des résultats associés.

Je me rends compte maintenant que beaucoup de sites sur le net qui prétendent établir des protocoles expérimentaux strictes, confirment un résultat significatif (voire même disent que c'est de la télépathie ou de la précognition directement) alors que leurs essais sont trop faibles (100 essais seulement pour un évènement de p = 0.2).

Par contre en vous lisant, je constate à quel point j'aurais besoin d'une petite mise-à-jour de mes connaissances de base en statistiques...

J'ai oublié trop de choses, et sans aide aujourd'hui je serais bien incapable de calculer tout çà.

Je ne vous le fais pas dire. Je fais des études en sciences de la matière actuellement et les probabilités pour le moment on met de coté (peut-être plus tard, même si j'ai encore quelques souvenirs de Terminale, dernière année de lycée en France).

Donc merci Denis pour ces précisions.

[Alexandre]

Bonjour à tous.

Bon je me permets de ramener ce sujet en surface pour poser une question, surtout à Denis en fait.

Denis, quel(s) programme(s) utilises-tu pour faire des factorielles supérieures à 40 (par exemple). Car pour des calculs avec la loi binomiale, je me retrouve souvent limité. J'ai eu beau chercher sur internet, je n'ai rien trouvé de satisfaisant.

Merci à toi pour ta réponse.


P.S : j'avais trouvé ça (CLIQUEZ) sur internet, mais une solution logicielle qui ne nécessite pas de connexion internet m'aurait tout autant arrangée.

[Zwielicht]

Denis, quel(s) programme(s) utilises-tu pour faire des factorielles supérieures à 40 (par exemple). Car pour des calculs avec la loi binomiale, je me retrouve souvent limité. J'ai eu beau chercher sur internet, je n'ai rien trouvé de satisfaisant.

Avec scilab, je me rends à !170.

[Denis]

Salut Alexandre,

Tu demandes

Denis, quel(s) programme(s) utilises-tu pour faire des factorielles supérieures à 40 (par exemple).

Te faut-il la valeur exacte ou simplement une expression en notation scientifique (avec 7~8 chiffres significatifs seulement) ?

S'il te faut la valeur exacte, il te faut un logiciel qui permet de traiter les nombres avec des centaines~milliers de chiffres significatifs. Par exemple, il y a Maple, que je connais peu mais qui fait des "miracles".

Personnellement, si j'avais à calculer 1000!, je passerais par le calcul de son logarithme qui est la somme des logarithmes des entiers de 1 à 1000.

Ce petit programme Basic fait l'affaire :

• input n
  s=0
  for i=1 to n
  s=s+log(i)
  next i
  print s

Par exemple, avec n=100, on obtient :
loge(100!) = 363.7393756, d'où log10(100!) = 157.9700037.

Donc 100! = 100.9700037E157 = 9.332622E157, ce qui est en excellent accord avec la valeur exacte qu'on obtient de Maple :

• 933262154439441526816992388562667004907159682643816214685929638952175999\
  932299156089414639761565182862536979208272237582511852109168640000000000\
  00000000000000

Avec n = 1000, mon petit programme Basic donne :

loge(1000!) = 5912.12818, d'où log10(1000!) = 2567.60464.

Donc 1000! = 100.60464E2567 = 4.0239E2567.

Approximativement.

Pour la valeur exacte (avec 2568 chiffres), il faudrait utiliser Maple, que je n'ai pas et que je connais peu.

J'espère que ma réponse t'est utile.

Denis

P.S. Pour le calcul approximatif de n! avec n grand, il y a aussi la formule de Stirling.

[Alexandre]

Salut Zwielicht et Denis !



Denis tu dis :

Te faut-il la valeur exacte ou simplement une expression en notation scientifique (avec 7~8 chiffres significatifs seulement) ?

7~8 chiffres significatifs me conviennent parfaitement !

Disons que je cherchais un programme qui ne m'affiche pas, comme sur ma vieille calculatrice, "buffer overflow".

S'il te faut la valeur exacte, il te faut un logiciel qui permet de traiter les nombres avec des centaines~milliers de chiffres significatifs. Par exemple, il y a Maple, que je connais peu mais qui fait des "miracles".

J'en avais entendu parler. Je pense qu'on va l'utiliser dans la suite de mes études à la Fac. Je vais donc de ce pas "tâter du Maple".

Personnellement, si j'avais à calculer 1000!, je passerais par le calcul de son logarithme qui est la somme des logarithmes des entiers de 1 à 1000.

Décidement...j'en apprends avec toi ! J'ignorais totalement cette astuce. Elle a l'air très séduisante, merci à toi pour l'info !

Ce petit programme Basic fait l'affaire :

• input n
  s=0
  for i=1 to n
  s=s+log(i)
  next i
  print s

Par exemple, avec n=100, on obtient :
loge(100!) = 363.7393756, d'où log10(100!) = 157.9700037.

Donc 100! = 100.9700037E157 = 9.332622E157, ce qui est en excellent accord avec la valeur exacte qu'on obtient de Maple :

• 933262154439441526816992388562667004907159682643816214685929638952175999\
  932299156089414639761565182862536979208272237582511852109168640000000000\
  00000000000000

Avec n = 1000, mon petit programme Basic donne :

loge(1000!) = 5912.12818, d'où log10(1000!) = 2567.60464.

Donc 1000! = 100.60464E2567 = 4.0239E2567.

Approximativement.

Tout simplement génial. (je m'émerveille pour peu de choses , mais ça vaut vraiment le détour)

J'espère que ma réponse t'est utile.

Complètement. Merci à toi encore.