Forum Sceptique

Quand bien même il y aurait un effet statistiquement prouvable, on sait déjà que :
- il serait très faible
- il serait très couteux à mettre en évidence

La réponse 4 est à rejeter :
"4. Il faudrait avoir plus de sujets pour se faire une idée de l’effet de M sur S"
Elle pourrait être indiquée, mais pas par ces résultats.


Ab absurdo :
Mes stats sont rouillées, mais il me semble que la probabilité d'arriver à prouver à 95 % que M a un effet double du placebo uniquement en ajoutant des expériences à ces résultats est de 100% si on a aucune limite sur le nombre d'expériences que l'on ajoute et qu'on cesse d'ajouter quand on a obtenu le résultat désiré.
(pas certain de mon coup, ceux qui sont dans le bain me corrigeront)

Je me demande quand meme pourquoi avoir inclus la réponse 4 dans les options. Parce que la considérer demande forcément de pinailler sur la puissance statistique et le niveau de certitude recherché.

jean7 a écrit : 24 sept. 2020, 06:31 La réponse 4 est à rejeter :
"4. Il faudrait avoir plus de sujets pour se faire une idée de l’effet de M sur S"
Elle pourrait être indiquée, mais pas par ces résultats.


Ab absurdo :
Mes stats sont rouillées, mais il me semble que la probabilité d'arriver à prouver à 95 % que M a un effet double du placebo uniquement en ajoutant des expériences à ces résultats est de 100% si on a aucune limite sur le nombre d'expériences que l'on ajoute et qu'on cesse d'ajouter quand on a obtenu le résultat désiré.
(pas certain de mon coup, ceux qui sont dans le bain me corrigeront)

C'est peut être vrai, mais c'est une forme de p-hacking, donc de la fraude. Et les règles qui regissent les essais cliniques imposent de présenter le plan de l'experience a l'avance. On ne peut pas non plus, il me semble, inclure les resultats d'une expérience précédente.

spin-up a écrit : 24 sept. 2020, 08:47 C'est peut être vrai, mais c'est une forme de p-hacking, donc de la fraude. Et les règles qui regissent les essais cliniques imposent de présenter le plan de l'experience a l'avance. On ne peut pas non plus, il me semble, inclure les résultats d'une expérience précédente.

Je ne suggérais pas que d'aucun s'y amusent, mais c'est toujours bon de savoir que ce risque est verrouillé.
J'imagine que sur des cas limites, la tentation devait être forte.

Sur le cas de l'exemple proposé, je pense qu'il faudrait être un peu frappé pour tenter par ce biais de valider l'effet de M.

Au fait, quel lien avec la causalité, tout ça ?

Parce que le plus amusant dans cette histoire, c'est que même un résultat aussi clair ne suffit pas à prouver qu'il n'existe pas de lien de causalité entre M et S. Ça nous dit seulement que dans cette expérience, l'effet attribuable à M sur S est égal à celui du placebo.
Mais l'expérience peut tout à fait avoir comporté un facteur constant qui annihile par interaction l'effet causal de M.

Recommencer l'expérience à l'identique (réponse 4) est inutile. Par contre, la reprendre à zéro après analyse des invariants de l'essai et modification de certains d'entre eux pourrait s'avérer payant. C'est ainsi que les plans d'expérience multifactoriels permettent avec fort peut d'essais de débroussailler beaucoup plus vite : en cherchant à valider facteur par facteur on passe à coté des interactions et on peut rater des liens de causalité majeurs.

Avec les seuls éléments donnés dans l'exemple, en fait, affirmer l'absence de relation de causalité entre M et S hors du strict domaine de l'expérience faite serait faire un paris très risqué.

Une réponse 6 "cet essai n'est pas suffisant pour conclure quant à l'effet de M sur S" aurait été juste plus juste.
(et n'est pas du tout équivalente à la réponse 4)

Dash a écrit : 23 sept. 2020, 16:18Faudrait refaire de multiples occurrences d'expériences avec différentes matrices pour s'assurer que le rapport est toujours sensiblement similaire, non?

Bien sûr qu'on pourrait creuser pour s'assurer que M n'a réellement pas d'effet sur S. On ne pourra toutefois jamais démontrer hors de tout doute (déraisonnableTM Denis) que c'est le cas, parce qu'il y aura toujours une part d'inconnues. Toutefois, quand les données restent négatives quant à un effet, il est plus raisonnable de se dire que ça ne vaut pas la peine de continuer à chercher dans cette voie: même si M a un effet, il est tellement faible qu'il vaut mieux développer un autre produit, qui montrera des résultats plus clairs.

Si on veut s'obstiner à montrer que M marche, on pourrait changer la méthodologie, voir s'il affecte d'autres symptômes, etc. Cette approche peut conduire à une fuite en avant comme chez les homéopathes et autres défenseurs de "thérapies" dont l'efficacité est assez illusoire.

Mais on quitte le problème posé par le sondage. Celui-ci vise à voir si l'évaluateur pense que les résultats proposés indiquent un effet ou pas*. Il vise à voir comment l'évaluateur aborde la question des liens causaux (s'il pense que M cause l'absence de S / cause S). Sur le forum, les intervenants sont sensibles aux illusions/apparences de causalité et, en plus, prennent le temps de réfléchir dans le contexte implacable de la Loi du Forum***. Mais ça n'est pas une tendance générale dans la population. Et, évidemment, dans des conditions réelles ou juste plus réalistes, les apparences/illusions de causalité peuvent être beaucoup plus difficiles à dénicher: ça peut conduire à prêter de l'efficacité à un traitement qui n'en a pas.

D'après les principaux auteurs de l'étude à laquelle je viens de référer (Blanco et Matute), les principaux facteurs de confusion (pas les seuls) sont ceux que j'ai donnés dans ce message: si on ne prend pas le temps de bien analyser les choses (ou si on ne sait pas le faire), on tend à comparer les "fréquence de cause" (on met l'emphase sur l'effet quand M est présent ou pas) ou à comparer les "fréquences d'effet" (on met l'emphase sur ce qui se passe quand M est présent). Négliger une des données (pas d'effet quand M absent dans l'exemple du sondage), biaise l'analyse en la rendant incomplète et cela peut entrainer à une illusion de causalité. Ces auteurs disent qu'on peut entrainer une distorsion des résultats (i.e., semblable à un biais cognitif) dans un modèle informatique qui prend en compte ces biais de "fréquences". Je serais bien incapable d'expliquer le modèle mais leurs résultats indiquent que si on prend considération ces biais, le modèle tend à faire des associations causales qu'il ne fait pas quand on ne les prend pas en considération (Blanco & Matute (2019) 4e chapitre de ce bouquin). Cela supporte l'idée d'un biais cognitif assez puissant:
"Humans like to think that they are almost perfect reasoners, but they fall prey to the same errors (causal illusions) that affect almost any other learning system, be it natural or artificial." (p.63)

Pour en revenir au problème simplifié du sondage: àma, on peut affirmer que 1 et 2 (qui prétendent que les résultats supportent un effet de M) et 5 (mentalité conspirozozoe) ne sont pas justes. Par contre, les 3 et 4 peuvent être défendues. Et il est intéressant de voir comment la réponse est justifiée selon les approches et connaissances de ceux qui répondent (de ce point de vue spin-up est allé beaucoup plus loin que d'autres dans son analyse).

Jean-François

* Et ces résultats n'indiquent rien sur l'étude elle-même: ni le médicament, ni le symptôme, ni la méthodologie, ni l'état d'avancement de l'étude, ni ce qu'en pense le(s) chercheur(s)**, etc.
** Le professeur Rapult nous avise que "de tels résultats indiquent que l'hydroxychloroquine + azithromycine M marche!"
*** Comme celle de la jungle, mais en pire... 'videmment.

spin-up a écrit : 24 sept. 2020, 08:47 Je me demande quand meme pourquoi avoir inclus la réponse 4 dans les options. Parce que la considérer demande forcément de pinailler sur la puissance statistique et le niveau de certitude recherché

J'y ai vu un moyen d'obtenir deux réponses assez justes.

Je suis d'accord avec toi qu'on ne devrait pas ajouter de sujets en cours d'étude ou que le même set de données ne devrait pas être re-analyser (il n'est cependant pas impossible d'inclure ces résultats dans un groupe plus large, c'est le principe des méta-analyses).

Si on veut imaginer un scénario pour justifier les chiffres on peut, par exemple, considérer que ce sont des résultats préliminaires ou que des circonstances indépendantes ont fait que se sont les sujets ayant remplis les critères d'inclusion (et pas de chance si l'attrition est plus forte dans le groupe placebo). On ne va (ou devrait) pas rejeter une étude parce que les résultats ne sont pas ceux qu'on attend. Et si elle a été financée et implémentée, ça voudrait dire gaspiller de l'argent et de l'énergie en pure perte (alors que si l'étude a été bien conduite, on pourra en tirer un enseignement).

Jean-François

JF a écrit :Toutefois, quand les données restent négatives quant à un effet, il est plus raisonnable de se dire que ça ne vaut pas la peine de continuer à chercher dans cette voie: même si M a un effet, il est tellement faible qu'il vaut mieux développer un autre produit, qui montre des résultats plus clairs.

Si on veut s'obstiner à montrer que M marche, on pourrait changer la méthodologie, voir s'il affecte d'autres symptômes, etc. Cette approche peut conduire à une fuite en avant comme chez les homéopathes et autres défenseurs de "thérapies" dont l'efficacité est assez illusoire.

Il faudrait pas déterminer avant si développer un autre produit serait vraiment plus intéressant (par rapport a la difficulté de le faire par exemple, le budget alloué, les ressources humaines sur le projet, les bases de connaissance disponibles, etc), que de proposer une meilleure méthodologie ?(Surtout si l'étude est rapide a mettre en œuvre, ca dépend aussi de la durée "optimale" hypothétique du traitement...Un étude peut être longue et donc couteuse). Cependant on est d'accord qu'en l'état, M est plutôt mal partie pour démontrer quoi que ce soit

Mais on quitte le problème posé par le sondage. Celui-ci vise à voir si l'évaluateur pense que les résultats proposés indiquent un effet ou pas*. Il vise à voir comment l'évaluateur aborde la question des liens causaux (s'il pense que M cause l'absence de S / cause S). Sur le forum, les intervenants sont sensibles aux illusions/apparences de causalité et, en plus, prennent le temps de réfléchir dans le contexte implacable de la Loi du Forum***.

Si je dit pas de bêtise, or mis que la méthodologie est vraiment pas optimale : on ne peut pas dire si M a un effet ou pas. C'est cela ?
Doit t'ont dire que M n'a pas d'effet ? Ou qu'il est impossible de dire si M a un effet ou non ? (Et que donc, si il y a effet, il est certainement faible...Et que l'infirmer ou le démontrer serait une bonne galère, potentiellement néfaste a un effort mis dans une autre direction).
C'est le fameux débat entre "faut t'il être combatif et ne pas lâcher l'affaire trop vite" VS "faut t'il être resiliant et trouver d'autres solutions"...
C'est un problème aussi bien qualitatif (efficacité), que quantitatif (ressources attribuées).

Pour en revenir au problème simplifié du sondage: àma, on peut affirmer que 1 et 2 (qui prétendent que les résultats supportent un effet de M) et 5 (mentalité conspirozozoe) ne sont pas justes. Par contre, les 3 et 4 peuvent être défendues. Et il est intéressant de voir comment la réponse est justifiée selon les approches et connaissances de ceux qui répondent (de ce point de vue spin-up est allé beaucoup plus loin que d'autres dans son analyse).

C'est un exercice intéressant mais qui demande, dans le fond, un bon background en statistiques, en biologie, en médecine, et même dans l'univers du financement médicale

Le professeur Rapult nous avise que "de tels résultats indiquent que l'hydroxychloroquine + azithromycine M marche!"

Magnifique

Nicolas78 a écrit : 24 sept. 2020, 16:24Si je dit pas de bêtise, or mis que la méthodologie est vraiment pas optimale

On n'a aucune idée de la méthodologie. On n'a même pas besoin de la connaitre pour donner une réponse.

C'est un exercice intéressant mais qui demande, dans le fond, un bon background en statistiques, en biologie, en médecine, et même dans l'univers du financement médicale

Absolument pas. Tu ajoutes des éléments de réflexion accessoires et qui n'ont pas vraiment de pertinence dans le cadre d'un exercice qui n'offre aucune description réaliste. Comme d'autres intervenants, tu sembles prendre le sondage comme un examen pour lequel il faut trouver la bonne réponse, ce qu'il n'est pas.

Jean-François

JF a écrit :On n'a aucune idée de la méthodologie. On n'a même pas besoin de la connaitre pour donner une réponse.

Oui c'est vrai, cad que j'incluait dans "méthodologie" le fait que les groupes M et P sont très disparates + qu'il n'y a pas de groupe contrôle. Ce que j'appellerais "pas optimale". Mais évidement ca n'empêche pas de donner une réponse. Ce que tout le monde a fait (partagé en la réponse 3 et 4 et aucune autre).

Absolument pas. Tu ajoutes des éléments de réflexion accessoires et qui n'ont pas vraiment de pertinence dans le cadre d'un exercice qui n'offre aucune description réaliste. Comme d'autres intervenants, tu sembles prendre le sondage comme un examen pour lequel il faut trouver la bonne réponse, ce qu'il n'est pas.

Effectivement j'ai du mal a saisir le but du truc, si le but (de l'exercice) n'est pas de faire "le tour" de ce que cela impliquerait dans une situation réel ou d'expliquer (et de comprendre) pourquoi on a choisis telle ou telle réponse...
Juste dire : "On ne peut pas dire que M a un effet"...Ok. C'est juste.
C'est pratique pour critiquer des gens comme Raoult etc, comme exercice de pensée. Mais par apport aux membres ici, je vois pas trop. Je pensait que tu voulais en savoir plus sur la façon d'ont les membres allais réagir face a l'exercice (et expliquer pourquoi ils défendent leurs réponses) et/ou par rapport a ce que cet exercice impliquerait "en vrai".

Jean-Francois a écrit : 24 sept. 2020, 16:21 Si on veut imaginer un scénario pour justifier les chiffres on peut, par exemple, considérer que ce sont des résultats préliminaires ou que des circonstances indépendantes ont fait que se sont les sujets ayant remplis les critères d'inclusion (et pas de chance si l'attrition est plus forte dans le groupe placebo). On ne va (ou devrait) pas rejeter une étude parce que les résultats ne sont pas ceux qu'on attend. Et si elle a été financée et implémentée, ça voudrait dire gaspiller de l'argent et de l'énergie en pure perte (alors que si l'étude a été bien conduite, on pourra en tirer un enseignement).

Jean-François

Oui, ca peut aussi se justifier si par exemple si on a l'hypothèse d'un effet spectaculaire de M, un échantillon de cette taille ferait l'affaire.

Nicolas78 a écrit : 24 sept. 2020, 16:24 Si je dit pas de bêtise, or mis que la méthodologie est vraiment pas optimale : on ne peut pas dire si M a un effet ou pas. C'est cela ?
Doit t'ont dire que M n'a pas d'effet ? Ou qu'il est impossible de dire si M a un effet ou non ? (Et que donc, si il y a effet, il est certainement faible..

Au sens strict, on ne peut jamais affirmer un effet nul. Mais on peut affirmer, avec une certitude donnée que l'effet est dans l'intervalle [-x,x].

Nicolas78 a écrit : 24 sept. 2020, 17:01Mais par apport aux membres ici, je vois pas trop

Si j'ai placé le sondage dans "scepticisme" c'est parce que la question touche aux biais cognitifs ("illusion de causalité") et que les sceptiques n'échappent pas aux biais cognitifs. De plus, je pense que ce genre de sujets est propice à rendre un peu mieux capable d'articuler des idées sur des points précis. Bref, que ça apprend à raisonner.

Nous ne savons jamais assez bien raisonner, àma.

Le but n'est pas de critiquer Raoult, tu es facilement distrait par l'accessoire.

Jean-François

Spin-up a écrit :Au sens strict, on ne peut jamais affirmer un effet nul. Mais on peut affirmer, avec une certitude donnée que l'effet est dans l'intervalle

C'est vrai c'est un abus de langage. Un résumé, quand un produit testé a fond ne présente "aucun effet", on dit qu'il n'y a "pas d'effet", même si dans l'absolu ca se passe pas ainsi. D'ailleurs en médication c'est d'autant plus complexe que l'effet contextuel peut jouer (d'où l'intérêt d'avoir des groupes grands, différentes études de différents chercheurs, des groupes control, etc).

Jean-Francois a écrit : 24 sept. 2020, 17:20

Nicolas78 a écrit : 24 sept. 2020, 17:01Mais par apport aux membres ici, je vois pas trop

Si j'ai placé le sondage dans "scepticisme" c'est parce que la question touche aux biais cognitifs ("illusion de causalité") et que les sceptiques n'échappent pas aux biais cognitifs. De plus, je pense que ce genre de sujets est propice à rendre un peu mieux capable d'articuler des idées sur des points précis. Bref, que ça apprend à raisonner.

Nous ne savons jamais assez bien raisonner, àma.

Jean-François

Ok je comprend mieux, désolé je suis dur du coquillard, puis tu sais j'aime sauter sur les implications plutôt que l'exercice en lui-même (un relent de mes non-etudes ).

Allons donc droit au but, quels sont les différents biais pouvant mener au "M atténue S" ?
L'illusion de causalité, je l'avais même pas relevé, étant donné que je ne sais pas bien si une étude statistiques permet, par exemple, de prouver une causalité plutôt qu'une corrélation (amha oui mais a travers des meta-analayses...je me trompe peut-être). La seule qui me paraissait évidente était le biais de sélection. On choisis un échantillons qui tend a prouver un effet, et on ne prend pas soin d'en apprendre plus sur le groupe qui ne prend pas de médicament.

Le but n'est pas de critiquer Raoult, tu es facilement distrait par l'accessoire.

Je trouve pas que c'est si accessoire dans le fond, (surtout que je ne souhaitait pas critiquer Raoult comme personne, mais comment Raoult présente les choses. Il compte [consciemment ou non], sur une méconnaissance de la méthodologie et de la culture scientifique pour faire valoir ces dires.) Mais je comprend que c'est accessoire par rapport au cadre du sujet et de l'exposé (moi qui passe mon temps a dire a mon fils de bien analyser et respecter le cadre d'un exposé...Je ferait mieux de faire de même hihi). Cependant j'ai pas fait un speach sur Raoult non-plus

Jean-Francois a écrit : 24 sept. 2020, 16:09Bien sûr qu'on pourrait creuser pour s'assurer que M n'a réellement pas d'effet sur S. On ne pourra toutefois jamais [...]

Merci pour les explications J-F (les interventions de spin-up sont aussi intéressante même je ne pige pas tout, mais c’est normal étant donné ses connaissances). À mon sens, j’ai répondu la « meilleure réponse non biaisée » au vu de mes connaissances, mais j’ai aussi appris/affiné 2, 3 trucs au passage avec l’échange qui s’en est suivi!

Suggestion : l’on devrait tous faire, de temps à autre, des thread de ce genre, des « tests/exercices » ce qui créerait des échanges bcp plus « didactiques~utiles~enrichissants » (et ce qui, au passage capterait l’attention de membres, comme moi et Nico, entre autres, qui avons besoin d’écrire des pavés/philosopher sur des sujets peu utiles en pratique, lorsqu’il n’y a pas des propos d'illuminés/conspiros/crédules à débunker)!

Le problème de ce forum, c'est qu'il n'y a pas « d’animateur » orientant les échanges et « la vie~l'activité » du forum quand il n'y a pas de « zozos à détordre ».

J'ai beau relire l'explicarion de Jean-François, je ne comprend toujours pas où il veut en venir? Suis-je le seul "niaiseux" dans ce cas?

Kraepelin a écrit : 24 sept. 2020, 18:28 J'ai beau relire l'explicarion de Jean-François, je ne comprend toujours pas où il veut en venir...

Tout simplement, grosso modo, que la majorité des gens (hors forum) seront possiblement biaisés par la taille des matrices qui diffèrent.

C'est juste que c'était peut-être trop évident pour la plupart d'entre nous et que l'exercice tombe un peu à plat sur le forum étant donné (le cadre du forum) qu'on a tous pris le temps nécessaire afin de ne pas répondre qu'intuitivement comme le feraient plusieurs, hors forum.

Alors l'on (tu) cherche une « entourloupe » (biais) que nous connaissions déjà. Mais il a quand-même été partagé certains détails intéressants.

Dash a écrit : 24 sept. 2020, 19:11

Kraepelin a écrit : 24 sept. 2020, 18:28 J'ai beau relire l'explicarion de Jean-François, je ne comprend toujours pas où il veut en venir...

Tout simplement, grosso modo, que la majorité des gens (hors forum) seront possiblement biaisés par la taille des matrices qui diffèrent.

C'est juste que c'était peut-être trop évident pour la plupart d'entre nous et que l'exercice tombe un peu à plat sur le forum étant donné (le cadre du forum) qu'on a tous pris le temps nécessaire afin de ne pas répondre qu'intuitivement comme le feraient plusieurs, hors forum.

Alors l'on (tu) cherche une « entourloupe » (biais) que nous connaissions déjà. Mais il a quand-même été partagé certains détails intéressants.

Dash a écrit : 24 sept. 2020, 18:20

Jean-Francois a écrit : 24 sept. 2020, 16:09Bien sûr qu'on pourrait creuser pour s'assurer que M n'a réellement pas d'effet sur S. On ne pourra toutefois jamais [...]

Merci pour les explications J-F (les interventions de spin-up sont aussi intéressante même je ne pige pas tout, mais c’est normal étant donné ses connaissances). À mon sens, j’ai répondu la « meilleure réponse non biaisée » au vu de mes connaissances, mais j’ai aussi appris/affiné 2, 3 trucs au passage avec l’échange qui s’en est suivi!

Suggestion : l’on devrait tous faire, de temps à autre, des thread de ce genre, des « tests/exercices » ce qui créerait des échanges bcp plus « didactiques~utiles~enrichissants » (et ce qui, au passage capterait l’attention de membres, comme moi et Nico, entre autres, qui avons besoin d’écrire des pavés/philosopher sur des sujets peu utiles en pratique, lorsqu’il n’y a pas des propos d'illuminés/conspiros/crédules à débunker)!

Le problème de ce forum, c'est qu'il n'y a pas « d’animateur » orientant les échanges et « la vie~l'activité » du forum quand il n'y a pas de « zozos à détordre ».

Pourquoi pas oui, extrapoler en dehors des "cadres" j'aime bien, mais ce genre d'exercices pourrait être pas mal pour approfondir des sujets moins "vaporeux" et développer nos outils (et pas forcement chercher a comprendre un sujet et induire/débattre de ses implications/applications dans la société etc, bref).
Le fait que j'ai pas compris le cadre de l'énoncé est le signe qu'évoluer de manière plus restrictive (dans le sens positif du terme), et revenir a quelques fondamentaux (stats, biais, problème donnée) me ferait pas de mal

Tout simplement, grosso modo, que la majorité des gens (hors forum) seront possiblement biaisés par la taille des matrices qui diffèrent.

Il a pas dit "hors forum", justement !

Nicolas78 a écrit : 25 sept. 2020, 00:03Il a pas dit "hors forum", justement !

Ben, si, un peu, quand même ↓↓↓↓↓↓↓

Jean-Francois a écrit : 24 sept. 2020, 16:09 [...] Sur le forum, les intervenants sont sensibles aux illusions/apparences de causalité et, en plus, prennent le temps de réfléchir dans le contexte implacable de la Loi du Forum***. Mais ça n'est pas une tendance générale dans la population. Et, évidemment, dans des conditions réelles ou juste plus réalistes, les apparences/illusions de causalité peuvent être beaucoup plus difficiles à dénicher [...]

Mais puisqu’il ne suffit pas de connaître un biais pour ne plus en être affecté, il a bien fait de tenter l’expérience ici quand même. Mais je ne suis pas surpris, tout comme J-F, que la majorité ne soit pas tombée à pied joint dans « l’heuristique de pensée » qui n'est pas approprié~efficient dans tous les cas!

Dash a écrit : 25 sept. 2020, 03:21

Nicolas78 a écrit : 25 sept. 2020, 00:03Il a pas dit "hors forum", justement !

Ben, si, un peu, quand même ↓↓↓↓↓↓↓

Je pense bien que le forum n'est pas très représentatif de la population en général. Il y a des études qui montrent que les biais en question sont assez robustes (voir références).

Si vous en avez l'occasion et la motivation, vous pouvez tester le sondage auprès de personnes moins au courant des biais cognitifs (moins intéressées par le scepticisme?) que vous connaissez.

Jean-François