Ma ancora peggio, questo effetto può anche essere invisibile.

Galak et al nel nuovo studio eseguono anche un’analisi bayesiana dei propri dati e concludono che questa analisi favorisce fortemente l’ipotesi nulla. Citano anche specificamente il supporto di Wagenmakers per l’approccio bayesiano.

Critiche a Bem

È possibile che uno studio “appaia bene sulla carta”, il che significa che i dettagli riportati nel documento pubblicato possono rendere lo studio più rigoroso di quanto non fosse in realtà. Potrebbero esserci anche modi alternativi per analizzare i dati che danno un’immagine diversa. Ritchie, Wiseman e French delineano diverse critiche ai metodi di Bem. Citano la questione bayesiana, ma anche che un’analisi dei dati mostra una relazione inversa tra dimensione dell’effetto e numero del soggetto. In altre parole, minore è il numero di soggetti maggiore è la dimensione dell’effetto. Ciò potrebbe implicare un processo chiamato arresto opzionale.

Questo è potenzialmente molto problematico. Correlata a questo è l’ammissione da parte di Bem, secondo l’articolo, di aver sbirciato i dati mentre stavano arrivando. Il motivo per cui sbirciare è disapprovato è proprio perché può comportare cose come l’arresto facoltativo, che sta interrompendo la raccolta di dati in un esperimento perché i risultati finora sembrano positivi. Questo è un modo sottile per raccogliere dati positivi. È preferibile che venga scelto un punto di arresto predeterminato per impedire questo tipo di manipolazione sottile dei dati.

Un altro problema sollevato è stato l’uso dell’analisi multipla. I ricercatori possono raccogliere molti dati, esaminando molte variabili e quindi facendo molti confronti tra queste variabili. A volte pubblicano solo le correlazioni positive e possono o meno rivelare che hanno persino guardato altri confronti. A volte pubblicano tutti i dati, ma l’analisi statistica tratta ogni confronto in modo indipendente. In breve, ciò significa che se si osservano 20 confronti con una probabilità di 1/20 di raggiungere una significatività statistica, per caso un confronto sarebbe significativo. È quindi possibile dichiarare un effetto reale. Ma quello che dovrebbe succedere è che l’analisi statistica sia aggiustata per tenere conto del fatto che sono stati fatti 20 confronti diversi, che possono potenzialmente rendere negativi i risultati positivi.

Infine è stato sollevato un serio problema con il modo in cui i dati sono stati gestiti. I soggetti commettevano occasionalmente errori di ortografia nell’elencare le parole che ricordavano. Il risultato potrebbe essere stato una non-parola (come ctt per gatto) o un’altra parola (come macchina per gatto). I ricercatori hanno dovuto esaminare e correggere manualmente questi errori di ortografia.

Gli autori sottolineano che queste correzioni sono state eseguite in modo non cieco, creando l’opportunità di confondere i dati verso il positivo da come vengono fatte le scelte di correzione. Bem ha ribattuto che anche se rimuovessi le parole corrette i risultati sarebbero comunque positivi, ma questo è ancora metodologicamente approssimativo ed è probabilmente ancora rilevante, per ragioni che ora approfondirò.

Ricercatore Gradi di Libertà

Come si vede, c’erano molti problemi con i metodi e l’analisi statistica dell’articolo originale di Bem. Bem sostiene che ogni problema era piccolo e di per sé non avrebbe cambiato i risultati. Questo argomento, tuttavia, manca di un punto critico, reso molto chiaro in un altro documento recente, citato e discusso anche nel documento Galak.

Simmons et al hanno pubblicato un documento che dimostra quanto sia facile ottenere risultati falsi positivi sfruttando (consciamente o inconsciamente) i cosiddetti “gradi di libertà dei ricercatori”. In astratto scrivono:

“In questo articolo, realizziamo due cose. Innanzitutto, dimostriamo che, nonostante l’approvazione nominale da parte degli psicologi empirici di un basso tasso di risultati falsi positivi (! .05), la flessibilità nella raccolta dei dati, nell’analisi e nella segnalazione aumenta notevolmente i tassi effettivi di falsi positivi. In molti casi, è più probabile che un ricercatore trovi erroneamente prove dell’esistenza di un effetto piuttosto che trovare correttamente prove che non lo siano. Presentiamo simulazioni al computer e un paio di esperimenti reali che dimostrano quanto sia inaccettabilmente facile accumulare (e riportare) prove statisticamente significative per un’ipotesi falsa”.

A mio parere questo è un documento seminale che merita un’ampia diffusione e discussione tra scettici, scienziati e pubblico. Il documento discute il fatto che i ricercatori prendono molte decisioni durante la progettazione e l’esecuzione di uno studio e l’analisi e la comunicazione dei dati. Ogni singola decisione può avere solo un piccolo effetto sul risultato finale. Ogni decisione può essere presa in modo perfettamente innocente e può essere ragionevolmente giustificata.

Tuttavia, l’effetto cumulativo di queste decisioni (gradi di libertà) potrebbe essere quello di distorcere sistematicamente i risultati di uno studio verso il positivo. Il potere di questo effetto è potenzialmente enorme e probabilmente si traduce in una propensione significativa verso studi positivi nella letteratura pubblicata.

Ma ancora peggio, questo effetto può anche essere invisibile. Come sottolineano gli autori, ogni singola decisione può sembrare abbastanza ragionevole da sola. Il documento finale pubblicato potrebbe non riflettere il fatto che i ricercatori, ad esempio, abbiano esaminato tre diversi metodi di analisi statistica prima di scegliere quello che ha dato i migliori risultati.

Gli autori presentano alcune soluzioni per questo problema, come i ricercatori che rivelano i loro metodi prima di raccogliere dati (e senza sbirciare). Ma un altro controllo su questo tipo di pregiudizio nella ricerca è la replica.

Il potere della replica

Il problema dei gradi di libertà è una delle ragioni principali per cui è così importante replicare gli studi, in particolare le repliche precise. Una replica precisa non dovrebbe avere gradi di libertà, perché tutte le scelte erano già state fatte dallo studio originale. Se l’effetto ricercato è reale, i risultati dovrebbero comunque risultare positivi. Se fossero il risultato dello sfruttamento dei gradi di libertà, allora dovrebbero svanire.

Ci sono anche gli altri vantaggi riconosciuti della replica. Il più ovvio è che qualsiasi aspetto bizzarro non riconosciuto dell’esecuzione dello studio o distorsioni del ricercatore dovrebbe essere mediato su più repliche. Per questo motivo è fondamentale che le repliche siano veramente indipendenti.

Un altro motivo spesso trascurato per cui le repliche sono importanti è semplicemente guardare un nuovo set di dati. È possibile per un ricercatore, ad esempio, notare un andamento dei dati che genera un’ipotesi. Tuttavia, questa tendenza potrebbe essere stata interamente dovuta al raggruppamento casuale. Se i dati in cui è stata inizialmente osservata la tendenza vengono utilizzati in uno studio, il raggruppamento casuale originale può essere portato avanti, creando la falsa impressione che l’ipotesi sia confermata.

La replica implica la raccolta di un set di dati completamente nuovo, in modo che eventuali modelli casuali precedenti non vengano riportati. Solo se c’è un effetto reale, i nuovi dati dovrebbero riflettere lo stesso modello.

Giusto scetticismo

Nella parte superiore del sito web della Society for Psychical Research viene mostrata in modo prominente questa citazione:

“Non commetterò la stupidità alla moda di considerare tutto ciò che non posso spiegare come una frode.” – C.G. Jung

Chiaramente quella citazione riflette l’atteggiamento prevalente tra i ricercatori psi di scetticismo esterno nei confronti delle loro affermazioni e ricerche. Ogni scettico che ha espresso la propria opinione è stato probabilmente accolto con accuse di essere sprezzante e di mentalità chiusa.

Ma questo è un uomo di paglia. Gli scettici sono aperti a nuove scoperte, persino a idee rivoluzionarie che cambiano paradigma. Spesso mi viene chiesto in modo specifico: cosa ci vorrebbe per farmi accettare affermazioni psi. Ho dato una risposta molto specifica, che si applica a qualsiasi affermazione straordinaria all’interno della medicina. Ci vorrebbe una ricerca che mostri contemporaneamente le seguenti caratteristiche:

1 – Metodologia solida (accecamento appropriato, set di dati freschi, punti finali chiaramente definiti, ecc.)

2 – Risultati statisticamente significativi

3 – Grandezza assoluta della dimensione dell’effetto maggiore del livello di rumore (un rapporto segnale/rumore sufficiente)

4 – Risultati coerenti con replica indipendente.

Ancora più importante, dovrebbe visualizzare tutte e quattro queste caratteristiche contemporaneamente. La ricerca Psi, come la maggior parte delle ricerche sulle modalità di medicina alternativa come l’omeopatia e l’agopuntura, non può farlo, ed è per questo che rimango scettico. Questi sono gli stessi criteri che applico a qualsiasi affermazione scientifica.

Inoltre, penso che la probabilità a priori dovrebbe svolgere un ruolo – non nell’accettare o rifiutare qualsiasi affermazione a priori, ma nel fissare la soglia per la quantità e la qualità delle prove che saranno convincenti. Questo è ragionevole: ci vorrebbero più prove per convincermi che qualcuno ha colpito Bigfoot con la propria auto piuttosto che aver colpito un cervo con la propria auto. C’è una parola per qualcuno che accetta la prima affermazione con una bassa soglia di prove.

Puoi convincermi che i fenomeni psi sono reali, ma ci vorrebbero prove che siano solide almeno quanto le prove che implicano che tali fenomeni probabilmente non sono possibili.

È anche importante riconoscere che l’evidenza per la psi è così debole e di natura tale che è ragionevole concludere che non sia reale anche senza considerare la plausibilità. Ma adamour forum al femminile probabilmente non è una coincidenza che vediamo costantemente ricerche di scarsa qualità o negative in aree che hanno una plausibilità molto bassa.

Conclusione

L’implicazione meno importante del recente articolo di Galak et al è che fornisce ulteriori prove contro la psi come fenomeno reale, e in particolare contro le affermazioni di Daryl Bem. Psi è un’ipotesi altamente plausibile che è già stata sufficientemente confutata, a mio parere, da ricerche precedenti.

Il documento è forse una pietra miliare, tuttavia, sotto altri importanti aspetti:

– È una sorta di ammissione da parte di The Journal of Personality and Social Psychology dell’importanza di una replica precisa e di un’inversione della loro precedente decisione di non pubblicare tale ricerca.

– L’articolo evidenzia il ruolo, e la possibile superiorità, dell’analisi bayesiana come metodo per esaminare i dati sperimentali.

– Evidenzia il ruolo dei gradi di libertà dei ricercatori nella generazione di dati falsi positivi e la replica come una soluzione a questo problema.

– Questa replica ampia, rigorosa e negativa stabilisce che gli studi pubblicati su riviste peer-reviewed con risultati positivi e apparentemente solidi possono ancora essere completamente sbagliati. Pertanto giustifica lo scetticismo iniziale nei confronti di tali dati, specialmente quando si tratta di affermazioni straordinarie.

Le intuizioni fornite da questo eccellente documento riflettono molti dei punti che abbiamo sollevato in SBM e dovrebbero essere applicate in modo ampio e vigoroso alle affermazioni sulla medicina alternativa.

Autore

Steven Novella

Fondatore e attualmente direttore esecutivo di Science-Based Medicine Steven Novella, MD è un neurologo clinico accademico presso la Yale University School of Medicine. È anche l’ospite e il produttore del popolare podcast settimanale sulla scienza, The Skeptics’ Guide to the Universe, e l’autore del NeuroLogicaBlog, un blog quotidiano che tratta notizie e problemi nelle neuroscienze, ma anche scienza generale, scetticismo scientifico, filosofia della scienza, pensiero critico e intersezione della scienza con i media e la società. Il Dr. Novella ha anche prodotto due corsi con The Great Courses e ha pubblicato un libro sul pensiero critico, chiamato anche The Skeptics Guide to the Universe.

L’etica delle affermazioni mediche non plausibili (IMC)

Nella parte 2 di questa serie* abbiamo appreso da David Katz, MD, un membro chiave del programma di “medicina integrativa” della Yale School of Medicine, che era stato “spinto verso la medicina integrativa dai bisogni dei [suoi] pazienti”. Abbiamo anche appreso che la logica del Dr. Katz per questa decisione giustifica una vasta gamma di ciarlataneria, sia in linea di principio che di fatto. In precedenza avevo accennato ad argomenti come quelli del Dr. Katz in un commento su SBM diversi mesi fa:

…dobbiamo essere fedeli all’etica medica, non importa cos’altro facciamo. Se questo significa perdere alcuni pazienti, così sia. I pazienti sono agenti liberi e possiamo solo fare tanto per influenzarli. Nella misura in cui non lo facciamo bene come potremmo (il che è ovviamente vero in alcuni casi), potremmo fare di meglio. Ma il nostro obbligo etico è verso la scienza e la verità; non lo è, come molti medici moderni vorrebbero e per quanto possiamo lamentarci a volte di perdere pazienti da corteggiare, di sedurre i pazienti a restare con noi qualunque cosa accada, se il “cosa” include impegnarsi in una farsa sull'”integrazione” o “terapie complementari”…

Rendendomi conto che alcuni potrebbero obiettare che gli obblighi dei medici nei confronti dei pazienti dovrebbero prevalere sui loro obblighi nei confronti di “scienza e verità”, in seguito ho rivisto questa affermazione:

Diverse settimane fa ho sostenuto qui che il principale obbligo etico di un medico è verso la scienza e la verità. Col senno di poi, probabilmente avrei dovuto metterla in un modo leggermente diverso: l’obbligo etico primario di un medico è lo stesso di tutti gli altri. È per l’onestà e l’integrità. Per i medici, tuttavia, ciò significa essere fedeli alla vera conoscenza medica, tra le altre cose, e la vera conoscenza medica deriva dalla scienza.

Nonostante quella revisione, due lettori di cui rispetto le opinioni hanno contestato la mia affermazione. I meritevoli sforzi del Dr. Peter Moran per educare i pazienti sulle realtà dei trattamenti antitumorali “alternativi” sono considerevoli. Qui su SBM ci ha ripetutamente sfidato a spiegare come, di fronte a testimonianze di cure “alternative”, dovremmo rispondere senza usare “un atteggiamento prepotente, ‘sappiamo meglio'” e quindi “sembra voler prendere le distanze [ noi stessi] dalle intime preoccupazioni dei [nostri] pazienti”. Pensavo principalmente a lui quando ho scritto la revisione sopra, perché su questo argomento chiave – come rispondere eticamente, ma con compassione, ai pazienti che vogliono credere in trattamenti non plausibili – sono arrivato a pensare al dottor Moran come al “coscienza” della medicina basata sulla scienza. Quelli con il cancro, ci ha ricordato, “sono persone molto simili a te e me che stanno semplicemente aggrappandosi a qualsiasi goccia che potrebbe salvare o prolungare le loro vite”. La sua interpretazione del motivo per cui gli IMC si rivolgono a coloro che hanno problemi meno inquietanti è ben sviluppata e concorda con la mia, per lo più. Ci separiamo, tuttavia, quando conclude (anche qui e qui) che i medici etici potrebbero avere buone ragioni, a differenza del Dr. Katz, per intrattenere trattamenti benigni, anche se non plausibili:

Pensavo che KA fosse allo stesso modo leggermente fuori bersaglio quando definiva gli obblighi etici primari del medico come essere verso la scienza senza nemmeno menzionare il paziente. Ciò si applicherebbe sicuramente in un’unità di terapia intensiva o in sala operatoria e nella maggior parte delle pratiche neurologiche o oncologiche specialistiche (suggerimento!), ma potrebbero esserci ragioni abbastanza valide per cui molti medici di famiglia non vogliono ancora abbandonare completamente metodi dubbi ma relativamente sicuri a favore del contenuto del loro armadietto dei farmaci.

Anche il co-blogger David Gorski ha contestato la mia affermazione su onestà e integrità/scienza e ragione:

… eticamente come medico, il mio primo obbligo è verso il paziente e vedere che il paziente è trattato nel modo più efficace possibile (scusa, Kimball, il mio primo obbligo quando curo un paziente non è verso la scienza o la ragione). Dire a una paziente in modo troppo stridente che la sua dubbia terapia è, beh, una dubbia terapia rischia di fare due cose: (1) allontanarla da un’efficace terapia basata sulla scienza o (2) renderla riluttante a dirmi tutto ciò che sta prendendo.