Nel mio post precedente ho discusso la proposta che tutti gli studi di ricerca devono essere impostati preventivamente. Questo è forse una delle idee più tumultuose e che devono essere spinte, come rimedio, per i problemi che affliggono la scienza moderna. Ci sono naturalmente altri, che spingono per una “scienza aperta”, cioè, per avere un’accesso gratuito a tutte le pubblicazioni, un esame trasparente post-pubblicazione, con una condivisione di tutti i dati raccolti negli esperimenti. Questo dibattito è anche un impigliarsi con antiche guerre di fede sulle scuole statistiche di pensiero. Alcune di queste idee (come la preregistrazione o se le revisioni dovrebbero essere anonime) rimangono controverse e polarizzante, mentre altre (come l’accesso aperto agli studi) sono così contagiose che sono diventate quasi universalmente accettate.
La scienza non è malata.
Non lo è mai stata. La scienza è un cercare di rivelare i segreti dell’universo. Si tratta di un lento e interattivo arduo processo. Si fanno errori, ma poi subentra l’auto-correzione. A volte ci vogliono nuove tecnologie, scoperte o teorie (che sono tutto, naturalmente, esse stesse fanno parte della scienza) per fare progressi. Le leggi fondamentali della natura, forse, ci impediscono di scoprire certe cose, per esempio, che cosa succede quando ci si avvicina alla velocità della luce, lasciandoci a soli considerazioni teoriche. Ma per quanto grave siano questi errori, la scienza ha il potenziale per correggerli.
La scienza non dimostra nulla.
Si può leggere su i media popolari su come gli scienziati hanno “scoperto” questo o quello, come hanno mostrato alcune cose, o come certe cose credono rivelarsi false. Ma questo è solo un linguaggio comune per descrivere ciò che gli scienziati effettivamente fanno: si formulano ipotesi, si cercano di testarle con degli esperimenti, interpretano le loro osservazioni, e si usano per elaborare ipotesi migliori. A dire il vero, e piuttosto rilevante, che questo processo spesso non inizia con la formulazione di ipotesi, ma con fare delle osservazioni casuali. Quindi una descrizione più sintetica del lavoro di uno scienziato è questo: osserviamo il mondo e cercare di spiegarlo.
La scienza come modello adatto
In sostanza, la scienza è solo un algoritmo di un modello. Si inizia con rumorosi, osservazioni apparentemente caotici (i puntini neri nelle figure seguenti) e si tenta di trovare un modello che può spiegare come queste osservazione è venuta fuori (le curve solide). Un buon modello può quindi fare previsioni su come l’osservazione futura andrà a finire. I numeri sopra i tre pannelli indicano la bontà di adattamento, cioè, quanto è buona una spiegazione del modello, per i dati osservati.
I numeri più vicini a 1 indicano che un migliore modello si adatta.
Dovrebbe essere immediatamente chiaro che il modello nel pannello di destra è una migliore descrizione della relazione tra i punti dei dati, su i due assi, rispetto agli altri pannelli. Tuttavia, è anche molto più complesso. In molti modi, le linee semplici nel pannello di sinistra o centro sono modelli megliori perché ci permetteranno di fare previsioni che sono di gran lunga maggiori probabilità di essere precise. Al contrario, per il modello nel pannello di destra, non possiamo nemmeno dire se la curva sarà simile se ci muoviamo al di là di 30 sull’asse orizzontale.
Uno dei principi fondamentali del metodo scientifico è il principio di parsimonia, anche spesso chiamato Rasoio di Occam. Essa afferma in sostanza che ogni volta che si hanno diverse possibili spiegazioni per qualcosa, la più semplice è probabilmente corretta. Naturalmente dovremmo valutare la semplicità di una spiegazione contro il suo potere esplicativo o di previsione. La bontà di adattamento del pannello centrale è migliore di quella del pannello di sinistra, anche se non di molto. Tuttavia, non è molto più complesso della semplice relazione lineare mostrata nel pannello di sinistra. Così potremmo forse accettare il pannello centrale come la nostra migliore spiegazione – per ora.
La verità è però che non possiamo mai essere sicuri di quale è la vera spiegazione di fondo. Noi possiamo solo raccogliere più dati e vedere come i nostri modelli attuali sono migliori nel fare predizioni. Prima o poi ci troveremo che uno dei modelli è meglio di tutti gli altri. Nella figura sottostante i modelli montati alle precedenti osservazioni sono mostrati come curve rosse, mentre i punti neri sono nuove osservazioni. Avrebbe dovuto diventare abbastanza evidente che il modello complesso nel pannello di destra è più povero di spiegazioni per i dati. La bontà di adattamento, su queste nuove osservazioni per questo modello è ora molto più povera rispetto agli altri due. Questo perché, questo modello complesso, soffre di sovradattamento dati. Ha cercato di trovare la migliore spiegazione possibile per ogni osservazione, invece di pesare potere esplicativo contro la semplicità. Questo è probabilmente un pò quello che sta succedendo nella testa dei teorici della cospirazione. E’ il tentativo di dare un senso, in un mondo caotico, senza fare un passo indietro a pensare se ci potrebbe non essere spiegazioni semplici e se la nostra teoria possono fare previsioni verificabili. Tuttavia, così estremo come questo caso può sembrare, gli scienziati non sono immuni dal fare tali errori. Gli scienziati, dopo tutto, sono umani.
Vorrei concludere il discorso riportato in precendeza, con il dire, che con dati sufficienti dovrebbe diventare chiaro che la curva del pannello centrale è il miglior adattamento delle tre opzioni. Tuttavia, in realtà, anche questa è sbagliata. Non solo è la funzione utilizzata per modellare i dati e non quella che in realtà è stata utilizzata per generare le osservazioni, ma anche che il modello non può realmente prevedere il rumore, e quindi la variabilità casuale può rovinare le nostre belle previsioni. Anche nel caso del miglior adattamento, il rumore ci impedisce di prevedere future osservazioni perfette. Il modello ideale non solo ha bisogno di descrivere la relazione tra i punti dati sugli assi orizzontale e verticale ma dovrebbe essere in grado di prevedere anche le fluttuazione casuali aggiunte su di esso. Questo è impraticabile e presumibilmente impossibile senza una perfetta conoscenza dello stato di tutto l’universo dalla nanoscopica alla scala astronomica. Quindi questa varianza inspiegabile rimarrà sempre in ogni scoperta scientifica.
La scienza è sempre sbagliata
Questa analogia mette in evidenza il motivo per cui il timore di conclusioni errate e falsi positive, ha germogliato in un recente discorso scientifico irrazionale e fuorviante. Forse ho molte crisi, ma la riproducibilità non è uno di loro. La scienza è sempre sbagliata. Essa è destinata a inseguire sempre una verità più profonda, senza alcuna speranza di raggiungerla. Questo può sembrare squallido, ma veramente non lo è. Essere sbagliato è inerente al processo. Questo è ciò che rende la scienza emozionante. Queste iniziative nelle unità sconosciute, sono il motivo per cui molti di noi, in realtà, si alza la mattina come il pensiero di andare a lavorare e perché restiamo a tarda sera cercando di risolvere i problemi invece di fare qualcosa di più immediatamente significativo. E’ anche la stessa audacia e curiosità che ha spinto i nostri antenati nell’inventare strumenti, scoprire il fuoco, e attraversare gli oceani spietati su piccole imbarcazioni fatte di tronchi d’albero. La scienza è un esempio dei più alti sforzi, che lo spirito spirito umano è in grado di fare. Se volevo la certezza incrollabile che io conosco la verità del mondo, sarei diventato un leader religioso, non uno scienziato.
..
…
Il resto del post, continua al seguente indirizzo : https://devilsneuroscientist.wordpress.com/2014/12/10/why-all-research-findings-are-false/