Una recente indagine pubblicata su Nature mostra che nelle scienze sociali cresce l’attenzione alla riproducibilità dei risultati, considerata sempre più centrale per garantire qualità e affidabilità alla ricerca

L’indagine, a cui ha contributo anche la Scuola Superiore Sant’Anna grazie al lavoro di Mario Martinoli, ha riesaminato cento studi pubblicati tra il 2009 e il 2018. In più della metà dei casi i nuovi risultati divergono da quelli originali. L’obiettivo dell’indagine è “contribuire a produrre risultati più solidi e a migliorare il modo in cui le evidenze scientifiche vengono valutate, confrontate e accumulate”.

Cosa succede se, a distanza di anni, uno studio scientifico nel campo delle scienze sociali viene analizzato da ricercatori diversi? I risultati saranno gli stessi dell’originale oppure varieranno a seconda di chi conduce l’analisi, dalla metodologia utilizzata e da come vengono interpretati i dati?
L’indagine, pubblicata su Nature con il titolo Investigating the Analytical Robustness of Social and Behavioural Sciences, mette in evidenza quanto le scelte analitiche siano decisive nella costruzione dei risultati scientifici. 457 scienziati provenienti da università e istituzioni di tutto il mondo hanno riesaminato 100 studi pubblicati tra il 2009 e il 2018. In più della metà dei casi, i nuovi risultati divergono da quelli originali.
La Scuola Superiore Sant’Anna ha partecipato all’indagine grazie al contributo di Mario Martinoli, contrattista di ricerca presso l’Istituto di Economia.

“L’obiettivo dello studio è verificare quanto i risultati della ricerca nelle scienze sociali e comportamentali restino validi quando gli stessi dati vengono analizzati con scelte metodologiche diverse, evidenziando quanto le conclusioni dipendano dalle decisioni prese lungo il percorso di ricerca” dichiara Martinoli.

Lo studio ha selezionato 100 studi scientifici realizzati tra il 2009 e il 2018 nei settori dell’economia e finanza, del management, del marketing e comportamento organizzativo, delle scienze politiche, della psicologia, della sociologia, della criminologia e della demografia. Per ogni studio, i dati originali sono stati rielaborati in modo indipendente da almeno cinque diversi studiosi e gli esiti ottenuti sono stati confrontati con le conclusioni originali.
I risultati hanno dimostrato che solo in 1/3 dei casi i nuovi risultati combaciano con quelli originali. Nei restanti casi, a far divergere i risultati sono decisivi una serie di fattori riconosciuti come variabilità analitiche.

Lo studio non vuole ridiscutere la validità dei risultati degli studi originali ma, come sottolinea Martinoli, “rendere la ricerca più trasparente, più replicabile e meno sensibile a scelte arbitrarie. Considerare le decisioni analitiche come parte centrale dell’inferenza, e non come un semplice dettaglio metodologico, può contribuire a produrre risultati più solidi e a migliorare il modo in cui le evidenze scientifiche vengono valutate, confrontate e accumulate”.