Золоте правило будь-якого дослідження — це можливість його повторення. Саме тому науковці користуються примітками: не для того, щоб уберегтися від плагіату (хоча й через це теж), а щоб їхні колеги могли пройти той самий шлях і подивитися, чи дійдуть подібних висновків. Коли ж науковці підтасовують дані, то буде складно відтворити їхні висновки. Це означатиме, що все дослідження сумнівне чи навіть сфабриковане.
Утім, подібна перевірка передбачає, що хтось таки візьметься відтворити це дослідження. Звичайне рецензування не передбачає повторення експериментів. Натомість рецензенти читають статтю, припускаючи, що основні стандарти дослідження та необхідні процедури були дотримані. Вони більше зосереджуються на тому, чи важлива тема, чи достатньо якісні дані й чи наведені докази підтверджують висновки.
Звісно, вимога повторення дослідження, здається, більше зорієнтована на точні науки на зразок хімії чи фізики. Суспільні науки, такі як соціологія чи психологія, покладаються на дослідження, що часто залежать від людини, тому їх важче відтворити. Точні науки можуть принаймні заявити, що мають прозоріші стандарти: коли фахівець стверджує, що певний вид пластику плавиться при 100° С, то будь-хто зі зразком такого самого матеріалу та пальником Бунзена зможе перевірити цей висновок. Коли сотню студентів просять узяти участь в опитуванні чи експерименті, усе значно складніше. Результати можуть залежати від часу, певного регіону чи бути викривленими в інший спосіб. Методологія має брати до уваги ці моменти, але єдиний спосіб дізнатися правду — це повторити експеримент.
Саме це якось вирішила зробити група дослідників із психології. Їхні результати щонайменше здивували. Як у 2015 році писали в New York Times, клопіткі зусилля відтворити сто досліджень, опублікованих у трьох провідних журналах із психології, призвели до результату, що більше половини їх не трималися купи в процесі відтворення.
Аналіз був здійснений психологами-дослідниками, і багато з них пожертвували своїм часом, щоб ще раз перевірити те, що вважали важливою роботою. (...) Дослідження, що перевірялися, сприймалися як частина фундаментальних знань, якими керуються науковці, щоб розуміти динаміку особистості, стосунків, процесів навчання та пам’яті. Психотерапевти й освітяни покладаються на ці дослідження, і той факт, що багато робіт виявилися під сумнівом, міг зробити менш достовірними наукові підстави їхньої роботи.[120]
Такий результат — підстава для хвилювання, але чи означає це все, що статті були підробкою? Сумнівні дослідження — це не те саме, що порушення, виявлені під час їх здійснення. Здебільшого проблема полягала не в тому, що повторення експерименту приводило до іншого результату, а в тому, що ці дослідження були по суті невідтворюваними. Це означає, що їхні висновки можуть бути корисними, але інші науковці не в силах знову зробити подібне.
Можливо, психологічні експерименти не такі вже й слабкі. Інша група науковців послідовно вивчала сам процес дослідження й дійшла висновку, за словами гарвардського вченого Ґарі Кінґа, що наука влаштована «абсолютно нечесно і навіть безвідповідально». Кінґ зауважив, що відтворюваність — це неймовірно важливе питання і науковці мають бути ним одержимі, а те, що «соціальні психологи все видумують — неправда».[121] Увесь цей процес, включно зі спростуваннями, зараз там, де йому й належить бути — на сторінках журналу Science, де фахівці можуть продовжувати оцінювати всі аргументи й аналізувати їх.
Чи означає це, що в природничих науках фахівці частіше ловлять себе на сумнівних чи підроблених результатах, ніж у соціальних? Напевне, ні. Коли дослідники раку спробували відтворити певний експеримент у цій галузі, вони стикнулися з тими самими проблемами, що й психологи. Деніел Енґбер, автор зі Slate.com, у 2016 році писав про групу науковців, які здійснювали біомедичні дослідження й теж прийшли до «кризи відтворення», як і згадані вище психологи. Енґбер зауважив, що за деякими оцінками «половина результатів базується на хиткому ґрунті, і їх може бути нереально повторити в інших лабораторіях. Через це не просто не вдається знайти ліки від раку: дослідження взагалі не надають жодних корисних даних».[122] Перешкоди до відтворення були такими самими, як і в суспільних науках: недбалість, віддаленість у часі, нездатність відтворити такі самі умови тощо.
120
Бенедикт Кері, «Багато з результатів психологічних праць не такі надійні, як, уважається, ідеться в дослідженні», New York Times online, 27 серпня 2015 року.
121
Процитовано в Рейчел Ґросс, «Психологи критикують дослідження, що критикує галузь психології», Slate.com, 3 березня 2016 року.