Эксперимент представлял собой плохо проведенный пример так называемого "рандомизированного контролируемого испытания" (РКИ), которое считается "золотым стандартом" исследований для оценки безопасности и эффективности новых лекарств. В настоящее время РКИ также становятся все более модными в экономических исследованиях. Цель состоит в том, чтобы выбрать две группы людей, которые различаются только по одному параметру - в данном случае по количеству съеденного ими шоколада. Очень трудно добиться того, чтобы группы были идентичны во всех остальных отношениях, хотя исследователи-клиницисты идут на крайние меры, чтобы добиться этого результата - например, они настаивают на проведении "двойных слепых" испытаний, в которых ни пациенты, ни врачи не знают, кто получает лекарство, а кто - только плацебо.
Даже в самых хорошо спланированных рандомизированных контролируемых исследованиях будет много неизбежных различий между испытуемыми и контрольной группой. Исследователи отметили, что испытуемые, употреблявшие шоколад, спали лучше; возможно, это было результатом большего потребления шоколада, но, скорее всего, нет. Возможно, они просто в среднем были более спокойными людьми. Неявное предположение заключается в том, что две исследуемые группы были идентичны во всех значимых аспектах, кроме потребления шоколада, где "значимый" означает все, что может повлиять на увеличение или потерю веса. Если бы это предположение было верным, то наблюдаемая разница была бы зарегистрирована только в одном из двадцати подобных исследований. Но трудно представить, что это предположение верно, или как можно узнать, что оно верно.
Было проведено множество, возможно, менее официальных испытаний, в ходе которых люди ели много шоколада и не смогли похудеть. Ни одно из них не попало в заголовки Daily Express. Исследователи склонны сообщать только о положительных результатах, потому что отрицательные результаты неинтересны, и это относится к более серьезным научным исследованиям, чем шоколадное "исследование". Как газеты не публикуют отчеты о безопасных улицах и безаварийных дорогах, так и академические журналы не принимают работы, демонстрирующие, что от поедания шоколада не худеют. Химики-исследователи по понятным причинам выделяют исследования, которые показывают положительное влияние изучаемых ими соединений, а фармацевтические компании имеют мощные стимулы для того, чтобы рекламировать эффективность своих продуктов, хороня, в буквальном и метафорическом смысле, свои неудачи.
Шоколадное "исследование" - это напоминание о том, что даже если препараты совершенно бесполезны и исследование действительно рандомизировано, "статистически значимый" результат будет получен в среднем в одном испытании из двадцати. Если не сообщать обо всех испытаниях, заявления о статистической значимости бессмысленны. И никто никогда не сообщит обо всех испытаниях, потому что люди не тратят время и деньги на то, чтобы доводить до конца исследования, которые даже не кажутся перспективными.
В ответ на критику такого рода некоторые фармацевтические компании согласились на более широкую публикацию как отрицательных, так и положительных результатов клинических испытаний. Эта большая открытость помогает смягчить проблемы, но не устраняет их. Полтора десятилетия назад Джон Иоаннидис, занимающий кафедры медицины и статистики в Стэнфордском университете, опубликовал работу под названием "Почему большинство опубликованных результатов исследований являются ложными", которая стала одной из самых цитируемых научных работ. Иоаннидис утверждал, что утверждения, сделанные в большинстве статей в академических журналах, оказались неспособными быть воспроизведенными в последующих исследованиях.
Хотя работа Иоаннидиса в основном касалась медицины и смежных дисциплин, его критика в равной степени справедлива и для аналогичных работ в области финансов и экономики. Экономисты часто черпают свои выводы из больших массивов данных. В одном крупном исследовании удалось воспроизвести менее половины опубликованных результатов, даже при помощи авторов и использовании тех же данных, которые использовали эти авторы. Более мелкое исследование экспериментальных результатов в экономике показало, что около 60% результатов могут быть воспроизведены. Но экспериментальная экономика, как ни необычно, - это экономическое исследование в лабораторных условиях; оно включает в себя задавание испытуемым вопросов типа "Как часто буква К встречается в тексте?". Процент результатов, которые удалось бы успешно воспроизвести, наверняка был бы гораздо ниже, если бы то же самое предполагаемое "смещение" исследовалось в другом эксперименте. А растущее использование запатентованных наборов данных означает, что проблема воспроизведения, скорее всего, будет усугубляться.