Тем паче нет смысла искать правду в различных интернет сообществах. Кружки по интересам, они же социальные интернет объединения, лишь укореняют безграмотность населения, пропагандируя простые и харизматичные советы, укладывающиеся в полтора слова.«Умри, но сдохни», «Побеждает сильнейший», «Если не успел – то опоздал» и прочие «богатые» на мудрость лозунги всегда достучатся до инфантильных сердец. Погоня за аудиторией, как известно, никогда не способствует повышению качества материала, ибо растущая сложность и глубина предмета лишь наоборот, с каждым витком, отсеивает нетерпеливых. Уже не приходится надеяться на столь серьезный подход к получению научных знаний, как поиск исследований, прошедших проверку воспроизводимости и верную интерпретацию этих исследований без излишне оптимистичной экстраполяции выводов на практику. Часто ли вы встречаете среди специалистов апеллирование к обширным мета анализам в ходе дискуссии по какому-либо вопросу? Не думаю.
Представьте на секунду. Тысячи публикаций исследований. Сотни тысяч. Многие лежат в свободном доступе в интернет ресурсах. Малозначительные эффекты, крохотные выборки, ошибочный анализ, частные интересы авторов или спонсоров исследования… Плохо осведомленным людям, не специалистам, это подается за монолитную, авторитетную, незыблемую НАУКУ. Кем подается? Персонажами, выставляющими себя грамотными аналитиками – накидал красивых ссылок, умело аргументировал надежность своих и недостоверность чужих фактов, и новому жрецу науки смотрят в рот! Подобная картина сплошь и рядом на всем интернет пространстве – что российском, что зарубежном.
В 2012 году в журнале Nature опубликовали статью «Drug development: Raise standards for preclinical cancer research». Автор исследования, Гленн Бигли (C. Glenn Begley), повествует, что в течение десяти лет в биотехнологической фирме Amgen предпринимались попытки воспроизвести «наиболее ценные» исследования, посвященные борьбе с раком, отобранные из 53 журналов. Поскольку в исследованиях описывались совершенно новые подходы таргетированной борьбы с раком и новые варианты клинических применений существующей терапии, некоторые данные были умышленно убраны из текста – во избежание плагиата технологии. Даже со скидкой на это, процент подтвержденных научных данных оказался ничтожно мал – всего 6 исследований из 53. Всего шесть исследований, из пятидесяти трех авторитетных, смогли воспроизвести! В этом случае одной из причин предполагается низкое качество опубликованных доклинических данных. Забавно, что в опубликованной в 2012 году статье фигурирует идея, что не смотря на отдельные ошибки в деталях исследований, в целом на ключевую идею статьи можно положиться и она выдержит проверку временем: «that although there might be some errors in detail, the main message of the paper can be relied on and the data will, for the most part, stand the test of time.» То было в 2012, а уже в 2015 году научное сообщество медиков и биологов растеряло свою снисходительность к деталям исследований, пускай и предклинических.
Обратите внимание – медицина, как научное направление, подвержена строжайшему контролю и анализу исследований, так как связана с прямым воздействием на человеческий организм. Тем не менее и там копятся результаты человеческого фактора – это неизбежное, недооцениваемое явление. Результатом растущей, выразимся сдержанно, сомнительности множества исследований в медицине и биологии, становятся инициативы вроде проекта Элизабет Айорнс «Reproducibility Initiative». С большой долей удачи, инициаторы нашли инвестора в лице благотворительной организации, пожертвовавшей 1,3 млн. долларов на проверку 50 самых известных статей в области биологии рака. Упоминается, что в среднем 26 тысяч долларов на одно исследование хватит лишь на проверку ключевого эксперимента, но не для полного воспроизведения исследования каждый раз (что, в общем-то, и не является необходимым). Вы только представьте – реально сложной задачей является поиск денег на перепроверку исследований, попытку воспроизвести ключевые эксперименты, а именно возможность их повторить, то есть воспроизводимость, делает исследование значимым на практике! Не пора ли тест на воспроизводимость эксперимента закладывать в бюджет исследования?
Проблема дизайна качественного исследования нарастает с новой силой каждый год. В упомянутой выше статье Стюарта Лимана, опубликованной в январе 2014 года, упоминается, как изучение 76 влиятельных исследований на животных показало, что в половине случаев использовалось не более пяти животных на группу, и многие не смогли должным образом обеспечить случайное распределение мышей по контрольной и экспериментальной группам. По словам профессора Джона Иоаннидиса, эпидемиолога Стэндфордского университета, одной из ключевых проблем множественных искажений результатов биомедицинских исследований, является «погоня за значимостью», то есть попытка интерпретировать данные с целью прохождения статистического теста значимости – девяносто-пяти процентной границы, установленной в свое время Рональдом Фишером. Разве такое применение видел господин Фишер для своей идеи?