Первая в истории психологии масштабная проверка результатов сразу сотни научных работ, опубликованных в престижных рецензируемых журналах, показала, что лишь 39% их результатов можно воспроизвести в повторных опытах, заявляют ученые в статье, опубликованной в журнале Science.
"Многие годы среди нас существовали сомнения в том, можно ли воспроизвести результаты психологических исследований, но прямых и системных доказательств таким подозрениям почти не было. Наш проект является первой попыткой это сделать, и он показал, что данная проблема существует и что с ней следует бороться", — заявил Брайан Носек (Brian Nosek) из университета Виргинии (США), руководитель проекта.
Как отмечают Носек и его коллеги, подобные результаты их не расстраивают – по их словам, они не говорят о том, что психология не является наукой, а лишь указывают на необходимость более тщательного подхода к подбору методики проведения экспериментов и анализа полученных данных. Раньше, по его словам, подобные проверки вообще не проводились.
Носек и почти три сотни психологов со всех уголков мира, участвовавших в проекте Reproducibility Project, поставили перед собой амбициозную задачу – изучить выводы ста научных работ, опубликованных в трех ведущих научных журналах по психологии, и попытаться повторить их результаты, используя изложенную их авторами методику проведения эксперимента.
На протяжении почти четырех лет, с 2011 года и по текущий год, команда Носека проводила повторные эксперименты. Их результаты оказались неутешительными – несмотря на то, что ученым удалось точно воспроизвести методику почти для всех ста публикаций, лишь в 39% случаев у них получилось повторить их результаты.
Подобные итоги не означают того, что авторы 61% работ, результаты которых не были подтверждены, сделали некорректные выводы или просто совершили намеренную ошибку для получения красивого результата. Вполне возможно, как предполагают Носек и его коллеги, что они не полностью описали использованную методику или не учли каких-то побочных факторов, влиявших на участников эксперимента.
Тем не менее, такой результат свидетельствует о том, что методы проведения психологических исследований и правила публикации их результатов нуждаются в уточнении, ужесточении и серьезном пересмотре. В качестве первого шага участники Reproducibility Project предлагают публиковать все наборы данных и методик экспериментов в полностью открытом виде.
Особенное внимание, по словам ученых, следует обращать на результаты исследований – почти во всех работах, прошедших повторную проверку, сила раскрытых психологами эффектов была завышена в два раза. Как считают ученые, это может быть связано с тем, что экспериментаторы отбрасывали часть негативных результатов, или же с редакционной политикой научных журналов, предпочитающих яркие и "однозначные" открытия.
Некоторые журналы, как отмечает Носек, уже прислушалась к рекомендациям Reproducibility Project и поменяла правила приема и публикации научных статей. Как надеются участники проекта, список изданий заметно пополнится после публикации их исследования в Science.
