Исследователи изучили один из научных рубежей биологии — анализируя анализы

Во время пандемии сотни биологов по всему миру, включая двух исследователей из Университета Содружества Вирджинии (VCU), объединились, чтобы ответить на тревожный вопрос: если два биолога проанализируют одни и те же данные, получат ли они одинаковые результаты? Оказалось, что нет.

В апреле 2020 года эволюционный генетик Брайан Веррелли, Ph.D., увидел призыв в международном списке рассылки для эволюционных биологов EvolDir: не хочет ли он присоединиться к исследованию проблем воспроизводимости в экологии и эволюционной биологии? Он привлек к участию Майкла Розенберга, Ph.D., директора Центра биологической науки о данных VCU.

Это первое крупномасштабное исследование, проверяющее, как "кризис репликации" затрагивает экологию и эволюционную биологию. Оно было организовано учеными из колледжа Уитмана, Мельбурнского и Альбертского университетов и быстро выросло до 174 аналитических команд, возможно, из-за совпадения с началом пандемии.

Команды анализировали два набора данных: о влиянии травяного покрова на распространение эвкалиптов в Австралии и о молодых синицах. Веррелли даже выучил новый язык программирования для анализа.

После того как команды представили свои анализы (почти целую исследовательскую статью от каждой), независимые рецензенты оценили результаты. Хотя большинство результатов сгруппировались вокруг центрального вывода, некоторые команды, используя статистически корректные методы, получили совершенно разные результаты.

"Это как если бы я спросил у 100 человек, сколько будет 2 плюс 2. В этом исследовании некоторые ответили бы 3, некоторые — 5, а некоторые странные выбросы сказали бы 10", — пояснил Веррелли.

Различия могли возникнуть из-за множества мелких решений, принимаемых исследователями в ходе анализа, которые в совокупности меняли его траекторию.

"На поверхности это был простой вопрос, и можно было бы ожидать более простой статистики. Тот факт, что это не так, и что можно получить такой широкий спектр очень разумных, но очень разных результатов, должен стать сигналом к пробуждению", — сказал Розенберг.

Для решения проблемы некоторые ученые выступают за большую "открытость" в науке, призывая исследователей публиковать гипотезы, методы и статистические планы до проведения исследования, что может снизить влияние предвзятости.

Исследование было опубликовано в BMC Biology.