Как небольшие различия в анализе данных приводят к огромным различиям в результатах
За последние 20 лет растёт обеспокоенность тем, что многие результаты, опубликованные в научных журналах, не могут быть воспроизведены.
В зависимости от области исследований, попытки повторить опубликованные работы дают разные результаты в от 23% до 89% случаев.
Чтобы понять, как разные исследователи могут прийти к разным выводам, мы попросили сотни экологов и эволюционных биологов проанализировать предоставленные наборы данных и ответить на два вопроса. Они дали огромный разброс ответов.
Наше исследование принято журналом BMC Biology как зарегистрированный отчёт 1-й стадии и в настоящее время доступно как препринт перед рецензированием для 2-й стадии.
Проблема воспроизводимости
Причины проблем с воспроизводимостью общие для всей науки:
- Чрезмерная зависимость от упрощённых мер «статистической значимости».
- Предпочтение журналами публиковать «сенсационные» находки.
- Сомнительные исследовательские практики, повышающие привлекательность статей ценой прозрачности и увеличивающие долю ложных результатов.
Исследования по воспроизводимости и её улучшению (например, инициативы «открытой науки») медленно распространяются между разными научными областями.
Птицы и конкуренция, трава и сеянцы
Мы повторили подход, использованный в социальных науках, в экологии и эволюционной биологии, задав два вопроса:
«В какой степени рост птенцов лазоревки (Cyanistes caeruleus) зависит от конкуренции с братьями и сёстрами?»
«Как растительный покров влияет на появление всходов Eucalyptus spp.?» (т.е. на количество сеянцев эвкалипта).
На призыв откликнулись 246 экологов и эволюционных биологов, которые индивидуально или в командах представили 137 описаний своих ответов. Результаты сильно различались для обоих наборов данных.
Влияние травы на сеянцы эвкалипта (63 ответа):
Отрицательный эффект (больше травы — меньше сеянцев): 18 команд
Отсутствие эффекта: 31 команда
Положительный эффект (больше травы — больше сеянцев): 6 команд
Смешанный эффект: 8 команд
Влияние конкуренции с собратьями на рост птенцов лазоревки (74 ответа):
Отрицательный эффект (больше конкуренции — медленнее рост): 64 команды (из них только 37 сочли этот эффект убедительным)
Отсутствие эффекта: 5 команд
Смешанный эффект: 5 команд
Что означают результаты
Питер Веск (источник данных по эвкалипту): «Среднее значение всех анализов имеет смысл. Влияние травы на сеянцы эвкалипта ничтожно по сравнению с расстоянием до ближайшего материнского дерева. Но диапазон оценок эффектов ошеломляет. Это согласуется с моим опытом: множество мелких различий в процессе анализа могут суммироваться в большую вариацию [результатов]».
Саймон Гриффит (собрал данные по лазоревке более 20 лет назад): «Это исследование показывает, что не существует одного единственного ответа для любого набора данных. Есть широкий спектр различных исходов, и понимание лежащей в основе биологии должно учитывать это разнообразие».
Фиона Фидлер (метаисследователь): «Цель таких исследований — не напугать людей или создать кризис, а помочь понять неоднородность и её значение для научной практики. Через метаисследования мы можем развить лучшее понимание неопределённости и делать более точные выводы».
Что делать?
Результаты предполагают три направления действий для исследователей, издателей, финансирующих организаций и научного сообщества:
- Избегать восприятия публикации как факта. Отдельная научная статья — лишь одно доказательство, существующее в более широком контексте ограничений и предубеждений.
- Проводить и сообщать больше анализов на статью. Если результат зависит от выбора метода анализа, разумно представить несколько анализов, чтобы получить более полную картину.
- Описать, как результаты зависят от решений при анализе. Публикации должны не только обсуждать экологические последствия находок, но и то, как разные аналитические выборы повлияли на результаты и что это значит для их интерпретации.
