Как небольшие различия в анализе данных приводят к огромным различиям в результатах

За последние 20 лет растёт обеспокоенность тем, что многие результаты, опубликованные в научных журналах, не могут быть воспроизведены.

В зависимости от области исследований, попытки повторить опубликованные работы дают разные результаты в от 23% до 89% случаев.

Чтобы понять, как разные исследователи могут прийти к разным выводам, мы попросили сотни экологов и эволюционных биологов проанализировать предоставленные наборы данных и ответить на два вопроса. Они дали огромный разброс ответов.

Наше исследование принято журналом BMC Biology как зарегистрированный отчёт 1-й стадии и в настоящее время доступно как препринт перед рецензированием для 2-й стадии.

Проблема воспроизводимости

Причины проблем с воспроизводимостью общие для всей науки:

  • Чрезмерная зависимость от упрощённых мер «статистической значимости».
  • Предпочтение журналами публиковать «сенсационные» находки.
  • Сомнительные исследовательские практики, повышающие привлекательность статей ценой прозрачности и увеличивающие долю ложных результатов.

Исследования по воспроизводимости и её улучшению (например, инициативы «открытой науки») медленно распространяются между разными научными областями.

Птицы и конкуренция, трава и сеянцы

Мы повторили подход, использованный в социальных науках, в экологии и эволюционной биологии, задав два вопроса:

  1. «В какой степени рост птенцов лазоревки (Cyanistes caeruleus) зависит от конкуренции с братьями и сёстрами?»

  2. «Как растительный покров влияет на появление всходов Eucalyptus spp.?» (т.е. на количество сеянцев эвкалипта).

На призыв откликнулись 246 экологов и эволюционных биологов, которые индивидуально или в командах представили 137 описаний своих ответов. Результаты сильно различались для обоих наборов данных.

Влияние травы на сеянцы эвкалипта (63 ответа):

  • Отрицательный эффект (больше травы — меньше сеянцев): 18 команд

  • Отсутствие эффекта: 31 команда

  • Положительный эффект (больше травы — больше сеянцев): 6 команд

  • Смешанный эффект: 8 команд

Влияние конкуренции с собратьями на рост птенцов лазоревки (74 ответа):

  • Отрицательный эффект (больше конкуренции — медленнее рост): 64 команды (из них только 37 сочли этот эффект убедительным)

  • Отсутствие эффекта: 5 команд

  • Смешанный эффект: 5 команд

Что означают результаты

Питер Веск (источник данных по эвкалипту): «Среднее значение всех анализов имеет смысл. Влияние травы на сеянцы эвкалипта ничтожно по сравнению с расстоянием до ближайшего материнского дерева. Но диапазон оценок эффектов ошеломляет. Это согласуется с моим опытом: множество мелких различий в процессе анализа могут суммироваться в большую вариацию [результатов]».

Саймон Гриффит (собрал данные по лазоревке более 20 лет назад): «Это исследование показывает, что не существует одного единственного ответа для любого набора данных. Есть широкий спектр различных исходов, и понимание лежащей в основе биологии должно учитывать это разнообразие».

Фиона Фидлер (метаисследователь): «Цель таких исследований — не напугать людей или создать кризис, а помочь понять неоднородность и её значение для научной практики. Через метаисследования мы можем развить лучшее понимание неопределённости и делать более точные выводы».

Что делать?

Результаты предполагают три направления действий для исследователей, издателей, финансирующих организаций и научного сообщества:

  1. Избегать восприятия публикации как факта. Отдельная научная статья — лишь одно доказательство, существующее в более широком контексте ограничений и предубеждений.
  2. Проводить и сообщать больше анализов на статью. Если результат зависит от выбора метода анализа, разумно представить несколько анализов, чтобы получить более полную картину.
  3. Описать, как результаты зависят от решений при анализе. Публикации должны не только обсуждать экологические последствия находок, но и то, как разные аналитические выборы повлияли на результаты и что это значит для их интерпретации.