Влияние экспериментаторов на результаты исследований на животных оказалось слабее ожидаемого

Более десяти лет научное сообщество обсуждает так называемый кризис воспроизводимости: часто научные результаты не удается воспроизвести позже и/или в других лабораториях, даже при проведении исследований в строго стандартизированных условиях. Стандартизация включает, например, использование генетически идентичных животных, их содержание в одинаково оборудованных клетках и проведение экспериментов одним и тем же способом.

Чтобы выявить источники низкой воспроизводимости, исследователи обычно пытаются определить потенциальные мешающие факторы в условиях эксперимента. Мешающий фактор номер один — это экспериментатор, то есть человек, проводящий опыт. Команда под руководством биологов-бихевиористов д-ра Ванессы фон Корцфляйш и проф. Елены Рихтер из Мюнстерского университета (Германия) изучила именно этот фактор в поведенческих экспериментах на мышах, одновременно проведенных в трех разных местах. Их исследование опубликовано в журнале PLOS Biology.

К удивлению исследователей, влияние разных экспериментаторов на результаты тестов оказалось не таким выраженным, как предполагали более ранние работы. Вместо этого были обнаружены другие мешающие факторы. Так, гораздо большую роль, чем экспериментатор, сыграл фактор «лаборатория». Однако самое главное — большая часть вариаций объяснялась необъяснимыми различиями между отдельными мышами. Точнее, эта доля «необъясненной дисперсии» в данных составила от 41 до 72%.

«Это особенно удивительно, — говорит ведущий автор Ванесса фон Корцфляйш, — если учесть, что животные тестировались в условиях высокой стандартизации в рамках одной тестовой когорты — то есть одним экспериментатором в одной лаборатории и в абсолютно одинаковых условиях».

Результаты, конечно, не означают, что экспериментатор не является важным фактором. Однако они указывают на то, что различные условия тестирования в лабораториях — несмотря на стандартизацию — оказывают значительно большее влияние на исход, чем экспериментатор. Эти условия могут включать, например, небольшие различия в окружающих звуках или запахах.

«Но прежде всего наши результаты показывают, что биологическая вариация играет ключевую роль в исследованиях на животных — даже когда животные происходят из инбредных линий. В будущем нам понадобятся лучшие стратегии для контролируемого включения этой вариации в экспериментальный дизайн», — говорит Ванесса фон Корцфляйш.

Двенадцать экспериментаторов в трех локациях

Вопреки догме строгой стандартизации, существуют альтернативные предложения по систематическому включению вариации в экспериментальный дизайн для улучшения воспроизводимости. Чтобы исследовать, может ли участие нескольких экспериментаторов в одном исследовании повысить внешнюю валидность и, следовательно, улучшить воспроизводимость результата, в этом новом исследовании двенадцать разных экспериментаторов в Мюнстере, Оснабрюке и Берне провели одну и ту же батарею поведенческих тестов с мышами двух инбредных линий.

Такие фенотипические эксперименты широко используются в биомедицинских исследованиях для изучения влияния разных генотипов на поведение животных и, тем самым, для выводов о генетической основе определенных человеческих заболеваний. Например, в так называемом тесте «открытого поля» исследователи проверяют, является ли мышь более или менее тревожной при исследовании новой среды.

Конкретно команда исследовала, отличается ли по воспроизводимости строго стандартизированный экспериментальный дизайн, в котором всех животных тестирует один экспериментатор, от дизайна, в котором животных тестируют несколько экспериментаторов. Команда сравнила, какой из дизайнов дает более согласованные результаты в трех разных лабораториях. Кроме того, исследователи изучили, какие другие влияющие факторы могут объяснить вариацию в данных.

Одним из результатов стало то, что во всех трех местах исследователям не удалось воспроизвести некоторые из результатов, независимо от того, проводился эксперимент одним или несколькими экспериментаторами.