Ученые создали компьютерную систему для отслеживания животных в дикой природе без маркеров

Исследователи из кластера передовых исследований Collective Behavior разработали компьютерную систему для оценки позы и идентификации животных, которую можно использовать как в лабораторных условиях, так и в дикой природе. Это важный шаг к бесконтактному отслеживанию животных с помощью компьютерного зрения и машинного обучения.

Фреймворк 3D-MuPPET

Методы отслеживания позы животных без маркеров быстро развиваются, но инструментов и эталонов для отслеживания больших групп животных в 3D не хватало. Чтобы восполнить этот пробел, исследователи представили фреймворк 3D-MuPPET (3D Multi-Pigeon Pose Estimation and Tracking). Он позволяет оценивать и отслеживать 3D-позы до 10 голубей в интерактивном режиме с использованием нескольких камер.

Исследование было опубликовано в International Journal of Computer Vision.

3D-MuPPET — это система компьютерного зрения для оценки позы и идентификации до 10 отдельных голубей по данным с четырех камер, собранным как в контролируемых условиях, так и в дикой природе.

«Мы обучили 2D-детектор ключевых точек и триангулировали их в 3D, а также показали, что модели, обученные на данных об одной особи, хорошо работают с данными о нескольких голубях», — объясняет Урс Вальдманн. Это первый пример 3D-отслеживания позы для целой группы до 10 особей.

Таким образом, новая система предоставляет биологам конкретный метод для создания экспериментов и автоматического анализа поведения. «Это важная веха в отслеживании позы животных и автоматическом анализе поведения», — говорит Алекс Чан.

Применение в дикой природе

Помимо отслеживания голубей в помещении, система также адаптирована для работы в дикой природе.

«Используя модель Segment Anything Model, которая может определить контур любого объекта на изображении, мы дообучили 2D-детектор ключевых точек на данных о голубях в неволе, а затем применили модель к видео с голубями на улице без дополнительной настройки», — заявляет Чан.

3D-MuPPET представляет собой один из первых примеров перехода от отслеживания животных в неволе к отслеживанию в дикой природе. Это позволяет измерять тонкое поведение животных в их естественной среде обитания.

Разработанные методы потенциально могут быть применены к другим видам в будущем, что открывает возможности для крупномасштабных исследований коллективного поведения и мониторинга видов неинвазивным способом.