Проект «Тёмная экология»: как 20-летние данные погодных радаров помогут отследить миграцию птиц
Каждой весной и осенью миллиарды птиц мигрируют над территорией США, оставаясь в основном незамеченными под покровом темноты. Команда исследователей под руководством специалиста по информатике Дэниела Шелдона из Университета Массачусетса в Амхерсте планирует разработать новые аналитические методы, используя данные, собранные за последние 20 лет — более 200 миллионов архивных радарных сканов национальной сети погодных радаров.
Цель и участники проекта
«Проект «Тёмная экология» создаст новые ресурсы, которые позволят нам оценивать плотность мигрирующих птиц над США за каждый из последних 25 лет», — говорит Шелдон. Его сотрудничество с экспертом по компьютерному зрению Субхрансу Маджи (UMass Amherst) и Стивеном Келлингом, директором по информатике в Корнеллской лаборатории орнитологии (Итака, Нью-Йорк), поддержано трёхлетним грантом Национального научного фонда: $903 300 для UMass Amherst и $309 000 для Корнелла.
Предпосылки и существующие инструменты
Шелдон сотрудничает с учёными из Корнеллской лаборатории орнитологии с 2009 года. Команда Келлинга разработала eBird — проект гражданской науки, собирающий наблюдения орнитологов-любителей по всему миру. Исследователи используют методы работы с большими данными, чтобы собрать наблюдения eBird воедино и выявить сложные закономерности распространения птиц, а также направлять международные усилия по сохранению птиц. Группа Маджи разработала методы компьютерного зрения для тонкой категоризации, которые уже помогают автоматически распознавать виды птиц, животных и других организмов на фотографиях.
Долгосрочная цель нового гранта, по словам Шелдона, — объединить эти новые ресурсы данных для получения детальной картины миграции птиц в масштабах континента: «Данные eBird могут рассказать нам о распределении птиц и о том, какие виды присутствуют в разных местах и в разное время года, в то время как данные радаров могут показать, как птицы перемещаются по континенту в течение года».
Название «Тёмная экология» отсылает к тёмной материи во Вселенной и идее о том, что «много науки, которую ещё предстоит открыть, скрыто от нашего прямого взгляда».
Проблема и новый подход
Орнитологи десятилетиями знали, что сеть погодных радаров США достаточно чувствительна, чтобы обнаруживать птиц, летящих ночью, но исследования были ограничены из-за сложностей: трудный доступ к данным и необходимость ручного анализа миллионов изображений экспертом.
Доступ к радарным сканам улучшился в 2015 году, когда Amazon Web Services заключила соглашение с Национальным управлением океанических и атмосферных исследований США (NOAA), чтобы увеличить объём данных NOAA, доступных через облако. Это сделало данные NEXRAD доступными с гораздо меньшими затратами.
Методы: машинное обучение и компьютерное зрение
Шелдон и Маджи будут использовать машинное обучение, компьютерное зрение и методы вероятностного вывода, чтобы научить компьютеры выполнять анализ, который раньше требовал ручного труда. Ключевой задачей будет создание алгоритмов для отсеивания дождя. «Современные достижения в машинном обучении и компьютерном зрении позволят нам научить компьютер идентифицировать дождь, птиц, насекомых, места ночёвок птиц и другие биологические явления, интересные экологам».
«Мы также планируем разработать алгоритмы для извлечения большего количества информации из радарных данных, — добавляет Шелдон. — Современные методы дают точечные оценки миграции на конкретной станции, потому что не умеют работать с пробелами в радиолокационном покрытии. Это означает, что отбрасывается огромный массив данных, которые существуют между станциями. Мы хотели бы разработать алгоритмы машинного обучения, чтобы выводить, что происходит в пробелах, и создавать пространственно детализированные карты плотности миграции».
Результаты для науки
Учёные планируют сделать результирующий набор данных свободно доступным ресурсом для исследователей, чтобы оценивать количество птиц, мигрирующих в любую данную ночь, измерять закономерности и тенденции популяций птиц и проводить науку, основанную на гипотезах. «Одна из больших целей — проанализировать весь архив, чтобы измерить плотность и скорость мигрирующих птиц, и сделать полученные данные доступными для любого учёного, который сможет их использовать».