Профессор создал мобильное приложение для идентификации видов растений

Профессор компьютерных наук Питер Белхьюмер, директор Лаборатории изучения визуального облика Колумбийского университета, разработал приложение LeafSnap — электронный полевой определитель растений, доступный для iPhone, iPad и Android.

Идея принадлежала его 8-летнему сыну Уильяму, который предложил создать приложение для распознавания растений с помощью технологий компьютерного зрения. Белхьюмер, с середины 1990-х работавший над ПО для распознавания лиц, понял, что те же алгоритмы, анализирующие изгиб брови или угол скулы, можно применить к форме листа.

Вместе с коллегами — специалистом по компьютерным наукам из Университета Мэриленда Дэвидом Джейкобсом и ботаником-исследователем из Смитсоновского института Джоном Крессом — он начал разработку. Команда сначала использовала фотографии листьев из обширной коллекции Смитсоновского института, но для работы в полевых условиях потребовались снимки "диких" образцов.

Студенты-волонтеры собрали тысячи листьев в Центральном парке Нью-Йорка — до 50 образцов каждого из 145 видов. Форма листа — его наименее изменчивая и легко фотографируемая характеристика, поэтому алгоритм фокусируется на таких признаках, как гладкий vs. зубчатый край, много- или однолопастный.

Принцип работы, как объясняет аспирант Нирадж Кумар, курирующий программирование, — это процесс исключения: "Компьютер ранжирует изображения от наиболее похожих к наименее похожим". В лаборатории систему обучали отличать один вид от другого по извлеченным из изображения признакам.

Как работает LeafSnap:

• Пользователь фотографирует лист.
• Приложение за секунды загружает снимок и выдает список возможных совпадений.
• Бесплатное приложение дополняет сайт leafsnap.com с описаниями видов.

Интерес высок: приложение уже установлено 150 000 раз. База данных включает виды Центрального парка и 160 видов из парка Рок-Крик в Вашингтоне, охватывая большинство аборигенных видов северо-востока США.

Планы на будущее:

• Создание карты видов по всей территории США.
• Внедрение краудсорсинга, позволяющего пользователям добавлять свои изображения в базу данных.

"Такая система необходима, потому что виды исчезают с планеты с угрожающей скоростью, а процесс идентификации очень медленный", — поясняет Белхьюмер.

Для профессора, выросшего с полевыми определителями в руках, а теперь владеющего фермой, этот проект соединил высокие технологии и любовь к природе. А его сын Уильям уже думает о новых приложениях: "Думаю, пора для Fishsnap и Bugsnap, так что работы еще много".