Разработана система машинного зрения для поиска «королевских» цветков на яблонях

Исследователи из Университета штата Пенсильвания разработали систему машинного зрения, способную находить и идентифицировать «королевские» цветки (king flowers) в соцветиях яблонь в саду. Это критически важный первый шаг в создании системы роботизированного опыления, и подобное исследование проведено впервые.

Яблоневые соцветия состоят из 4–6 цветков. Центральный цветок, который распускается первым и обычно даёт самый крупный плод, называется «королевским». Именно он — ключевая цель для системы роботизированного опыления, как пояснил исследователь Лонг Хэ, доцент кафедры сельскохозяйственного и биологического машиностроения.

Традиционно для продуктивности яблонь полагаются на насекомых-опылителей. Однако, по словам Хэ, есть свидетельства, что услуги по опылению как от домашних медоносных пчёл, так и от диких опылителей, не соответствуют растущему спросу. Из-за синдрома разрушения пчелиных семей (colony collapse disorder) медоносные пчёлы во всём мире гибнут с угрожающей скоростью. В результате производителям нужны альтернативные методы опыления.

Целью данного проекта было создание системы зрения на основе глубокого обучения (deep learning), которая могла бы точно идентифицировать и определять местоположение «королевских» цветков в кронах деревьев.

«Мы считаем, что этот результат предоставит базовую информацию для системы роботизированного опыления, что приведёт к эффективному и воспроизводимому опылению яблонь для максимизации урожая высококачественных плодов», — заявил Лонг Хэ.

Методология исследования

Исследование возглавил аспирант Синьян Му. Он использовал Mask R-CNN — популярную программу глубокого обучения, которая выполняет сегментацию на уровне пикселей для обнаружения объектов, частично закрытых другими объектами.

Для создания модели обнаружения на основе Mask R-CNN было сделано сотни фотографий соцветий яблони. Затем был разработан алгоритм сегментации «королевских» цветков для их идентификации и локализации в исходном наборе изображений. Работа проводилась в Исследовательском и консультационном центре по плодоводству Пенсильванского университета.

Для тестов были выбраны сорта яблок Гала и Ханикрисп. Деревья были посажены в 2014 году с расстоянием около 1,5 м (Гала) и 2 м (Ханикрисп). Кроны деревьев были сформированы по архитектуре «высокий шпиндель», средняя высота деревьев составляла около 4 метров. Система захвата изображений с камерой была установлена на транспортном средстве, которое перемещалось между рядами деревьев.

Обучение системы машинного зрения было сложной задачей, поскольку «королевские» цветки имеют тот же размер, цвет и форму, что и боковые цветки в соцветии, и, как правило, закрыты окружающими цветками из-за своего центрального положения.

Для обучения модели Mask R-CNN с использованием трансферного обучения (transfer learning) исходные изображения были размечены по двум предопределённым классам: отдельные цветки и перекрытые цветки. Для повышения точности обучающий набор данных был увеличен в четыре раза с помощью методов аугментации данных (data-augmentation).

«Чтобы отличить «королевские» цветки от боковых, мы нацеливались на самый центральный цветок в каждом соцветии, — объяснил Синьян Му. — Система зрения автоматически находила соцветия отдельно на основе подхода двумерного картирования плотности цветков. В пределах каждого обнаруженного соцветия цветок (или его маска), находящийся в самой центральной позиции, определялся как целевой «королевский» цветок».

Результаты

В статье, недавно опубликованной в журнале Smart Agricultural Technology, исследователи сообщили о высоком уровне точности обнаружения «королевских» цветков с помощью алгоритма Му.

По сравнению с измерениями, выполненными вручную исследователями (так называемыми ground truth measurements), точность обнаружения «королевских» цветков системой машинного зрения варьировалась от 98,7% до 65,6%.