Усовершенствованные методы CNN для точного обнаружения и реконструкции ветвей маракуйи

В традиционном плодоводстве высокие затраты на труд и его нехватка стимулируют исследования в области автоматизации сельского хозяйства и использования интеллектуальных роботов для таких задач, как сбор фруктов и обрезка ветвей.

Несмотря на прогресс в обнаружении и реконструкции ветвей растений с помощью традиционных методов компьютерного зрения и 3D-моделирования, сохраняются проблемы: окклюзия, сложные природные условия и необходимость в данных высокого качества. Современные исследования с использованием глубокого обучения, в частности CNN и Mask R-CNN, показывают улучшение адаптивности к сложному фону и точности реконструкции ветвей.

Однако для преодоления зависимости от условий среды, снижения затрат и повышения гибкости и точности этих технологий в реальных условиях сада требуются дальнейшие исследования.

В данной работе представлена маскирующая регион-ориентированная сверточная нейронная сеть (Mask R-CNN) с деформируемой сверткой для точной сегментации ветвей на сложном фоне сада. Метод был специально улучшен для работы со сложными схемами роста и перекрывающимися ветвями, характерными для вьющихся плодовых деревьев, таких как маракуйя.

Для адаптивной реконструкции сегментированных ветвей был применен инновационный алгоритм реконструкции с двунаправленным секторным поиском, позволяющий вносить незначительные корректировки параметров и учитывать неправильную форму и ориентацию ветвей. Результаты продемонстрировали эффективность метода: улучшенная модель Mask R-CNN достигла средней точности (precision), полноты (recall) и F1-меры в 64,30%, 76,51% и 69,88% соответственно для обнаружения ветвей маракуйи.

Модель превзошла исходную Mask R-CNN и другие сравниваемые модели, особенно в условиях сложного освещения. Алгоритм реконструкции ветвей также показал свою надежность с точностью 88,83% и средней метрикой пересечения по объединению (mIoU) в 83,44%.

Эти показатели подчеркивают способность модели точно обнаруживать и реконструировать ветви, несмотря на сложную естественную среду сада. В исследовании также признаются определенные ограничения и области для улучшения. Несмотря на перспективность метода, проблемы с пропуском обнаружения и ложной сегментацией, особенно для более мелких или схожих по цвету ветвей, указывают на необходимость дальнейшей доработки.

Производительность модели на различных типах плодовых деревьев также требует дополнительной проверки, что указывает на потенциальное направление для будущих исследований.

Таким образом, интеграция передовых методов глубокого обучения и инновационного алгоритма реконструкции предлагает перспективное решение для сложных задач обнаружения и реконструкции ветвей в естественных условиях сада. Этот метод не только продвигает область сельскохозяйственной автоматизации, но и создает основу для дальнейших улучшений и адаптации к более широкому спектру сельскохозяйственных применений.

Исследование опубликовано в журнале Plant Phenomics.