Сегментация побегов растений в 3D с помощью глубокого обучения

Интеграция глубокого обучения с облаками точек — ключ к эффективной 3D-сегментации побегов растений, необходимой для извлечения фенотипических признаков. Традиционные 2D-методы сталкиваются с проблемами восприятия глубины и определения структуры, которые преодолеваются с появлением 3D-визуализации.

Однако текущие исследования сдерживает необходимость обширной поточечной аннотации для моделей глубокого обучения — процесса дорогого и трудоемкого. Решение этих проблем, особенно через создание обширных 3D-датасетов и изучение моделей слабо контролируемого обучения (weakly supervised learning), является критически важным для развития высокопроизводительного фенотипирования растений.

В исследовании "Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning" (Plant Phenomics) представлен Eff-3DPSeg — слабо контролируемый фреймворк глубокого обучения для сегментации органов растений.

Методология:

  1. Сбор данных: Получение облаков точек отдельных растений с помощью платформы Multi-view Stereo Pheno Platform (MVSP2).
  2. Аннотирование: Аннотирование облаков точек с помощью Meshlab-based Plant Annotator (MPA) для слабо контролируемого обучения.

Результаты:

  • Фреймворк протестирован на новом крупномасштабном пространственно-временном датасете сои, охватывающем различные стадии роста.
  • Сравнение с полностью контролируемыми методами на растениях сои и томата показало надежную обобщаемость и точность в сегментации стебель-лист, хотя наблюдались некоторые ошибки классификации на стыках и краях листьев.
  • Метод показал лучшие результаты на более простых структурах растений, а точность возрастала с увеличением объема обучающих данных.
  • Количественные результаты продемонстрировали значительное улучшение по сравнению с базовыми методами по всем метрикам, особенно в условиях меньшего контроля.
  • Для сегментации экземпляров листьев (leaf instance segmentation) фреймворк показал результаты, сопоставимые с полным контролем, но столкнулся с трудностями при работе с плотной листвой и малым количеством образцов. Точность сегментации улучшалась с увеличением числа контрольных точек.
  • Метод эффективно извлекал фенотипические признаки растений, с некоторыми вариациями в производительности между соей и томатом, зависящими от точности сегментации и качества облаков точек.

Ограничения и будущая работа:

Исследование столкнулось с ограничениями, такими как пробелы в данных и необходимость отдельного обучения для разных задач сегментации. Будущая работа будет направлена на:

  • Улучшение фреймворка.
  • Увеличение разнообразия категорий растений и стадий роста.
  • Повышение общности и универсальности метода.

Вывод:

Фреймворк Eff-3DPSeg представляет собой значительный шаг вперед в 3D-сегментации побегов растений. Его недорогой сбор данных, эффективный процесс аннотирования и надежные возможности сегментации обладают большим потенциалом для улучшения высокопроизводительного фенотипирования растений и развития точного земледелия.