Улучшение оценки зелёной фракции у риса и пшеницы: подход на основе самообучающегося глубокого обучения

Точное измерение зелёной фракции (GF) — ключевого фотосинтетического признака сельскохозяйственных культур — обычно основано на анализе RGB-изображений с использованием алгоритмов сегментации для выделения зелёных пикселей. Традиционные методы имеют ограничения в точности из-за изменчивости условий окружающей среды, а передовые методы глубокого обучения, такие как SegVeg, хоть и улучшают результат, не в полной мере используют новейшие модели vision transformer.

Основная проблема применения таких современных методов — отсутствие всеобъемлющих размеченных наборов данных для фенотипирования растений. Хотя генерация синтетических изображений предлагает частичное решение, преодоление разрыва в реалистичности между синтетическими и реальными полевыми изображениями остаётся важной задачей для повышения точности оценки GF.

В исследовании, опубликованном в Plant Phenomics в июле 2023 года, ставилась цель усовершенствовать самообучающийся конвейер фенотипирования растений для семантической сегментации RGB-изображений риса и пшеницы с учётом их контрастного полевого фона.

Методология включала три основных этапа:

1. Сбор реальных изображений in situ с ручной разметкой с разных участков и генерация смоделированных изображений с метками с помощью Digital Plant Phenotyping Platform (D3P).
2. Применение метода адаптации доменов CycleGAN для минимизации разрыва между синтетическими (sim) и реальными наборами данных, создавая набор данных "simulation-to-reality" (sim2real).
3. Оценка трёх моделей глубокого обучения (U-Net, DeepLabV3+ и SegFormer), обученных на реальных, синтетических (sim) и адаптированных (sim2real) наборах данных, с сравнением их производительности на уровне пикселей и изображений, с фокусом на оценке GF.

Результаты показали, что адаптация доменов с помощью CycleGAN эффективно сократила разрыв между синтетическими и реальными изображениями. Это подтвердилось улучшенной реалистичностью текстур растений и фона почвы, а также уменьшением евклидова расстояния между изображениями sim2real и реальными.

На пиксельном уровне сегментации U-Net и SegFormer превзошли DeepLabV3+. SegFormer, особенно при обучении на наборе данных sim2real, продемонстрировал наивысшие показатели F1-score и точности. Эта тенденция была характерна как для риса, так и для пшеницы.

Набор данных sim2real обеспечил наилучшую производительность в оценке GF, показав близкие результаты между смоделированными и реальными данными, особенно для пшеницы. Лучшая модель, SegFormer, обученная на sim2real, была использована для анализа динамики GF, эффективно отразив стадии роста риса и пшеницы, что указывает на точность оценки.

Исследование также выявило критические факторы, влияющие на неопределённость оценки, такие как неравномерная освещённость на изображениях и наличие стареющих листьев. Подчёркивалось, что самообучающаяся природа конвейера, не требующая человеческой разметки для обучения, является значительной экономией времени при аннотировании изображений.

В целом, работа продемонстрировала, что SegFormer, обученный на наборе данных sim2real, превзошёл другие модели, что подчёркивает эффективность самообучающегося подхода для семантической сегментации в фенотипировании растений. Успех этого метода открывает возможности для дальнейших исследований по повышению реалистичности синтетических изображений и применению более сложных моделей адаптации доменов для точной оценки GF на протяжении всего цикла роста культуры.