Прогнозирование и визуализация созревания цитрусовых с помощью нейросетей

Цитрусовые — самая ценная плодовая культура в мире, и повышение качества плодов — ключевая задача. Важным индикатором зрелости является изменение цвета, которое традиционно оценивается субъективно.

Современные методы машинного зрения и нейросетей предлагают более объективный анализ цвета, но сталкиваются с проблемами: работа в изменчивых условиях, перевод данных о цвете в практическую оценку зрелости и сложность внедрения на маломощных устройствах в полевых условиях.

В июне 2023 года в журнале Plant Phenomics была опубликована статья "Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network".

Суть исследования

Учёные разработали новую систему для прогнозирования и визуализации изменения цвета плодов цитрусовых в саду, а также создали на её основе Android-приложение. Модель обрабатывает изображение плода и заданный временной интервал, а на выходе генерирует изображение его будущего цвета.

Методология и результаты

• Данные: Для обучения и проверки сети использовался набор из 107 изображений апельсинов, сделанных в период изменения их цвета.
• Архитектура: Использовалась глубокая маскированная генеративная сеть (deep mask-guided generative network). Её дизайн требует меньше вычислительных ресурсов, что позволяет запускать модель на мобильных устройствах.
• Точность сегментации: Модель показала высокий показатель Mean Intersection over Union (MIoU), что подтвердило её способность точно выделять плоды на изображениях в разных условиях.
• Качество генерации: Сеть отлично справилась с прогнозом цвета, что подтверждается высоким пиковым отношением сигнал/шум (PSNR) и низкими средними локальными стилевыми потерями (MLSL). Это означает минимальные искажения и высокую точность генерируемых изображений.
• Универсальность: Модель точно воспроизводила изменение цвета при разных углах обзора и для плодов разного исходного оттенка.
• Эффективность: Благодаря встроенным слоям (embedding layers) одна модель может делать прогнозы для различных временных интервалов, устраняя необходимость в нескольких отдельных моделях.
• Валидация: Эффективность сети подтвердили сенсорные панели: большинство участников оценили высокое сходство синтезированных и реальных изображений.

Выводы и перспективы

Этот инновационный подход позволяет точнее отслеживать развитие плодов и определять оптимальное время сбора урожая. Метод потенциально применим к другим видам цитрусовых и плодовым культурам. Адаптивность системы для работы на периферийных устройствах, таких как смартфоны, делает её практичным инструментом для использования непосредственно в поле, демонстрируя потенциал генеративных моделей в сельском хозяйстве.