AS-SwinT: машинное зрение для автоматического прореживания винограда

Проблема: Прореживание ягод — ключевой этап для выращивания качественного столового винограда. Этот трудоемкий процесс традиционно выполняют опытные рабочие, которых становится все меньше из-за старения населения.

Решение: Исследователи разрабатывают систему машинного зрения на основе глубокого обучения для автоматического подсчета и локализации ягод. Основная сложность — точное обнаружение мелких ягод в сезон прореживания из-за их размера, схожести цвета с листьями и плотной упаковки в гроздьях.

Методология: В данном исследовании использовалась модель инстанс-сегментации AS-SwinT. Эксперименты проводились на аппаратном обеспечении (NVIDIA RTX3090, i7 CPU) с использованием ПО: Python, PyTorch и фреймворка MMDetection. Для обучения применялись:

• Аугментация данных (отражения)
• Оптимизатор AdamW
• Transfer learning с весами backbone-сети, предобученной на Imagenet

Оценка и результаты:

• Производительность оценивалась по метрикам средней точности (AP) в стиле COCO, с учетом объектов разного размера, precision и recall.
• Ablation-исследования показали, что значительное улучшение точности детекции, особенно для мелких ягод, обеспечивают три компонента: оптимизация Anchor, Soft-NMS и модуль ASFF.
• AS-SwinT превзошел классические модели (Mask R-CNN, YOLO) как в искусственных, так и в естественных условиях, показав высокую точность и устойчивость даже при наложении ягод или их затенении.
• Сравнение различных backbone-сетей подтвердило эффективность Swin Transformer для извлечения признаков, при этом увеличение глубины сети не всегда вело к росту точности.
• Для оценки количества ягод в грозди использовалась линейная регрессия. AS-SwinT показал наилучшую корреляцию между предсказаниями и реальными данными.

Выводы и перспективы:

Модель AS-SwinT представляет собой значительный шаг в автоматизации подсчета ягод винограда и может стать основой для систем прореживания. Это потенциально революционное решение для виноградарства.

Ограничения и будущие исследования:

• Модель может не обнаруживать сильно затененные или очень мелкие ягоды.
• Необходимы исследования на других сортах винограда и в различных условиях окружающей среды.
• Для снижения затрат на разметку данных предлагается изучить методы полуконтролируемого обучения.