EasyDAM_V3: автоматическая маркировка фруктов на основе выбора оптимального домена и синтеза данных
В сельскохозяйственном ИИ методы обнаружения фруктов на основе глубокого обучения требуют больших наборов данных с ручной разметкой, что трудоёмко.
Предыдущий метод EasyDAM (generative adversarial network, GAN) генерировал синтетические изображения фруктов, но имел недостатки: низкую адаптивность к разным видам фруктов и необходимость ручной разметки в исходном домене (source domain).
В июле 2023 года в Plant Phenomics была опубликована статья "EasyDAM_V3: Automatic fruit labeling based on optimal source domain selection and data synthesis via a knowledge graph". Новая методика решает две основные задачи: выбор оптимального исходного набора данных и минимизацию ручной разметки в целевом домене (target domain).
Выбор оптимального исходного домена
Метод использует модель многомерных пространственных признаков для анализа фенотипических характеристик (форма, цвет, текстура) различных фруктов. С помощью алгоритма кластеризации определяется наиболее подходящий исходный домен для перевода изображений на несколько целевых. В исследовании груши были выбраны как оптимальный исходный домен для цитрусовых, яблок и томатов.
Генерация синтетических данных
EasyDAM_V3 создаёт синтетические наборы данных с точной информацией о метках, используя:
- Перевод изображений фруктов на прозрачный фон.
- Детектор без привязки (anchor-free detector) для самообучения на псевдометках (pseudo-label self-learning). Этот подход эффективно работает с фруктами разного масштаба и формы.
Экспериментальная проверка
Валидация проводилась на целевых доменах: цитрусовые, яблоки и томаты. Процесс состоял из трёх этапов:
- Выбор оптимального исходного фрукта (груши) с помощью многомерного квантования признаков и пространственной реконструкции.
- Генерация изображений целевого домена с помощью модели CycleGAN на основе исходных фруктов.
- Обучение модели обнаружения фруктов на основе anchor-free detector с использованием созданных синтетических наборов данных.
Результаты показали, что EasyDAM_V3 успешно генерирует метки для целевых доменов с высоким средним показателем точности (average precision) около 90%.
Вывод
EasyDAM_V3 повышает применимость и адаптивность алгоритмов автоматической маркировки и представляет собой значительный шаг к созданию эффективных и экономичных решений для ИИ в сельском хозяйстве и управления "умными" садами.