DomAda-FruitDet: Доменно-адаптивная модель детекции фруктов без якорей для автоматической разметки

В современной фруктовой индустрии приложения для детекции фруктов на основе глубокого обучения стали неотъемлемой частью для задач прогнозирования урожайности и автоматизированного сбора. Основным узким местом остается трудоемкий процесс разметки обучающих данных.

Ранее был представлен метод EasyDAM, использующий генеративно-состязательные сети (GAN) для преодоления разрыва между размеченными данными исходного домена и немаркированными изображениями целевого домена. Однако сохраняется проблема значительного «доменного разрыва» (domain gap) между синтетическими обучающими данными и реальными, особенно в масштабе объектов переднего плана и несоответствиях фона.

В январе 2024 года в журнале Plant Phenomics была опубликована статья, представляющая модель DomAda-FruitDet. Её цель — усовершенствовать дизайн модели детекции для снижения доменного разрыва и повышения обобщающей способности моделей для точной и эффективной детекции в «умных» садах.

Ключевые особенности модели:

  • Доменная адаптация переднего плана: Использует структуру на основе двойного прогнозирующего слоя для генерации адаптивных ограничивающих рамок (bounding boxes).
  • Доменная адаптация фона: Применяет стратегию распределения выборок (sample allocation) для снижения разрыва в фоне.

Результаты тестирования на различных наборах данных показали высокую среднюю точность (average precision):

Эффективность модели была подтверждена в экспериментах с наборами данных EasyDAMv1 и EasyDAMv2, содержащими как синтетические, так и реальные изображения фруктов. Модель способна адаптивно генерировать высококачественные метки даже при значительных доменных расхождениях.

Вывод: DomAda-FruitDet существенно сокращает трудозатраты и время на разметку данных, открывая путь для более точного и эффективного внедрения технологий «умного» садоводства. Преодоление проблемы доменного разрыва повышает обобщаемость и применимость моделей глубокого обучения в сельском хозяйстве.