Компьютерное зрение и нейросети для выявления болезней сельхозкультур

Исследователи из Сколтеха и СПбГУАП представили работу, в которой предложили альтернативный метод обнаружения гнилых и заплесневелых яблок на послеуборочной стадии — во время хранения и доставки потребителю. Система компьютерного зрения будет определять различные дефекты на ранней стадии, когда они могут быть невидимы для человеческого глаза. Статья опубликована в журнале Entropy.

Несмотря на автоматизацию, качество фруктов и овощей на послеуборочной стадии, особенно при сортировке, в основном контролируется человеком. При доставке продукция может загнивать или повреждаться. Некоторые очаги гнили можно упустить, а специалист не всегда доступен для определения типа заболевания или повреждения.

На примере яблок команда изучила два типа дефектов: гниль и плесень. Например, если яблоки упакованы плотно, они ударяются друг о друга и быстрее загнивают в этих местах. Плесень появляется при грубом нарушении условий хранения или если её пропустили во время сбора урожая.

Для обнаружения дефектов специалисты используют инфракрасный свет, но, по мнению исследователей, это требует дорогих и не всегда удобных мульти- и гиперспектральных устройств. Цель исследования — предложить альтернативу таким камерам, используя модели на основе глубокого обучения, которые могут генерировать инфракрасные изображения. Авторы подчеркивают, что не стремились заменить традиционные методы, а лишь предложили более доступный и инновационный способ.

«Мы использовали два типа нейронных сетей: генеративно-состязательную сеть (GAN) и сверточную нейронную сеть (CNN). Первая позволяет преобразовывать один тип изображения в другой. В нашем случае мы получили инфракрасные изображения из RGB-фотографий видимого спектра. Но этого недостаточно для обнаружения дефектов, поскольку GAN не классифицируют изображения. Здесь вступают в работу CNN. Они помогают обнаруживать и сегментировать объекты нужных классов на фотографиях», — пояснил ведущий автор исследования Никита Стасенко, младший научный сотрудник Агроцентра Сколтеха.

Эксперимент состоял из нескольких этапов. Команда начала со сбора и обработки данных с видимых изображений. Для этого авторы отобрали 16 яблок четырех разных сортов. Яблоки прошли разную обработку: без обработки, тщательно вымытое и вытертое, механически поврежденное и шоково-замороженное при температуре ниже −20°C.

«При сборе данных мы проверили несколько моделей на основе GAN — Pix2Pix, CycleGAN и Pix2PixHD — и сравнили сгенерированные инфракрасные изображения с оригинальными. Согласно метрикам качества, изображения, сгенерированные Pix2PixHD, оказались максимально близки к оригинальным», — добавил Никита Стасенко.

На втором этапе использовалась сверточная нейронная сеть Mask R-CNN. В предыдущих исследованиях эта модель показала наибольшую эффективность. Для её обучения команда собрала другой набор данных из инфракрасных изображений и аннотировала их: пометила здоровые яблоки и яблоки с участками гнили и плесени.

На третьем этапе авторы использовали Jetson Nano — специальную встраиваемую систему, которая позволяет запускать обученные нейронные сети. В будущем эта система ляжет в основу реального устройства для обнаружения дефектов сельхозкультур. Также команда планирует масштабировать результаты на другие виды культур и протестировать другие нейросетевые модели.