Робот-сборщик использует ИИ-зрение и мягкие захваты для сбора скрытой клубники

Клубника — нежный и сложный для сбора урожай: её легко повредить, и она часто скрыта под листьями. Это создаёт проблемы для учёных, разрабатывающих роботизированных сборщиков. Команда под руководством Университета штата Вашингтон (WSU) создала робота, который сочетает систему компьютерного зрения на базе искусственного интеллекта, мягкие силиконовые «пальцы» и вентилятор, аккуратно отодвигающий листья, чтобы добраться до скрытых ягод.

Эксперименты в лаборатории и в открытом грунте показали, что робот в среднем правильно определял клубнику в 80% случаев, а классифицировал, скрыта ли ягода, — в 93% случаев.

Разработка, создание и испытания этого робота — шаг к коммерческой жизнеспособности роботизированной уборки урожая в открытом грунте. Результаты работы были опубликованы в июле в журнале Computers and Electronics in Agriculture.

Ведущим автором стал Цзысюань Хэ, который завершил эту работу и получил докторскую степень в WSU, прежде чем занять позицию постдокторанта в Орхусском университете в Дании. Соавторами выступили Манодж Карки, бывший профессор WSU, изучающий автоматизацию в сельском хозяйстве и недавно перешедший в Корнеллский университет, и Цинь Чжан, заслуженный профессор и бывший директор Центра точного и автоматизированного сельского хозяйства WSU в Проссере.

Рынок клубники стоимостью $20 млрд, как ожидается, будет расти на 6% в год в течение следующего десятилетия, но отрасль страдает от нехватки рабочей силы, что увеличивает затраты и потенциально ограничивает сбор урожая.

Университетские и частные исследователи годами работали над технологиями роботизированного сбора, но попытки сделать их коммерчески работоспособными пока не увенчались успехом. Одна из проблем: многие ягоды на растениях клубники скрыты под листьями, что затрудняет их идентификацию и сбор для роботизированных систем.

«Подобные новые подходы необходимы для улучшения доступности плодов и эффективности сбора, а следовательно, и для повышения практической применимости роботов-сборщиков», — сказал Карки.

Большая часть предыдущих работ по роботизированному сбору была сосредоточена на ягодах, выращенных в теплицах, или на «настольных» системах, где ягоды свисают ниже растения. Это уменьшает проблему заслонения и позволяет более простым роботам успешно собирать урожай.

Команда WSU разработала более сложного сборщика для условий открытого грунта. Робот — четырёхколёсная тележка с платформой для компьютерной системы, которая движется над грядкой, — использует систему зрения, применяющую методы ИИ для поиска плодов.

«У нас есть 3D-камера, которая делает два изображения — одно цветное, а другое показывает глубину, — сказал Цзысюань Хэ. — Затем мы используем модель машинного обучения, чтобы найти клубнику на основе информации о признаках плода, сопоставленной с информацией о глубине, и тогда мы знаем её местоположение».

Робот рассчитывает, как манипуляторы и захваты должны подойти и сорвать ягоду. Ключевая особенность — система вентиляторов, которая направляет постоянный поток воздуха через трубки, расположенные рядом с мягкими силиконовыми захватами.

Воздушные потоки отодвигают листья, позволяя захватам дотянуться до клубники. Эффективность сбора системы была значительно улучшена благодаря вентиляторам. В тестах без вентиляторов роботы собрали 58% спелых ягод; с использованием вентилятора этот показатель вырос до 74%.

Повышение эффективности и производительности системы важно для её работы в полевых условиях. В частности, необходимо увеличить скорость — в среднем роботу требовалось 20 секунд, чтобы идентифицировать и сорвать ягоду с использованием системы вентиляторов.

Цзысюань Хэ отметил, что система вентиляторов может быть полезна при разработке роботов-сборщиков для других культур, где заслонение является проблемой, например, для винограда. По его словам, в обозримом будущем роботы-сборщики вряд ли полностью заменят людей — более вероятно, что производители клубники будут использовать роботизированные системы для дополнения человеческого труда.

«Сейчас он не заменит полностью ручной труд, но может стать очень перспективным дополнением, когда в поле не хватает людей», — сказал он.