Модель SAM повышает точность сегментации ягод винограда для управления виноградниками и селекции

Исследователи показали, что модель Segment Anything Model (SAM) точно идентифицирует отдельные ягоды на 2D-изображениях виноградных гроздей, достигнув высокой корреляции с ручным подсчетом (коэффициент детерминации Пирсона R² = 0.96). Метод сгенерировал более 150 000 масок ягод примерно с 3 500 изображений.

Результаты демонстрируют потенциал интеграции SAM в существующие системы обработки изображений на виноградниках для улучшения анализа архитектуры и компактности грозди. Это может привести к совершенствованию практик управления виноградниками и селекции за счет предоставления точных данных о количестве ягод и их пространственном расположении.

Архитектура и компактность грозди критически влияют на урожайность, качество и восприимчивость к болезням. Эти сложные признаки трудно точно измерить. Существующие методы, такие как визуальная оценка и компьютерное зрение, имеют ограничения в точности и масштабируемости.

В исследовании, опубликованном в Plant Phenomics 27 июня 2024 года, SAM был применен для сегментации ягод на 2D-изображениях без дополнительного обучения. Модель использовали на популяции из 387 лоз и 1935 гроздей, сгенерировав 215 090 масок. Для 99 лоз грозди снимали с четырех углов, получив 3431 изображение. После фильтрации 55 550 масок перекрывающихся или неправильно sized ягод осталось 153 939 корректных масок.

Среднее количество ягод на гроздь составило 44.87. Время обработки зависело от плотности сетки: сетка 32 x 32 точек занимала 55 секунд на CPU и 14 секунд на GPU на одно изображение. Увеличение до 62 x 62 точек увеличивало время обработки до 4 минут 45 секунд.

Автоматический подсчет ягод показал высокую корреляцию с ручным (R² = 0.93), но систематически занижал результат примерно на 50%. Это занижение было последовательным и корректировалось с помощью линейной регрессии, что повысило точность до скорректированного R² = 0.8723.

Предсказание размера ягод было более вариабельным, но также поддавалось линейной корректировке (скорректированный R² = 0.8457). Угол съемки значительно влиял на подсчет ягод, особенно для асимметричных гроздей, в то время как размер ягод был менее чувствителен. Методология продемонстрировала чувствительность к архитектурным особенностям грозди и генетической изменчивости, а также повторяемость для таких признаков, как количество ягод и компактность грозди.

Старший исследователь Диас-Гарсия отметил: «Мы подчеркнули критическую важность угла, под которым снимается гроздь, отметив его существенное влияние на подсчет ягод и оценку архитектуры. Мы предложили различные подходы, в которых информация о местоположении ягод облегчает расчет сложных признаков, связанных с архитектурой и компактностью грозди. Наконец, мы обсудили потенциал интеграции SAM в currently available pipelines для генерации и обработки изображений в условиях виноградника».

Таким образом, использование алгоритма SAM для точной сегментации ягод винограда на 2D-изображениях с последующей корректировкой систематического занижения на 50% с помощью линейной регрессии (скорректированный R² = 0.87) открывает возможности для точного и масштабируемого анализа гроздей в управлении виноградниками и селекционных программах.