Нейросетевая модель NeuraLeaf создаёт цифровые двойники листьев растений

Исследователи из Университета Осаки разработали компьютерную графическую модель NeuraLeaf, способную представлять широкое разнообразие видов растений и их деформации с помощью единой унифицированной модели. Этот инновационный подход использует глубокое обучение, чтобы преодолеть ограничения традиционного ручного моделирования.

Создание реалистичных CG-моделей листьев всегда было сложной задачей. Листья растений демонстрируют огромное разнообразие форм и часто подвергаются деформациям из-за роста, факторов окружающей среды или болезней. Традиционные методы требовали ручного создания отдельных моделей для каждого вида и типа деформации.

Новый метод использует глубокое обучение, обученное на комбинации существующих наборов данных 2D-изображений листьев и нового набора 3D-данных, фиксирующих различные деформации листьев. NeuraLeaf разделяет базовую форму листа (которая варьируется между видами) и его 3D-деформации, такие как увядание или скручивание. Это позволяет модели точно представлять как видовые характеристики, так и динамические изменения формы листа с помощью различных параметров.

Возможность точно фиксировать и отслеживать детальные изменения формы листа имеет важное значение для сельского хозяйства. Подгоняя модель NeuraLeaf под реальные наблюдения, исследователи могут с беспрецедентной точностью отслеживать рост и здоровье отдельных растений. Это может улучшить прогнозирование роста, обеспечить раннее обнаружение болезней и оптимизировать управление ресурсами в сельском хозяйстве. Кроме того, NeuraLeaf может стать ценным инструментом в селекции растений и научных исследованиях.

Доктор Фумио Окура, руководивший исследованием, заявляет: «Эта работа является частью нашего проекта «PlantTwin», направленного на создание цифровых двойников растений. Мы считаем, что эта технология революционизирует сельское хозяйство и науку о растениях, позволив проводить симуляцию роста, оценку селекции и более глубокое понимание морфологии растений».

Результаты исследования доступны на сервере препринтов arXiv, и работа была принята в качестве highlight-доклада на конференции IEEE/CVF International Conference on Computer Vision (ICCV) 2025.