Использование стандартной RGB-камеры и ИИ для получения данных о растительности

Аэрофотосъёмка — ценный компонент точного земледелия, предоставляющий фермерам важную информацию о здоровье и урожайности культур. Обычно изображения получают с помощью дорогой мультиспектральной камеры, установленной на дрон. Однако новое исследование Университета Иллинойса и Университета штата Миссисипи (MSU) показывает, что снимки со стандартной красно-зелёно-синей (RGB) камеры в сочетании с глубоким обучением ИИ могут предоставить эквивалентные инструменты для прогнозирования урожая за малую долю стоимости.

Мультиспектральные камеры предоставляют цветовые карты, отображающие растительность, чтобы помочь фермерам следить за здоровьем растений и выявлять проблемные участки. Вегетационные индексы, такие как Нормализованный разностный вегетационный индекс (NDVI) и Нормализованный разностный индекс красного края (NDRE), отображают здоровые участки зелёным цветом, а проблемные — красным.

«Обычно для этого нужна камера ближнего инфракрасного диапазона (NIR), которая стоит около 5000 долларов. Но мы показали, что можем обучить ИИ генерировать изображения, подобные NDVI, используя RGB-камеру, прикреплённую к недорогому дрону, что значительно снижает стоимость», — говорит Гириш Чоудхари, соавтор статьи.

Для этого исследования команда собрала аэрофотоснимки полей кукурузы, сои и хлопка на разных стадиях роста с помощью мультиспектральной и RGB-камеры. Они использовали нейронную сеть Pix2Pix, предназначенную для преобразования изображений, чтобы переводить RGB-изображения в цветовые карты NDVI и NDRE с красными и зелёными областями. После обучения сети на большом количестве мультиспектральных и обычных снимков они протестировали её способность генерировать изображения NDVI/NDRE из другого набора обычных изображений.

«В фотографиях есть индекс отражательной зелёности, который указывает на эффективность фотосинтеза. Он немного отражается в зелёном канале и сильно — в ближнем инфракрасном канале. Но мы создали сеть, которая может извлекать его из зелёного канала, обучаясь на NIR-канале. Это означает, что нам нужен только зелёный канал вместе с другой контекстной информацией, такой как красные, синие и зелёные пиксели», — объясняет Чоудхари.

Чтобы проверить точность изображений, сгенерированных ИИ, исследователи попросили группу специалистов по сельскому хозяйству просмотреть парные изображения одних и тех же участков, сгенерированные ИИ или сделанные мультиспектральной камерой. Специалисты указали, могут ли они определить, какое изображение является настоящим мультиспектральным, и заметили ли они какие-либо различия, которые повлияли бы на их принятие решений.

Эксперты не обнаружили заметных различий между двумя наборами изображений и указали, что сделали бы аналогичные прогнозы на основе обоих. Команда также проверила сравнение изображений с помощью статистических процедур, подтвердив, что между ними практически нет измеримых различий.

Джоби Чарнеки, соавтор статьи, отмечает, что это не означает, что два набора изображений идентичны.

«Хотя мы не можем сказать, что изображения предоставят одинаковую информацию при всех условиях, в данном конкретном случае они позволяют принять схожие решения. Отражение в ближнем инфракрасном диапазоне может быть критически важным для некоторых решений, связанных с растениями. Однако в данном конкретном случае интересно, что наше исследование показывает, что вы можете заменить дорогую технологию недорогим искусственным интеллектом и всё равно прийти к тому же решению», — объясняет она.

Вид с воздуха может предоставить информацию, которую трудно получить с земли. Например, участки, повреждённые штормом, или дефицит питательных веществ могут быть не видны на уровне глаз, но легко обнаруживаются с воздуха. Фермеры с соответствующими разрешениями могут сами управлять дронами или нанять частную компанию. В любом случае цветовые карты предоставляют важную информацию о здоровье урожая, необходимую для принятия управленческих решений.

Программное обеспечение ИИ и процедуры, использованные в исследовании, доступны для компаний, которые хотят внедрить его или расширить использование, обучив сеть на дополнительных наборах данных.

«У ИИ большой потенциал для снижения затрат, что является ключевым фактором для многих применений в сельском хозяйстве. Если вы можете сделать дрон за 600 долларов более полезным, то он станет доступен всем. А информация поможет фермерам повысить урожайность и лучше заботиться о своей земле», — заключает Чоудхари.

Статья «NDVI/NDRE prediction from standard RGB aerial imagery using deep learning» опубликована в журнале Computers and Electronics in Agriculture.