Виртуальная модель плодовой мушки может имитировать сенсорную навигацию

Понимание того, как мозг управляет движением, — фундаментальный вопрос нейробиологии. Мозг плодовой мушки Drosophila melanogaster меньше и проще для картирования, что позволяет детально изучать, как её нервная система управляет поведением.

Чтобы понять, как нервная система контролирует действия, исследователи из группы Павана Рамди в EPFL создали симулированную реальность, где виртуальная муха может действовать и реагировать, как настоящая. Исследование опубликовано в журнале Nature Methods.

Эта программа, известная как NeuroMechFly v2, реализует нейромеханическую модель, которая выходит за рамки базовых моторных функций. Интегрируя зрительное и обонятельное восприятие, сложный рельеф и тонкую моторную обратную связь, NeuroMechFly v2 симулирует, как плодовая мушка перемещается в своей среде, реагируя на визуальные образы, запахи и препятствия.

Работа Рамди сосредоточена на цифровом воспроизведении принципов, лежащих в основе моторного контроля Drosophila. В 2019 году его группа опубликовала DeepFly3D — ПО, использующее глубокое обучение для отслеживания движений ног мухи на основе изображений с нескольких камер. В 2021 году команда представила LiftPose3D — метод реконструкции 3D-поз животных по изображениям с одной камеры. Эти усилия дополнила публикация 2022 года — NeuroMechFly, первый морфологически точный цифровой «двойник» Drosophila.

Во второй итерации NeuroMechFly исследователи добавили детализированные функции, имитирующие реальную анатомию и физиологию мухи. Например, они тщательно обновили углы ног и суставов, чтобы лучше соответствовать биомеханике движений настоящей мушки. «Мозг» модели теперь может обрабатывать визуальную и обонятельную информацию через виртуальные глаза и антенны, что даёт ей сенсорный опыт, близкий к опыту реальной плодовой мушки.

Эта установка позволяет NeuroMechFly v2 симулировать различные стратегии управления для реальных задач, таких как ходьба по неровной поверхности или поворот в ответ на запахи и визуальные сигналы. Команда продемонстрировала реалистичное поведение мухи в разных условиях. Например, модель может визуально отслеживать движущийся объект или двигаться к источнику запаха, избегая препятствий на пути.

NeuroMechFly также позволяет исследователям выводить нейронную активность в мозге на основе опыта мухи в виртуальном мире. «Интегрируя NeuroMechFly v2 с недавно опубликованной вычислительной моделью зрительной системы мухи, исследователи могут считывать не только то, что видит муха в симулированной среде, но и то, как могут реагировать реальные нейроны», — говорит Сибо Ван-Чен, руководивший исследованием.

Имея доступ к этой нейронной активности, учёные смоделировали, как муха может преследовать другую муху — например, во время ухаживания — биологически правдоподобным способом. Это стало возможным благодаря иерархической системе управления в модели, которая позволяет функциям «мозга» более высокого уровня взаимодействовать с моторными функциями низкого уровня — такая организация имитирует то, как реальные животные обрабатывают сенсорный ввод и управляют своим телом.

Кроме того, исследователи могут использовать NeuroMechFly v2 для изучения того, как мозг интегрирует сенсорные сигналы для поддержания осознания состояния животного. Чтобы продемонстрировать это, команда Рамди воспроизвела способность мухи использовать сигналы обратной связи от движений ног для отслеживания своего местоположения — поведение, называемое путевой интеграцией.

Эта функция позволяет симулированной мухе «знать», где она находится, даже когда её визуальный ввод ограничен. Такой тип замкнутой сенсорной обработки является отличительной чертой биологического интеллекта и важной вехой для нейроинженерии.

В целом, NeuroMechFly v2 позволяет исследователям изучать, как мозг контролирует ключевые формы поведения, используя вычислительные модели. Это открывает путь к более глубокому пониманию координации «мозг–тело», особенно для видов со сложными сенсомоторными системами.

В будущем эта модель может послужить шаблоном для проектирования роботов, которые ориентируются с помощью сенсорных сигналов — например, отслеживают запахи или корректируют движения для стабилизации визуальной картинки, подобно реальным животным, исследующим свою среду.

Улучшая модели машинного обучения, которые управляют этими симуляциями, исследователи также могут понять, как животный интеллект может проложить путь для ИИ-систем, которые будут более автономными, надёжными и отзывчивыми к своему окружению.