Новая архитектура глубокого обучения повышает эффективность улучшения изображений световой микроскопии

Исследователи из Центра перспективных системных исследований (CASUS) в HZDR и Центра молекулярной медицины Макса Дельбрюка разработали новую вычислительную модель для обработки микроскопических изображений. Модель Multi-Stage Residual-BCR Net (m-rBCR), основанная на уникальной архитектуре глубокого обучения, работает быстрее традиционных методов, соответствуя или превосходя их по качеству результата.

Модель применяет новый подход к деконволюции — вычислительно интенсивному методу, который улучшает контраст и разрешение цифровых изображений, полученных с помощью оптических микроскопов (широкопольных, конфокальных, трансмиссионных). Деконволюция уменьшает размытие, вызванное оптической системой микроскопа.

Традиционные методы явной деконволюции основаны на знании функции рассеяния точки (PSF), описывающей, как точечный источник света в образце размывается системой. Однако PSF часто недоступна или неточна, что делает «слепую» деконволюцию сложной задачей.

m-rBCR использует другой подход — нейросеть, основанную на физических принципах (physics-informed neural network), которая работает в частотной, а не в пространственной области представления изображения. Это особенно эффективно для микроскопических изображений, которые часто монохроматичны (например, в флуоресцентной микроскопии).

• Преимущества модели:

  • Решает задачу деконволюции с меньшим количеством параметров по сравнению с другими современными архитектурами глубокого обучения.
  • Продемонстрировала высокую производительность на четырёх наборах данных (двух смоделированных и двух реальных).
  • Имеет короткое время выполнения и превосходит как методы явной деконволюции, так и последние модели на основе глубокого обучения.

«Эта архитектура использует недооценённый способ обучения представлений, выходящий за рамки классических подходов свёрточных нейронных сетей», — отмечает соавтор работы профессор Миша Кудряшев. Модель, имея «лёгкую» архитектуру, бросает вызов тренду на создание всё более крупных и требовательных к вычислительным ресурсам моделей.

Ранее группа Якимовича представила модель на основе генеративного искусственного интеллекта (Conditional Variational Diffusion Model), которая показывает ещё более высокие результаты. Однако для её работы требуются большие объёмы обучающих данных и значительные вычислительные ресурсы (GPU). m-rBCR лишена этих ограничений, оставаясь очень эффективной, что делает её перспективной для широкого применения в научном сообществе.