ИИ-агент повышает точность анализа наборов генов с помощью экспертных баз данных

Исследователи из Национальных институтов здравоохранения (NIH) разработали искусственный интеллект (ИИ) на основе большой языковой модели (LLM), который создаёт более точные и информативные описания биологических процессов и их функций при анализе наборов генов, чем существующие системы. Работа опубликована в журнале Nature Methods.

Система под названием GeneAgent проверяет свои первоначальные предсказания (утверждения) на точность, сверяя их с информацией из авторитетных, курируемых экспертами баз данных, и возвращает отчёт о верификации с детализацией успехов и неудач. ИИ-агент помогает исследователям интерпретировать данные высокопроизводительного молекулярного анализа и выявлять релевантные биологические пути или функциональные модули, что может привести к лучшему пониманию того, как различные заболевания и состояния влияют на группы генов по отдельности и вместе.

Контент, генерируемый ИИ, создаётся LLM, обученными на огромных массивах текстовых данных из интернета. LLM используют эти данные для распознавания паттернов и предсказания следующего слова в предложении. Однако LLM не предназначены для проверки истинности, поэтому сгенерированный ИИ контент может быть ложным, вводящим в заблуждение или сфабрикованным — это явление называют галлюцинациями ИИ. Кроме того, LLM склонны к циклическим рассуждениям — проверке своих результатов на основе собственных же данных, — что заставляет их звучать более уверенно, даже когда информация ложна.

Предотвращение галлюцинаций ИИ критически важно при использовании LLM для анализа наборов генов — процесса генерации коллективных функциональных описаний сгруппированных генов и их потенциальных взаимодействий. Предыдущие исследования, в которых LLM обучали отвечать на геномные вопросы или суммировать биологические процессы в заданном наборе генов, не решали явно проблему галлюцинаций в генерируемом контенте.

GeneAgent смягчает эту проблему, самостоятельно сравнивая свои утверждения с устоявшимися знаниями, собранными во внешних, курируемых экспертами базах данных. Исследовательская группа сначала протестировала GeneAgent на 1106 наборах генов из существующих баз данных с известными функциями и названиями процессов.

Для каждого набора генов GeneAgent сначала генерировал первоначальный список функциональных утверждений. Затем, независимо, его модуль само-верификации сверял эти утверждения с курируемыми базами данных и создавал отчёт о проверке, в котором отмечалось, было ли каждое утверждение поддержано, частично поддержано или опровергнуто.

Чтобы наилучшим образом определить точность шага само-верификации, исследователи привлекли двух экспертов-людей для ручного обзора 10 случайно выбранных наборов генов с совокупными 132 утверждениями и оценки того, были ли отчёты о само-верификации GeneAgent правильными, частично правильными или неправильными.

Эксперты определили, что 92% решений, сгенерированных GeneAgent в отчётах о само-верификации, были правильными. Это указывает на высокую производительность в способности проводить само-проверку, особенно по сравнению с GPT-4. Детальный обзор подтвердил эффективность модели в минимизации галлюцинаций и генерации более надёжных аналитических описаний.

Исследовательская группа также изучила практическое применение GeneAgent на наборах генов животных-моделей. При применении к семи новым наборам генов, полученным из клеточных линий меланомы мыши, GeneAgent смог предложить ценную информацию о новых функциональностях для конкретных генов. Это может означать открытие новых знаний, например, о потенциальных новых мишенях для лекарств против таких заболеваний, как рак.

Хотя LLM, такие как GeneAgent, всё ещё ограничены информацией, которую они могут использовать, и неспособны рассуждать как люди, способность GeneAgent к самостоятельной проверке фактов показывает значительный потенциал в смягчении галлюцинаций ИИ.