Может ли языковая модель прочитать геном? Эта расшифровала мРНК для создания лучших вакцин
Тот же класс искусственного интеллекта, который создавал заголовки новостей, программируя софт и сдавая экзамены для адвокатов, научился читать другой вид текста — генетический код.
Этот код содержит инструкции для всех функций жизни и следует правилам, не unlike тем, что управляют человеческими языками. Каждая последовательность в геноме подчиняется сложной грамматике и синтаксису — структурам, порождающим смысл. Точно так же, как изменение нескольких слов может радикально изменить смысл предложения, небольшие вариации в биологической последовательности могут сильно повлиять на формы, которые эта последовательность кодирует.
Исследователи из Принстонского университета под руководством эксперта по машинному обучению Мэнди Ван используют языковые модели для анализа частичных геномных последовательностей и их оптимизации с целью изучения биологии и улучшения медицины. Эта работа уже ведется.
В статье, опубликованной 5 апреля в журнале Nature Machine Intelligence, авторы описывают языковую модель, которая использовала свои способности семантического представления для разработки более эффективной мРНК-вакцины, подобной тем, что используются для защиты от COVID-19.
Обнаружено в трансляции
Ученые используют простой способ описать поток генетической информации. Они называют это центральной догмой биологии. Информация движется от ДНК к РНК и затем к белкам. Белки создают структуры и функции живых клеток.
Матричная РНК, или мРНК, преобразует информацию в белки на этом последнем этапе, называемом трансляцией. Но мРНК интересна. Только ее часть содержит код для белка. Остальная часть не транслируется, но контролирует важные аспекты процесса трансляции.
Управление эффективностью производства белка — ключевой механизм работы мРНК-вакцин. Исследователи сосредоточили свою языковую модель именно там, на нетранслируемой области, чтобы увидеть, как можно оптимизировать эффективность и улучшить вакцины.
Обучив модель на небольшом разнообразии видов, исследователи сгенерировали сотни новых оптимизированных последовательностей и подтвердили эти результаты лабораторными экспериментами. Лучшие последовательности превзошли несколько ведущих эталонов для разработки вакцин, включая увеличение общей эффективности производства белка на 33%.
По словам исследователей, даже небольшое увеличение эффективности производства белка дает значительный импульс для новых терапевтических средств. Помимо COVID-19, мРНК-вакцины обещают защиту от многих инфекционных заболеваний и рака.
Ван, профессор электротехники и вычислительной техники и главный исследователь в этом исследовании, сказала, что успех модели также указывает на более фундаментальную возможность. Обучившись на мРНК нескольких видов, модель смогла расшифровать нуклеотидные последовательности и раскрыть нечто новое о регуляции генов. Ученые полагают, что регуляция генов, одна из самых основных функций жизни, хранит ключ к пониманию истоков болезней и нарушений. Языковые модели, подобные этой, могут предложить новый способ исследования.
В соавторах Ван — исследователи из биотехнологической компании RVAC Medicines, а также из Медицинской школы Стэнфордского университета.
Язык болезни
Новая модель отличается по степени, а не по виду, от больших языковых моделей, которые питают сегодняшние ИИ-чаты. Вместо обучения на миллиардах страниц текста из интернета их модель была обучена на нескольких сотнях тысяч последовательностей. Модель также была обучена включать дополнительные знания о производстве белков, включая структурную и энергетическую информацию.
Исследовательская группа использовала обученную модель для создания библиотеки из 211 новых последовательностей. Каждая была оптимизирована для желаемой функции, в первую очередь для повышения эффективности трансляции. Эти белки, такие как спайковый белок, на который нацелены вакцины против COVID-19, запускают иммунный ответ на инфекционное заболевание.
Предыдущие исследования создавали языковые модели для декодирования различных биологических последовательностей, включая белки и ДНК, но это была первая языковая модель, сфокусированная на нетранслируемой области мРНК. Помимо повышения общей эффективности, она также смогла предсказать, насколько хорошо последовательность будет выполнять различные связанные задачи.
Ван сказала, что настоящая проблема при создании этой языковой модели заключалась в понимании полного контекста доступных данных. Обучение модели требует не только сырых данных со всеми их особенностями, но и последствий этих особенностей. Если программа предназначена для фильтрации спама в электронной почте, каждое письмо, на котором она обучается, будет помечено как «спам» или «не спам». По ходу дела модель развивает семантические представления, которые позволяют ей определять, какие последовательности слов указывают на метку «спам». В этом и заключается смысл.
Ван сказала, что рассмотрение одного узкого набора данных и разработка модели на его основе недостаточно полезны для ученых-биологов. Ей нужно было сделать что-то новое. Поскольку эта модель работала на переднем крае биологического понимания, данные, которые она нашла, были разрозненными.
«Часть моего набора данных взята из исследования, где есть измерения эффективности, — сказала Ван. — Другая часть моего набора данных взята из другого исследования, которое измеряло уровни экспрессии. Мы также собрали неаннотированные данные из нескольких источников». Организация этих частей в одно связное и надежное целое — многогранный набор данных, который она могла бы использовать для обучения сложной языковой модели, — была огромной проблемой.
«Обучение модели — это не только объединение всех этих последовательностей, но и объединение последовательностей с метками, которые были собраны на сегодняшний день. Этого никогда не делалось раньше».
Статья «A 5' UTR Language Model for Decoding Untranslated Regions of mRNA and Function Predictions» была опубликована в Nature Machine Intelligence. Среди дополнительных авторов — Дан Ю, Юпэн Ли, Юэ Шен и Джейсон Чжан из RVAC Medicines; Ле Конг из Стэнфорда; а также Яньи Чу и Кайсюань Хуан из Принстона.