Смещение данных снижает надёжность ИИ-моделей для прогнозирования антимикробной резистентности
Исследователи из Института Гельмгольца по исследованию инфекций на основе РНК (HIRI) показали, что модели машинного обучения, предсказывающие устойчивость бактерий к антибиотикам, часто менее надёжны, чем предполагается. Их работа опубликована в журнале PLOS Biology.
Вместо традиционного культивирования бактерий лаборатории всё чаще анализируют генетический материал, чтобы выявить устойчивость. Компьютерные программы, которые «учатся» на данных секвенирования, — многообещающий способ предсказать эффективность антибиотиков. Однако эти технологии имеют недостатки: часто недооценивается проблема допущений, заложенных в самих методах.
Исследователи из HIRI совместно с Университетом Бирмингема (Великобритания) продемонстрировали, что эти допущения могут приводить к излишне оптимистичным оценкам работы прогноза и искажать его значимость.
Большинству классических методов машинного обучения требуются независимо и одинаково распределённые тренировочные данные. Однако с бактериальными образцами это не так: близкородственные бактерии имеют много общих характеристик.
Во время эпидемии быстро преобладают «успешные» варианты. Если они быстро размножаются, в том числе из-за механизмов защиты от антибиотиков, то автоматически распространяются и другие характеристики — даже не связанные с резистентностью. Это может создать ложное впечатление, что определённые генетические черты напрямую связаны с устойчивостью, хотя на деле они лишь сопутствуют из-за родства патогенов. Алгоритмы учатся предсказывать родственные штаммы, а не саму резистентность.
24 000 геномов пяти видов бактерий
«В этом проекте мы проанализировали более 24 000 геномов пяти основных болезнетворных видов бактерий», — говорит Ларс Барквист, учёный из HIRI и профессор Университета Торонто (Канада). Барквист инициировал исследование и является ответственным автором публикации.
Изучались бактерии:
- Кишечный и мочеполовой патоген Escherichia coli
- Оппортунистический патоген Klebsiella pneumoniae
- Кишечный патоген Salmonella enterica
- Комменсал кожи и оппортунистический патоген Staphylococcus aureus
- Основная причина внебольничной пневмонии Streptococcus pneumoniae
Для этих патогенов обычные методы машинного обучения дают излишне позитивную картину того, насколько хорошо работает прогноз резистентности.
«Мы хотели исследовать, как смещённая выборка влияет на производительность инструментов машинного обучения для прогнозирования резистентности», — говорит Барквист. Исследователи смоделировали сценарии, где резистентность переплетена с бактериальными семейными деревьями. Они показали, что традиционные подходы могут приводить к чрезмерно оптимистичным результатам, которые нельзя обобщить.
«Когда модели оцениваются более реалистично — с гарантией, что тренировочные и тестовые бактерии не из одного генетического семейства, — точность падает, иногда резко», — отмечает первый автор Янъин Ю, защитившая докторскую диссертацию в лаборатории Барквиста.
Эти результаты показывают, что модели, не учитывающие эволюционные связи между бактериями, могут не улавливать истинные сигналы резистентности, что ограничивает их способность делать точные прогнозы для новых, ранее не встречавшихся штаммов. Следовательно, такие методы вряд ли смогут обеспечить надёжное руководство для прецизионного лечения при появлении новых патогенных линий.
«Многие предыдущие оценки методов, вероятно, были слишком оптимистичны», — заключает Барквист. «Для разработки надёжных инструментов прогнозирования антибиотикорезистентности необходимо учитывать эволюционные взаимосвязи бактерий», — отмечает Ю.
Результаты исследования дают ценные отправные точки для разработки улучшенных методов тестирования и наборов данных и могут служить руководством для будущих моделей и систем мониторинга.