Бенчмаркинг вычислительных методов для метагеномов
Микробы — невидимые силы, регулирующие ключевые экологические процессы, например, углеродный цикл, но большинство из них остаются неизученными. Более десяти лет Объединённый институт генома Министерства энергетики США (DOE JGI) помогает исследователям изучать некультивируемые микроорганизмы с помощью метагеномики и разработки вычислительных инструментов. Однако для анализа метагеномов (сборки, бининга контигов и таксономического профилирования) существует множество вычислительных инструментов, но не было консенсуса по оценке их эффективности.
2 октября 2017 года в Nature Methods были опубликованы результаты первого в своём роде сообществом организованного бенчмаркинга вычислительных инструментов для метагеномов — Critical Assessment of Metagenome Interpretation (CAMI) Challenge.
Проблема и цель CAMI
Исследователям сложно выбрать подходящую программу для конкретного набора данных, так как методы оценки в статьях разработчиков сильно различаются. CAMI стремится изменить это, вовлекая сообщество в определение стандартов и лучших практик для оценки.
Организация и данные для бенчмаркинга
Вызов CAMI проходил в течение трёх месяцев в 2015 году. Для оценки инструментов организаторы создали 3 симулированных набора метагеномных данных, используя:
- Более 300 черновых геномов бактериальных и архейных изолятов, секвенированных и собранных DOE JGI в рамках проекта Genomic Encyclopedia of Bacteria and Archaeal.
- Примерно такое же количество геномов из Института Макса Планка (Кёльн, Германия), а также циркулярные элементы и вирусы.
Наборы данных включали:
- Одиночный образец объёмом 15 млрд пар оснований (Gb).
- Набор данных на 40 Gb, содержащий 40 геномов и 20 циркулярных элементов.
- Временной ряд на 75 Gb из пяти образцов, включающий сотни геномов и циркулярных элементов.
Участие и оценка
В Challenge зарегистрировалось более 40 команд. Организаторы получили 215 представленных результатов от 25 программ со всего мира, но только 17 команд согласились на публикацию своих реализаций.
Инструменты оценивались в 3 категориях:
- Сборщики (ассемблеры) — полдюжины программ оценивались на сборке геномных последовательностей из технологий короткого чтения.
- Биннеры геномов — 5 геномных и 4 таксономических бинера оценивались по критериям, включая эффективность восстановления отдельных геномов.
- Таксономические профилировщики — 10 профилировщиков с различными настройками параметров оценивались по точности предсказания идентичности и относительной численности микробов и циркулярных элементов.
Результаты бенчмаркинга доступны на https://data.cami-challenge.org/results.
Будущее инициативы
CAMI — это продолжающаяся инициатива. Организаторы уже планируют будущие задачи по бенчмаркингу, например, для оценки методов работы с технологиями длинного чтения (long read). Они приглашают всех заинтересованных присоединиться к работе по предоставлению всестороннего обзора производительности вычислительного инструментария метагеномики.