Новая технология снижает потребности и затраты на хранение геномных данных

Новая технология сжатия компьютерных данных Genomic SQueeZ (G-SQZ), разработанная в Институте трансляционной геномики (TGen), позволит генетическим исследователям хранить, анализировать и передавать огромные объемы данных, занимая меньше места и с меньшими затратами.

Метод кодирования, лежащий в основе G-SQZ, созданный специально для данных геномного секвенирования, и его программное обеспечение описаны в статье, опубликованной в журнале Bioinformatics.

Тесты показывают, что G-SQZ может сжимать данные до 80%, сохраняя при этом относительный порядок данных и позволяя осуществлять выборочный доступ к содержимому. Это может сэкономить исследователям по всему миру миллионы долларов.

Планируется сделать программу G-SQZ свободно доступной для исследовательского и академического использования, а также изучить коммерческие возможности в области хранения и обработки геномных данных. TGen подал заявку на патент для технологии G-SQZ.

"Затраты на хранение и обработку данных становятся важным фактором при планировании исследований, поскольку исследования с использованием высокопроизводительного геномного секвенирования продолжают генерировать все больше данных. G-SQZ может сэкономить отдельным институтам сотни тысяч долларов в год на затратах на хранение", — сказал доктор Вайбхав Тембе, ведущий автор статьи и старший вычислительный ученый TGen.

Современный анализ больших объемов данных геномного секвенирования требует огромных вычислительных мощностей. Эти данные критически важны для изучения генов, входящих в 3-миллиардную последовательность букв ДНК — полный геном человека. Такой анализ позволяет исследователям выявлять геномные компоненты, которые либо предотвращают, либо способствуют таким заболеваниям, как рак, диабет и болезнь Альцгеймера.

Сегодняшний анализ геномных последовательностей требует обработки терабайтов данных. Крупные центры секвенирования планируют или уже устанавливают хранилища петабайтного масштаба (1 ПБ = 1000 ТБ).

Преимущества для других институтов

Доктор Эдвард Су, директор по информационным технологиям TGen, назвал G-SQZ значительным прорывом в хранении и анализе постоянно растущих данных геномного секвенирования.

"Как некоммерческий исследовательский институт, стремящийся развивать науку на благо общества, мы в TGen гордимся возможностью делиться аспектами этой технологии с другими некоммерческими исследовательскими институтами, особенно в условиях ужесточения бюджетов", — сказал доктор Су.

Джеймс Лоуи, директор по высокопроизводительным биовычислениям TGen, отметил, что снижение затрат на хранение геномных данных может в конечном итоге привести к цепной реакции снижения затрат на здравоохранение для медицинских учреждений и, в конечном счете, для пациентов.

Программное обеспечение доступно для загрузки по адресу: http://public.tgen.org/sqz.

Технология возникла из исследований нового поколения

Мотивацией доктора Тембе для создания G-SQZ стали проблемы, связанные с хранением, обработкой, разбором и передачей огромных данных секвенирования нового поколения (Next-Generation Sequencing), которые в основном хранятся в форматах обычного текста.

"Сгенерировать эти данные — одно дело. Совсем другое — хранить, запрашивать и управлять ими эффективным образом, минимизируя узкие места в анализе данных и ускоряя процесс открытий", — сказал доктор Тембе.

Подход G-SQZ представляет собой новое применение кодирования Хаффмана — идеи, впервые разработанной в 1950-х годах, которая использует более короткие коды для наиболее часто встречающихся фрагментов информации.

Решение доктора Тембе специфично для данных геномного секвенирования. Помимо анализа частоты букв ACGT, составляющих ДНК, G-SQZ также может кодировать аннотационную информацию, включая качество данных, а также ошибочные записи, такие как неидентифицированные основания.

Система индексации, используемая в G-SQZ, позволяет получать доступ через регулярные интервалы (например, каждую миллионную точку данных), поэтому всю информацию не нужно декодировать с самого начала.

"Недостаточно просто сжать информацию. Сжатое представление должно позволять быстрое извлечение и запросы", — сказал доктор Тембе. "С этой целью G-SQZ был разработан как эффективный практический подход, а не теоретически оптимальный алгоритм сжатия".

Еще более быстрые улучшения на горизонте

Доктор Тембе работает над улучшением текущей конструкции для поддержки того, что он называет "параллельными вычислениями".

Поскольку сжатие G-SQZ сохраняет данные упорядоченными и проиндексированными, сжатые данные можно разбить на более мелкие "фрагменты", что позволит нескольким процессорам одновременно декодировать и анализировать разные части одного и того же файла. Например, если файл проиндексирован в 1000 местах, его можно загрузить в суперкомпьютер, позволив 1000 процессорам анализировать данные одновременно, ускоряя получение результатов.

"В то время как индексированное и сжатое представление готово, функциональность параллельных вычислений проходит фазу тестирования", — сказал доктор Тембе. "Но именно к этому все и идет. Секвенирование сотен миллиардов оснований за один запуск теперь реальность. Реальное влияние G-SQZ заключается в хранении, передаче и обработке данных геномного секвенирования, где все еще существует значительный потенциал для улучшений".