Data mining applied to scholarly publications to finally reveal Earth's biodiversity

Несмотря на то, что около миллиона видов находятся под угрозой исчезновения, мы до сих пор не знаем, сколько всего видов существует на Земле. Вся совокупность знаний о биоразнообразии содержится примерно в 500 миллионах страниц научных публикаций и десятках миллионов иллюстраций из более чем 2000 музеев и институтов по всему миру. Однако большая часть этих данных не доступна в цифровом виде и не может быть обработана машинами, так как публикуется в виде простого текста и PDF.

Проект Biodiversity Literature Repository (BLR) — совместная инициатива Plazi, Pensoft и Zenodo (CERN) — решает эту проблему. Он использует алгоритмы data mining для обнаружения, извлечения и обогащения данных (например, последовательностей ДНК, данных о сборе образцов, описаний видов) из научных публикаций, даже если они находятся в закрытом доступе.

Результаты работы BLR:

  • Это крупнейшая в мире база данных таксономических описаний, изображений и связанных публикаций в открытом доступе.
  • Извлечено ~350 000 таксономических описаний и ~200 000 изображений из более чем 38 000 публикаций.
  • В их числе описания 55 800 новых видов, 3 744 новых родов и 28 новых семейств.
  • BLR способствовал обнаружению более 30% из примерно 17 000 видов, описываемых ежегодно.
  • Данные немедленно передаются на глобальные платформы, такие как GBIF (Global Biodiversity Information Facility). Благодаря BLR стали доступны оригинальные описания около 42 000 видов.

Ключевой принцип BLR — сделать извлеченные данные FAIR (Findable, Accessible, Interoperable, Reusable). Развитие стандарта TaxPub (расширение Journal Tag Suite Национальной медицинской библиотеки США) позволило 26 научным журналам публиковать статьи, данные из которых машиночитаемы с самого начала и автоматически попадают в GBIF.

Цитаты:

  • Проф. Любомир Пенев (Pensoft): "Инфраструктура теперь позволяет автоматически извлекать и распространять данные о биоразнообразии из журналов по всему миру".
  • Д-р Донат Агости (Plazi): "Информационные технологии наконец позволяют создать полный, расширенный каталог жизни и раскрыть это огромное культурное и научное наследие — описание жизни на Земле — для всех".
  • Д-р Тим Смит (CERN): "Перенос фокуса со статей, где сообщаются концепции, на сами концепции — это чрезвычайно важный шаг... Это вдохновляет на цифровое освобождение других областей науки!"
2019-10-21