Список родов диатомовых. 3/n

В прошлый раз я вытащил данные о 1375 родах диатомовых из Вормса иShow more рассказал, что их можно сохранить в таблице Экселя.

Такую таблицу можно использовать в качестве локальной базы таксономических данных для работы на одном устройстве. Но если нам нужен удаленный сетевой доступ с разных компьютеров, данные следует разместить в полноценной базе и разработать веб-интерфейс для работы с ней.

К счастью, у меня есть опыт проектирования структуры БД и создания таксономических информационных систем.

-------

Таксономическая БД.
Таксономическая база данных (ТБД) нужна для составления компьютерных списков таксонов, виртуальных коллекций, атласов и определителей. Это костяк любой таксономической информационной системы.

ТБД хранит названия таксонов, которые суть ключи для доступа к биологической, экологической, генетической, географической и морфологической информации об организмах.

Более подробно о функциях и устройстве ТБД можно почитать в заметке блога:

"Создаем таксономическую базу данных".
https://antonlyakh.ru/blog/all/sozdaem-taksonomichesk..

И в статье 2018 года:

Лях А. М., Лелеков С. Г. (2018) Модульная структура таксономической базы данных.
https://sci-info.marine-research.ru/biblios/89

-------

Пример использования ТБД можно увидеть:

На страничке коллекции паразитов рыб Мирового океана, разработанной моей скромной персоной)
http://marineparasites.org/

А также у Архипа — библиотеки изображений диатомовых водорослей, который, на данный момент, ушел в неоплачиваемый отпуск)
https://antonlyakh.ru/blog/tags/arxip/

-------

В ближайшее время помещу в ТБД список таксонов диатомовых и создам веб-страничку для доступа к ней.

Продолжение следует...

Нет в мире непознаваемых вещей,
а есть только вещи, еще не познанные,
которые будут раскрыты и познаны
силами науки и практики.

История ВКП (б). Краткий курс.

Список родов диатомовых. 2/n

В прошлый раз мы выяснили, что список родов диатомовых можно извлечьShow more из Вормса (marinespecies.org), если уметь немного программировать.

Рассказываю, что получилось дальше.

После борьбы с сервером Вормса и поиском наиболее оптимального способа получения данных, мне удалось собрать номенклатурную информацию о 1375 родах диатомовых водорослей. Часть из них невалидна, то есть относится к ошибочным, неверно описанным или синонимичным названиям.

Номенклатура в JSON.
Информацию о каждом таксоне Вормс возвращает в json-файле. Этот файл включает номенклатурные данные о высших таксонах рода. То есть у каждого рода (и любого другого таксона) указано его положение в таксономическом дереве.

Поэтому json-файл с данными о таксоне является самодостаточным: он не зависит от других файлов и содержит достаточно номенклатурных данных для определения названия, статуса и положения таксона в иерархическом древе. То есть json-файл это отдельная полноценная запись таксономической базы данных.

Остается преобразовать полученные json-файлы в работоспособную базу.

JSON → Эксель.
Данные о роде мы можем сохранить в виде строки текста, в которой значимые элементы отделены символом-разделителем. В качестве разделителя используем точку с запятой.

accepted;family;Cyclophoraceae;;Bacillariophyceae;Cyclophorales;...

В таком виде хранятся данные в csv файлах, которые умеет открывать Эксель. Поэтому, из всех собранных номенклатурных данных, мы можем сформировать многострочный csv-файл, в котором каждая строка будет соответствовать одному роду. Эксель сумеет его открыть и предоставит инструменты для фильтрации и выбора необходимых сведений. Простая номенклатурная база в Экселе будет работать (и смотреться) хорошо.

Но Эксель мы не сможем нормально использовать на сервере. Поэтому для доступа к данным в вебе потребуется настоящая СУБД.

Продолжение следует...

Список родов диатомовых. 1/n.

Для работы мне потребовался список всех известных к настоящемуShow more времени родов диатомовых. Вот результаты попыток его получить.

Статьи.
Рода диатомовых перечислены в некоторых публикациях. Но мне нужен электронный список - текстовый файл или отформатированная таблица. Извлечь список из пдф статей - сложная задача. Поэтому этот вариант мне не подходит.

Базы данных.
Очевидно, что в наш век, когда нейросети потихоньку покоряют человечество, найти в интернете базу данных с полным списком родов определенного таксона не составляет никакого труда. И да, такие базы есть.

Почти все названия диатомовых хранят:
Альгабейз (algaebase.org),
Вормс (marinespecies.org),
Диатомбейз (diatombase.org).

При этом Диатомбейз не является независимой базой - она извлекает данные из базы Вормса и копирует его интерфейс. То есть ее можно спокойно вычеркнуть, оставив Альгабейз и Вормс.

Ни одна из оставшихся баз, ни Альгабейз, ни Вормс, не позволяет просто взять и получить список таксонов определенного ранга. Для этого необходимо пробежать по дереву: от верха до нужного ранга, раскрывая по дороге все боковые ветви: над- и под- отделы и отделы, над- и под- классы и классы, надсемейства и семейства. Все без исключения.

При этом страничка с перечнем родов определенного семейства представляет собой сложноструктурированный текст, из которого тоже не очень-то просто вычленить список родов. То есть вариант использования баз, где нужно ручками пролистать ветви таксономического дерева и повыковыривать названия родов тоже мне не подходит.

АПИ.
Альгабейз не предоставляет никакой иной официальной возможности доступа к базе, кроме как через интерфейс веб-страницы. Майкл Гури зорко охраняет собранные таксономические данные.

К счастью Вормс - это открытая система. Он предоставляет АПИ, разрешающий извлекать данные (https://www.marinespecies.org/rest/). Но именно тот запрос, который должен вернуть названия всех таксонов заданного ранга, относящихся к конкретному родителю, в данный момент работает неправильно. Он возвращает только первые 50 названий (родов). Остальные остаются недоступными.

-------
Продолжение следует...