DDOAJ Metadata Studio

Как выгрузить все статьи журнала из DOAJ

Обновлено:

Список статей журнала в DOAJ нужен для сверки с сайтом, отчёта или исправления метаданных. На сайте DOAJ кнопки «скачать все статьи журнала» нет, а DOAJ API отдаёт не больше 1000 записей на запрос. Разберём, как получить всё.

Быстрый способ: вкладка «Экспорт и сверка»

  1. Откройте вкладку «Экспорт и сверка» и введите ISSN журнала — печатный или электронный.
  2. Нажмите «Загрузить». Прогресс и журнал запросов видны под полем.
  3. Выберите формат выгрузки:
    • CSV — для Excel; разделитель можно выбрать (для русского Excel — точка с запятой). Файл совместим с массовой загрузкой: можно исправить данные и загрузить обратно.
    • JSON (полные записи) — всё, что DOAJ хранит о статьях, включая служебные поля.
    • JSON для повторной загрузки — только метаданные статей, в формате, который принимает DOAJ API.
    • Список ID и Список DOI — по одному на строку.

Ключ API не нужен: выгрузка работает с публичными данными. Заодно вы получите сводку проблем в метаданных: статьи без DOI, дубли, пропущенные аннотации, ORCID и аффилиации.

Выгрузите статьи реального журнала и посмотрите, как выглядит сводка.

Запустить пример

Ограничение в 1000 записей и как его обойти

DOAJ API отдаёт результаты постранично, по 100 записей, но не дальше тысячной: на запрос 11-й страницы приходит ошибка «You cannot access results beyond 1000 records via this API». У крупных журналов статей больше.

Обход простой: разбить один запрос на несколько, в каждом из которых меньше 1000 статей. DOAJ Metadata Studio делает это автоматически — делит выборку по дате создания записи в DOAJ (created_date) пополам, пока каждая часть не станет меньше 1000, и собирает результаты, убирая повторы. Тот же приём работает и вручную:

issn:1234-5678 AND created_date:[2018-01-01 TO 2022-01-01}
issn:1234-5678 AND created_date:[2022-01-01 TO 2026-12-31]

Фигурная скобка } исключает правую границу — так одна статья не попадёт в обе части. Открытые диапазоны вида TO * DOAJ не принимает, поэтому верхнюю границу задавайте датой.

Единственный случай, когда разбиение не помогает: больше 1000 записей созданы в DOAJ в одну и ту же секунду (одной большой загрузкой). Тогда приложение предупредит, что доступна только первая тысяча из этой части.

Выгрузка не по журналу, а по запросу

Переключите режим на «По запросу» и введите любой запрос DOAJ API — например, все статьи издателя или статьи по теме за несколько лет:

bibjson.journal.publisher:"Samara" AND bibjson.year:[2023 TO 2024]

Синтаксис запросов — в инструкции Поиск в DOAJ API: синтаксис запросов и поля.

Когда нужна полная выгрузка DOAJ

Если нужны не статьи одного журнала, а весь DOAJ — сотни тысяч журналов и миллионы статей, — API для этого не подходит. DOAJ предоставляет полные выгрузки данных (data dump) по запросу: доступ выдаётся индивидуально, нужно написать менеджеру платформы, кто вы и для чего нужны данные. Список журналов в формате CSV доступен для скачивания сразу, без запроса.

Другие инструкции