Признаки «мутные» журналы или казнить нельзя …

Данная рецензия адресована не только авторам списка и объяснений признаков некорректной редакционной политики (далее Список), но и все тем, кто занимается составлением «черных» перечней на основании каких-либо критериев («белые» списки, как ни странно, мало кто составляет).

С самого начала адресую всех читателей к рекомендациям the Standards for the Reporting of Diagnostic Accuracy Studies (STARD) в версии 2015 г. Цель этих широко принятых в среде (био)медицинской науки рекомендаций: “To assist in the completeness and transparency of reporting diagnostic accuracy studies …”. Авторы рекомендаций надеются, что этот свод правил (по сути, стандарт) поможет “… readers to judge the potential for bias in the study, and to appraise the applicability of the study findings and the validity of the authors’ conclusions and recommendations.”

Позволю себе несколько выдержек из этого документа (перевод смысловой, цитаты – из оригинального документа). При этом я намеренно не использовал медицинскую терминологию: замена слова «больные» на «журналы» сути не меняет. В основе диагностики лежат универсальные принципы, подходящие, в том числе, и для выявления «больных» журналов. И в этой связи, вполне универсальным можно признать следующее определение диагностического теста: “Any method for collecting additional information about the current or future … status of a …  [здесь вполне подойдет слово «журнал»].

Итак, вот основные тезисы, изложенные в разделе «Введение» STARD 2015.

  1. Исследователи сообщают о результатах своих исследований не только с целью поделиться своими впечатлениями (успехами и/или разочарованиями), но также и для:
  • to allow others to appreciate the validity of our methods,
  • to enable our colleagues to replicate what we did, and
  • to disclose our findings to [заинтересованные лица].
  1. К числу ключевых проблем современной науки можно с уверенностью отнести следующие:
  • неполнота представляемых данных/результатов (incomplete reporting),
  • выборочное представление данных/результатов (selective reporting),
  • необоснованный оптимизм исследователей (unwarranted optimism).

Второе может отличаться от первого наличием намерения. Как бы там ни было, все эти проблемы ограничивают (а в некоторых случаях аннулируют) ценность как самих исследований (т.н. оригинальных), так и результатов их обобщения.

  1. Диагностические исследования постигли три болезни (впрочем, как и другие типы исследований):
  • систематические смещения/ошибки (bias),
  • недостаточное/ошибочное статистическое описание результатов,
  • малое (отсутствие) прикладное значение результатов (applicability),

Систематические смещения, приводящие к ошибкам в интерпретации результатов, вызваны использованием «неправильных» (нетипичных) выборок, наблюдаемых в необычных условиях с использованием невалидированных инструментов, а также использование «неправильных» (невалидированных) терминов/определений тех или иных состояний (“… many authors also fail to report completely the clinical context, and when, where and how they identified and recruited eligible study participants.”).

Недостаточное/ошибочное статистическое описание результатов диагностических исследований в худшем сценарии сводится к представлению только примеров т.н. истинно положительных случаев диагностируемого состояния. В «среднем» сценарии – это представление оценок чувствительности (доля истинно положительных случаев) и специфичности (доля истинно отрицательных случаев). Однако для  качественного представления результатов диагностического исследования не обойтись без значений площади под кривой, а также вероятности положительных/отрицательных результатов. Представление пороговых значений требует дополнительных обоснований, часто связанных с контекстом и целью диагностики (“For continuous tests, dichotomization into test positives and negatives may not always be indicated.”).

Малое (отсутствие) прикладное значение результатов диагностических исследований может быть обусловлено как указанными выше систематическими смещениями, так и низкой «добавленной стоимостью» предлагаемых диагностических критериев (incremental accuracy), а также использованием необоснованно сложных диагностических конструкций.

Для чего это длинное вступление? Чтобы подчеркнуть, что авторы Списка проигнорировали ВСЕ правила научного обоснования результатов диагностического исследования, претендующего на достоверность, а также допустили ВСЕ ошибки, типичные для «обычных» диагностических исследований, публикуемых в «обычных» (можно «российских») научных журналах. По этой причине, применимость этих результатов (здесь, Списка), их прикладное значение, адекватно оценить невозможно. Вместе с тем, большое число этих критериев, а также неопределенность относительно того, какая комбинация этих критериев является диагностической, заставляет сомневаться в их практической пользе. Заявление  «В «Диссеропедии» использовалось два основных критерия некорректной редакционной политики …» (авторецензирование и наличие в журнале статей с массовыми некорректными заимствованиями) ясности не добавляет (это обязательные критерии?). А тезисы типа «… каждый признак по отдельности не бесспорен, поэтому признаков должно быть много, и тогда в совокупности они могут сыграть роль проявителя» указывают на эмпирический подход авторов при составлении списка, нежели научный.

Считаю, что этих доводов достаточно для рекомендации удалить этот список из публичного обозрения. Хочу подчеркнуть недопустимость оценок научности журналов, основанных на ненаучных подходах (точнее, на подходах, научность которых подтвердить/опровергнуть невозможно). Мы либо верим этим результатам («Список работает»), либо нет. Они нам либо «нравятся», либо нет. Но считать их научно обоснованными … нет никаких оснований. Иначе, эти признаки могут быть причислены к «мусорным» с такой же легкостью, как и журналы, которые они подобным образом квалифицируют. И эта оценка будет справедлива до тех пор, пока авторы явным образом не изложат свою методологию. Первой попытке навести порядок в сфере научной коммуникации, явно недостает прозрачности.

P.S. Тем, кто желает пойти дальше и дать еще более взвешенную оценку Списка и, в первую очередь, его оснований, предлагаю погрузиться в изучение такого аналитического инструмента как QUADASE-2 (Quality Assessment of Diagnostic Accuracy Studies). Если бы кто-то попытался оценить качество оснований Списка, полагаю, он бы получил по всем оцениваемым характеристикам оценку “high, or unclear risk of bias” и/или “low, or unclear applicability”.

P.P.S. В качестве примера научного обоснования признаков «мусорных» журналов вполне подойдет исследование Shamseer L. и соавт. (2017). Однако у результатов этого исследования есть 3 существенных ограничения. Два указаны самими авторами. Это немаскированная оценка показателей с потенциальной диагностической значимостью и не проведение многофакторного анализа для выявления признаков с независимой диагностической ролью. Но, есть и третий. Касается он используемых категорий «мусорный/немусорный». Согласно исследованию Bohannon J. (2013) оценка категории «мусорный» на основании Beall’s List может быть ошибочной для 20% журналов из этого списка. Равно как и оценка «немусорный» для журналов, работающих по принципу Open Access, может быть ошибочной в 40% случаев (доля мусорных журналов среди гибридных журналов — 3-я группа в исследовании Shamseer L. и соавт., — не известна). Таким образом применимость (практическая ценность) предложенных  Shamseer L. и соавт. критериев остается под большим вопросом.

Признаки «мутные» журналы или казнить нельзя …: 5 комментариев

  1. Несмотря на принципиальное согласие с основной позицией комментария, я полагаю вывод-предложение игнорировать, поскольку
    а) хорошо отношусь к списку Билла и всему с ним связанному
    б) в отношение мусорных журналов мы находимся в состоянии, когда достичь чего более или менее приближенного к состоянию диагностики в медицне (да, тоже плохому) мы не можем пока
    в) пока — означает не два дня и не два года, возможно, никогда
    г) нам остается полировать имеющиеся у нас топоры и бумеранги и пытаться делать дело имеющимися инструментами
    д) если придет Прометей с лучшими инструментами, предполагается, что мы его не убъем

    Нравится

  2. Какой вывод-предложение игнорировать? )
    Основной вывод-предложение, как я поняла, — покажите методологию и давайте её спокойно обсуждать.
    Киваете на Д.Билла — давайте обсуждать критерии/методологию, результаты и косяки Д.Билла.
    И вообще, не Биллом единым…

    Нравится

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s