Inter-Rater Reliability или «сколько людей, столько и мнений»

Как правило, редакторы ориентируются на мнение 1-2, реже 3, рецензентов. Предполагается, что «в среднем» эти рецензенты выдадут похожую оценку рукописи, будь она плоха или хороша. Однако исследования согласованности оценок рецензентов по одним и тем же рукописям демонстрируют, что согласованность практически нулевая.

Что же делать, если двое рецензентов разошлись в оценке рукописи? Звать третьего? А что, если редактор получил близкие (положительные или отрицательные) оценки от разных рецензентов? Стоит ли им доверять?

Я бы посоветовал редакторам оперировать не заключениями рецензентов (печатать/непечатать или достойная/»мусор»), а упомянутыми ими конкретными ошибками. Это может быть куда важнее учета «преимуществ» рецензируемой публикации. Ведь известно, что психологическая «цена» потерь (здесь, пропущенных ошибок) заметно выше, «цены» приобретений. Ну а рецензенты … Сколько людей, столько и мнений 🙂

Do Peer Reviews Predict Impact?

По умолчанию считается, что рецензенты, по меньшей мере в среднем, рекомендуют для публикации более значимые (в научном и/или практическом плане) материалы в сравнении с теми, что ими отвергаются. Ниже постепенно (сейчас версия от 28.12.16) будут выкладываться результаты исследований, в которых изучались предиктивные способности рецензентов.

В отношении научной значимости рукописей:

  • «no evidence of a relationship between review outcomes and citation impact at any time after publication, even when citations are normalized by subfield.» (период 1978-1982) [1]

В отношении практической значимости рукописей:

 

Источники

  1. http://www.asanet.org/do-peer-reviews-predict-impact-evidence-american-sociological-review-1978-1982

Плагиат изучили!

Опубликовано довольно любопытное исследование под названием «Plagiarism in submitted manuscripts: incidence, characteristics and optimization of screening — case study in a major specialty medical journal» (ссылка ниже).

http://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-016-0021-8

Оценили распространённость плагиата в рукописях, поступающих на рассмотрение в журнал Genetics in Medicine. По  результатам, из 400 последовательно полученных рукописей 17% содержали в себе необоснованные заимствования (при этом все эти статьи были из стран, где английский язык не является государственным). Также авторами была изучена чувствительность и специфичность программы проверки текста на плагиат iThenticate. Результаты можно видеть в аннотации к статье.

Очень любопытно, помимо прочего, что авторы также оценили время, которое потребовалось для анализа обнаруженных заимствований, либо для заключения о том, что в тексте таковых не имеется:

«For manuscripts that were deemed to have plagiarized material, it took on average 5.9 min (median = 5 min) to manually assess the manuscript (range 2–20 min). For manuscripts deemed not to have plagiarism, it took on average 1 min to manually assess the manuscript (range 1–5 min), a statistically significant difference (p < 0.001, Mann-Whitney test)».

Т.е., для рукописей, которые содержали необоснованные заимствования, на это ушло порядка 6 (5,9) мин, на рукописи без таковых — всего 1 (!) мин.

Как видим, недолго, но результативно. Думаю, иные комментарии излишни))

 

 

 

Open and transparent peer review #12 (open peer review — что это значит?)

В который раз удивляюсь тому, на что европейцам денег не жалко. А не жалко им было потратиться на это (часть 1), это (часть 2) и еще это (часть 3). И ведь потратились, чтобы понять, что считать open peer review. Кропотливая работа. У нас такое не оценят …

Как и ожидалось, open peer review — это an umbrella term :), который включает, главным образом, 1) раскрытие участников процесса рецензирования (open identities; в первую очередь информации об авторах и рецензентах, в редких случаях — о редакторах), 2) открытие рецензий (open reports; публикация рецензий вместе со статьей, хотя на мой взгяд можно трактовать шире), и 3) обеспечение свободного доступа сообщества к процессу рецензирования (open participation).

Таким образом, если вы используете в дискуссии словосочетание «открытое рецензирование» будьте любезны пояснить, что имеете в виду. Иначе люди знающие вас не поймут 🙂

C учетом этой информации, наверное, в названии рубрики стоило бы оставить только «Open …». Однако, на мой взгляд, под термином open peer review чаще всего понимают именно open identities (т.е. signed). Чтобы не путаться и особо выделить необходимость открытия рецензий и/или исправленных версий рукописи, продолжу как есть.

Библиотека. № 1. Оценка эффективности редакционной деятельности в России

Уважаемые коллеги!

Анонсируем создание новой рубрики —  хранилища всяческой полезной информации, наиболее важных трудов (статей, презентаций) по редакционной деятельности, опубликованных на русском языке.

Первым томом предлагаем к ознакомлению статью Р.Т. Сайгитова «Эффективность редакционной деятельности при подготовке рукописей, содержащих результаты оригинальных работ: итоги рандомизированного контролируемого исследования» (файл по ссылке).

%d1%81%d0%b0%d0%b9%d0%b3%d0%b8%d1%82%d0%be%d0%b2_%d1%8d%d1%84%d1%84%d0%b5%d0%ba%d1%82%d0%b8%d0%b2%d0%bd%d0%be%d1%81%d1%82%d1%8c-%d1%80%d0%b5%d0%b4%d0%b0%d0%ba%d1%86%d0%b8%d0%be%d0%bd%d0%bd%d0%be%d0%b9