Research Misconduct #2 (duplicate impact myth)

(версия от 11.11.16) В продолжение дискуссии о влиянии повторяющихся публикаций на что-либо. В документе Avoiding plagiarism, self-plagiarism, and other questionable writing practices: A guide to ethical writing, размещенном на сайте  Office of Research Integrity (США), есть подраздел «Why duplication and other forms of redundancy must be avoided». Основные тезисы:

  1. «may have robbed other authors of the opportunity to publish their worthwhile original work» [нет ссылок на исследования, которые бы подтверждали это утверждение]
  2. «journal referees often must volunteer their valuable time to review others’ work in the service of science and scholarship» [нет ссылок]
  3. «places undue time and limited resource constraints on the editorial and peer review system» [нет ссылок]
  4. «result in readers being misled as to the true nature of a given phenomenon or process» (ссылка на смещение результатов мета-анализа с опорой на мнение Wheeler [[1]]) [нет ссылок]
  5. «can distort the conclusions of literature reviews» (еще раз ссылка на смещение результатов мета-анализа с опорой на исследование Tramer и соавт. [[2]]), а также «some meta-analytic studies have been contaminated by duplicate data» (ссылка на Choi и соавт. [[3]])
  6. can result in wrong health policy recommendations that could place the public at risk [нет ссылок]

Странно, но автор не утруждал себя доказательствами. Очевидно, что выше перечисленное (пункты 1-4, 6) — лишь допущения и только при хорошем раскладе — гипотезы. Что с пунктом 5?

В исследовании Tramer и соавт. показано, что если проводить мета-анализ вслепую, то duplicate дает смещение в сторону положительного результата. Не знаю, кто и когда выполнял мета-анализ не фильтруя оригинальные/повторяющиеся данные, но если выполнял, вот уж где махровый misconduct!

Далее, в исследовании Choi и соавт. показано, что в реально опубликованных мета-анализах доля duplicate статей исчезающе мала — 0,5%. Очевидно, что глобально, роль таких ошибок при проведении мета-анализа ничтожна мала. Но даже в тех мета-анализах, которые содержали duplicate статьи, итоговая оценка лишь незначительно отличалась от истинной (без duplicate): размер эффекта без duplicate 2,01, с duplicate — 2,14.

Похожий предыдущему случай описан Murphy and Wyllie. Товарищи показали, что в мета-анализ Kuti EL и соавт. были включены duplicate data. Однако, “Visual inspection of the Forrest plot suggests that exclusion of these data is unlikely to change the overall conclusion of the study, but the confidence intervals would likely be altered.”. Kuti EL с критикой согласился (указывая на трудности коммуникации с авторами оригинальных исследований), в том числе и с тем, что, “… the inclusion of these data does not change the conclusion of the meta-analysis, … as well as our own subanalyses—only the confidence intervals are slightly wider”.

К чему я все это? А к тому, что может не стоит делать из мухи слона? ))

P.S. Любопытная деталь. Посмотрите рисунок в статье Tramer и соавт. Чем отличаются исследования, результаты которых повторно публикуются? Огромным эффектом! ))  Плохо или хорошо пиарить такие результаты? Авторы таких исследований считают, что пиарить надо.

Еще одна любопытная деталь: большинство duplicate статей размещают уже в течение 1 года после выхода «родительской» статьи (по данным Choi и соавт., все — в течение 2 лет). Теперь сопоставим два эти факта и получим … Додумывать предлагаю самостоятельно ))

Источники

[1] Wheeler, A. G. (1989). The pressure to publish promotes disreputable science. The Scientist, 3 (14): 11. Retrieved March 6, 2003 from http://www.the-scientist.com/yr1989/jul/opin_890710.html.

[2] Tramer, M. R., Reynolds, D. J., Moore, R. A., & McQuay, H. J. (1997). Impact of covert duplicate publication on meta-analysis: a case study. British Medical Journal, 315(7109), 635–640. согласно Google цитируется 581 раз!

[3] Choi, W.-S., Song, S.-W., Ock, S.-M., Kim, C.-M., Lee, J.-B, Chang, W.-J., & Kim, S.-H. (2014). Duplicate publication of articles used in meta-analysis in Korea. SpringerPlus, 3, 182, 1-6.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s