3.1. Ученый и мусорная корзина
Многих студентов удивляет, что некоторые (до 99%) научные публикации годятся не для использования в практической деятельности, а для мусорной корзины. В 1979 г. редактор Британского медицинского журнала доктор Стефен Лок (Stephen Lock) писал: «Одна из самых удручающих обязанностей редактора медицинского журнала — необходимость отвергать исследования, основанные на хорошей идее, но безнадежно испорченные плохой методологией». Сейчас положение изменилось к лучшему, однако прошло немногим более 10 лет с того момента, когда Дуглас Альтман (Douglas Altman) заявил, что только 1% всех исследований не содержит ошибок [1, 2]. Во врезке 3.1 перечислены основные ошибки, являющиеся причинами отказа в публикации (в ряде случаев эти ошибки присутствуют и в опубликованных статьях).
Большинство статей в современных медицинских журналах строится по стандартному формату ВМРОВ оригинале (на английском языке) формат статей в научных медицинских журналах обозначают мнемонической аббревиатурой IMRAD (от Introduction — Введение, Methods — Методы, Results — Результаты, And Discussion — Обсуждение).: Введение (зачем авторы взялись за эту работу), Методы (как они ее проводили и как обрабатывали результаты), Результаты (что они нашли) и Обсуждение (что, по мнению авторов, означают результаты). Чтобы решить, стоит ли читать статью, нужно сначала спросить, насколько хороши ее методы, а уже потом — интересна ли исходная гипотеза, каково значение результатов и о чем пишут авторы в разделе «Обсуждение».
Плохая наука остается плохой, несмотря ни на важную для практики тему, ни на «статистически значимые» результаты (см. раздел 5.5), ни на выводы, которые подтверждают высказанное мнение, ни на выгоды, которые оно обещает. Строго говоря, если вы решили выбросить статью в мусорную корзину — выбрасывайте, даже не читая ее результатов.
Искать прорехи в чужой работе гораздо легче, чем самому проводить безупречное с методологической точки зрения исследование. Некоторым из моих студентов кажется, что критиковать работу, на которую известный ученый потратил лучшие годы своей жизни, крайне невежливо. Исследователям может не удаться абсолютно совершенное исследование по каким-то причинам. В этом случае они, так же как и вы, прекрасно осознают, что их работа была бы более научно обоснованной, если бы те или иные непредвиденные трудности не возникли в ходе выполнения исследования.
В большинстве хороших научных журналов статьи (до принятия решения об их публикации) направляют на рецензирование специалистам для выяснения их достоверности, оригинальности и значимости. Этот процесс известен как независимое рецензирование, и о нем написано множество статей и книг [3]. Во врезке 3.1 перечислены наиболее распространенные недостатки статей, отмечаемые рецензентами.
Недавно я, будучи рецензентом, анонимно переписывалась с автором статьи (впоследствии я раскрыла свое имя) и рекомендовала ему не публиковать ее. Прочитав заключение, он согласился с моим мнением. Этот человек посвятил 5 лет кропотливой и неоплачиваемой работе в свободное время и пришел к пониманию того, что проверял важную гипотезу, но с помощью неверных методов. Автор проинформировал редакцию, что забирает свою статью «с кривой улыбкой и тяжелым сердцем», отметив еще несколько не замеченных нами недостатков своего исследования. Он также написал, что «не точит на нас зуб» и готов начать всю работу заново. Его исследование так и осталось неопубликованным, но он проявил себя как истинный исследователь и очень редкий человек.
Оценка методологического качества статей (критическая оценка) детально описана в руководствах по доказательной медицине [3], в частности в «Руководстве по чтению медицинской литературы» Д. Сэкетта и соавт., которое было опубликовано в виде серии статей в журнале Американской медицинской ассоциации (JAMA). Написанные этими авторами структурированные руководства на тему, как следует читать статьи по лечению, диагностике, скринингу, прогнозу, этиологии, уходу за больным, экономическому анализу, систематическому обзору, качественным исследованиям, являются очень полезными проверочными листами для критической оценки. В Приложении 1 вы найдете несколько более простых проверочных листов, которые я сформулировала на основании руководств по использованию медицинской литературы, приведенных в конце этой главы, а также с учетом собственных идей. Если вы давно читаете медицинские журналы, то пояснять эти проверочные листы вам не нужно. Если при чтении медицинской статьи у вас все-таки возникают трудности, ознакомьтесь с вопросами в следующем разделе.
Врезка 3.1. Наиболее распространенные причины отказа в публикации
1. Тема исследования не представляет научного интереса (см. раздел 3.2).
2. Исследование не является оригинальным, т.е. кто-то уже провел такое же или похожее исследование (см. раздел 4.1).
3. Авторская гипотеза на самом деле в статье не проверяется (см. раздел 3.2).
4. Исследование было неправильно организовано (см. раздел 3.3).
5. Авторам пришлось отступить от начального протокола из-за практических трудностей (например, при отборе участников) (см. раздел 4.3).
6. Выборка участников исследования слишком мала (см. раздел 4.6).
7. В исследовании не было контрольной группы или она не соответствовала его целям (см. раздел 4.4).
8. Статистический анализ проведен неправильно (см. раздел 5).
9. Выводы авторов не основываются на результатах исследования.
10. Авторы (или спонсоры исследования) небеспристрастны (например, публикация положительного результата сулит им материальные выгоды), а меры предосторожности против такого конфликта финансовых интересов и научной истины приняты не были.