ВВЕДЕНИЕ
По оценкам украинской академической элиты падение международного рейтинга украинской науки обусловлено низким качеством отечественной публикационной практики. В докладах на заседании Президиума НАН Украины и Комитета Верховной Рады по вопросам науки и образования (2006 г.) некоторые академики НАН Украины так категорично оценили состояние украинской науки: «На мою думку, українська наука сьогодні не розвивається зовсім» [19]; «У різних галузях ми відстаємо від науковців передових країн на 15—20 років» [15]. В этом докладе также предложено Высшей аттестационной комиссии (ВАК) Украины сократить вдвое существующий перечень изданий, где могут быть опубликованы результаты диссертационных исследований из-за низкого качества представляемых журнальных публикаций, поскольку некоторые высшие учебные заведения не обеспечивают контроля качества своих периодических изданий и выпускают по 20—30 журналов.
В серии тематических публикаций академиков НАН Украины более подробно раскрыты проблемы национальной науки. В публикации академика НАН Украины В.М. Локтева дана оценка состояния украинской науки и собственное видение перспектив ее развития. В статье прямо заявляется: «У більшості напрямів науки і техніки, особливо коли йдеться про експериментальні фундаментальні дослідження або розробку принципово нових технологій, Україна відстає від розвинених країн світу» [12, с. 4]. В публикации специалиста по методологии науки в системе НАН В.И.Оноприенко на основе библиометрического анализа (индекс цитирования и импакт-фактор) оценивается мировой статус украинской науки. Автор демонстрирует определенный вклад украинских ученых, которые публикуются на английском языке в таких областях, как физика, химия, генетика, молекулярная биология и фармакология. Акцентируется внимание на необходимости повышения рейтинга украинских периодических изданий, в связи с чем заслуживает внимания следующее замечание: «На жаль, політика нашої ВАК щодо наукової періодики має абсурдний характер. Величезні, що постійно розростаються, переліки так званих ваківських видань демонструють наукову неспроможність більшості дослідницьких установ і вищих навчальних закладів. Аналіз таких переліків засвідчує, що першими до них пробилися ті, котрі не мають жодних наукових досягнень: провінційні установи і комерційні ВНЗ, для яких одержання такого права означає задоволення своїх меркантильних прагнень. Та й сама процедура отримання статусу ваківського видання абсурдна, адже зацікавлені установи самі визначають входження до переліку, без будь-якої зовнішньої авторитетної експертизи» [14, с. 30].
Член-корреспондент НАН Украины А.А.Халатов в публикации, посвященной теме создания революционных технологий в науке, обращает внимание на недостаточный научный уровень периодических изданий в отделениях НАН Украины: «Відділення повинні розпочати серйозну роботу, спрямовану на підвищення наукового рівня друкованої продукції…» [18, с. 23].
Наиболее полный системный анализ проблем национальной науки представлен в публикации биолога, академика НАН Украины А.А.Созинова. Оценивая качество периодических изданий, автор сделал следующие замечания: «Ще більш небезпечним є те, що різко опустилася планка оцінки якості видань. І, як гриби після дощу, з'являються «наукові» збірники і часописи з надзвичайно низьким рівнем публікацій. Нерідко тут «правлять бал» гроші: платиш — друкуємо. Світовий рейтинг наших наукових журналів у більшості випадків надто низький» [16, с.8].
Таким образом, аналитические исследования и экспертные заключения указывают на глубокий кризис в отечественной публикационной практике.
Современный мир – это мир технологий, которые основаны на информации, а сама информация становится основным продуктом в развитом обществе. Наиболее ценным информационным продуктом является новое научное знание, которое приобретает такой статус на этапе журнальной научной публикации. Несмотря на бурное развитие новых способов обмена информацией в сети Интернет, научная журнальная публикация остается главным научным полем деятельности ученого. Более того, международное научное сообщество в последние десятилетия уделяет пристальное внимание развитию института журнальных публикаций, а сами журналы становятся главными и независимыми арбитрами в оценке качества и актуальности новых научных знаний. Особое внимание уделяется развитию формата медико-биологической журнальной публикации (МБЖП). Знания особенностей современного формата МБЖП в значительной степени определяет успех научной деятельности ученого и рейтинг биомедицинского журнала. Наша национальная публикационная практика не соответствует международным стандартам, что существенно снижает рейтинг украинской науки и возможности выхода наших ученых на международный рынок знаний.
ЦЕЛЬ ИССЛЕДОВАНИЯ
Выделить и обозначить наиболее актуальные методологические проблемы современной научной медико-биологической журнальной публикации.
ИСТОЧНИКИ ИНФОРМАЦИИ
При проведении анализа проблемы основными источниками информации явились: рекомендации различных международных организаций по биомедицинской публикационной практике [6], правила для авторов по представлению МБЖП в рейтинговых международных журналах, образцы институциональной (университетской) политики по подготовке МБЖП, оригинальные исследования ведущих международных экспертов в области публикационной практики.
ПРИЧИНЫ ИЗМЕНЕНИЙ ФОРМАТА МБЖП
Под понятием «формат МБЖП» подразумевается структура и принципы подготовки разделов МБЖП. Строго говоря, традиционная структура МБЖП остается прежней, изменяются лишь требования к содержанию. Основные причины изменений традиционного формата МБЖП обусловлены увеличением количества и повышением стоимости медицинских услуг, что, в свою очередь, повышает требования к уровню медицинских рекомендаций по результатам биомедицинских исследований. В ответ на эту ситуацию медицинская наука усовершенствовала методологию клинических исследований (КИ) и сделала акценты на испытаниях лекарственных средств в клинических экспериментах. Современная методология КИ оформилась в самостоятельную фундаментальную науку — клиническую эпидемиологию [17]. Главным принципом клинической эпидемиологии является цифровое выражение научного результата определенного КИ, что заставляет исследователя быть конкретным и точным в описании результатов КИ, а у врача появляется возможность иметь самостоятельные суждения при сопоставлении результатов различных КИ. Такая практика принятия клинических решений была названа как «медицина, основанная на фактах» (evidence based medicine), или, как чаще говорят, «доказательная медицина». Технологии доказательной медицины стали основой для разработки национальных клинических рекомендаций, поэтому качественные МБЖП по результатам соответствующих КИ становятся мощными и фактически единственными аргументами в изменении национальной организации здравоохранения всех развитых стран. Отсутствие базовых знаний в области клинической эпидемиологии и научно-обоснованной медицинской практике (evidense base medicine) у отечественных исследователей снижает эффективность КИ и это является одной из главных причин низкого качества МБЖП. Эта проблема раскрыта нами в серии из пяти журнальных публикаций [1-5].
Вторая группа причин, которая потребовала изменения формата МБЖП, связана с возрастающим влиянием производителей медицинских услуг на клиническое решение врача и на перераспределение национальных бюджетов здравоохранения в пользу определенных производителей лекарственных средств. Это проблема может быть решена только введением определенных строгих правил, в соответствии с которыми можно будет судить о достоверности результатов КИ, которые излагаются в МБЖП. Регуляция взаимоотношений рекламных материалов и публикаций результатов качественных КИ в авторитетных медицинских журналах занимает особое место в поддержании высокого рейтинга медицинского научного журнала. Формат современной МБЖП учитывает и объявляет возможные конфликты интересов между наукой и получением денежных вознаграждений за публикации заказных материалов.
МЕЖДУНАРОДНЫЕ РЕКОМЕНДАЦИИ
Для эффективной работы с возрастающими информационными потоками необходима типизация информации. Технология подготовки современной МБЖП регламентирована целым рядом международных документов: деклараций, инициатив и рекомендаций, которые в совокупности определяют стандартный формат МБЖП. В отдельном нашем исследовании приводится краткий анализ современных рекомендаций [6]. Эти документы малоизвестны отечественному исследователю, так как отечественная публикационная практика легко обходится более простыми устаревшими принципами, которые к тому же не соблюдаются. Наиболее известными международными рекомендациями являются «Единые требования к рукописям, представляемым в биомедицинские журналы: правила написания и редактирования материалов» [23] (далее Единые требования). Эти рекомендации находятся в открытом доступе в сети Интернет (http://www.icmje.org). На сайте ICMJE доступна последняя редакция единых требований, а на русском языке есть несколько вариантов этого документа (http://www.antibiotic.ru/cmac/pdf/rules.pdf; http://www.medicina.tomsk.ru/russian/require.htm). Единые требования представляют собой наиболее полные, всесторонние и согласованные международные рекомендации по всем этапам взаимодействия с редактором и по формату МБЖП. В этом документе целый ряд вопросов изложен в форме «основного Закона» или Конституции публикационной практики.
Более подробно вопросы медико-биологической публикационной практики рассматриваются в рекомендациях различных международных организаций. Отметим наиболее важные из них.
Совет научных редакторов (СSE, http://www.CouncilScienceEditors.org) в 2006 г подготовил и свободно распространяет в сети Интернет так называемую «Белую книгу для продвижения целостности научных журнальных публикаций» [20]. 18 авторов этого руководства являются представителями врачебных ассоциаций и биомедицинских журналов. Две главы рекомендаций рассматривают исключительно этические проблемы МБЖП, в частности: типы конфликтов интересов, критерии авторства. Особое внимание уделяется определению критериев недобросовестной научной практики (Research Misconduct), описываются формы и методы борьбы с этим явлением в различных странах. Характерным стилем вышеуказанного руководства является широкое использование перекрестных Интернет-ссылок на другие рекомендации, что позволяет получить наиболее полное представление об обсуждаемых проблемах.
Вторым известным руководством этой организации является коммерческое издание «Научный стиль и формат», подготовкой которого занимается специальный подкомитет (CSE Style Manual Subcommittee, 2006). Оглавление рекомендаций доступно в сети Интернет (http://www.councilscienceeditors.org/publications/style_toc.cfm). Большая часть указанного руководства посвящена описанию достигнутых в научной литературе соглашений о сокращениях, аббревиатурах, правилах отображения специальными знаками различных физических параметров, принципах представления цитат и библиографических ссылок. Отдельная глава (№ 27) посвящена собственно стилю и формату МБЖП. Даны рекомендации для отображения статистических характеристик результатов исследований. С учетом почти пятидесятилетней истории руководства можно сказать, что это базовые рекомендации по правилам терминологии, пунктуации и символизации в научной публикации.
Всемирная ассоциация медицинских редакторов (WAME, http://www.wame.org) наиболее известна своими рекомендациями по принципам этики публикационной практики, которые доступны на сайте организации (WAME Publication Ethics Policies for Medical Journals; http://www.wame.org/resources/publication-ethics-policies-for-medical-journals#study). В рекомендациях рассматриваются этические взаимоотношениям автор — редактор, проблемы авторства, процесс предварительного рассмотрения публикации, независимости редакторской политики. Также большое внимание уделяется недобросовестной исследовательской практике и анализу ее категорий.
Европейская ассоциация научных редакторов (EASE, http://www.ease.org.uk) подготовила руководство для научных редакторов [21] которое содержит структурированный сборник публикаций по основным проблемам редакторской деятельности. Также эта организация выпускает журнал (European Science Editing), который анализирует предстоящие события в сфере публикационной практики. Через 6 мес. после выпуска бумажной версии журнал доступен в электронном виде (http://www.ease.org.uk/esedown.html).
Европейская ассоциация медицинских авторов (EMWA, http://www.emwa.org/index.html) на ежегодных весенних конференциях в городах Европы проводит обучение по базисным навыкам медицинской публикации, биостатистике и пр. Ассоциация поддерживает содержательный сайт, на котором представлены соответствующие образовательные программы (http://www.emwa.org/index.html). На страницах журнала ассоциации «The Write Stuff» (http://www.emwa.org/Jornal.html) обсуждаются различные вопросы, в первую очередь проблемы авторства, взаимоотношений между объявленным и истинным авторством, вопросы обеспечения возможности доступа редакторов журналов к первичным данным исследования. Все эти вопросы систематизировано изложены в руководстве EMWA о роли медицинского автора в подготовке рецензируемой публикации [22].
Также существуют отдельные стандарты формата публикаций по результатам КИ, такие как: «Единые стандарты представления результатов рандомизированных контролируемых испытаний» (CONSORT, http://www.consort-statement.org), «Качество публикаций по результатам метаанализа» (QUOROM, http://www.consort-statement.org/quorom.pdf), «Стандарт для отчетов диагностической точности» (STARD, http://www.clinchem.org/cgi/reprint/49/1/1), «Укрепление отчетов о наблюдательных исследованиях в эпидемиологии» (STROBE, http://www.strobe-statement.org/index.html), «Метаанализ обсервационных исследований в эпидемиологии» (MOOSE, http://jama.ama-assn.org/cgi/reprint/283/15/2008), «Стандарт надлежащей клинической практики» (GCP, http://www.ich.org/LOB/media/MEDIA482.pdf), «Руководство по добросовестной публикационной практике» (GPP, http://ebasic.easily.co.uk/03100E/00605D/GPP.pdf).
ОСНОВНЫЕ ОШИБКИ ПРЕДСТАВЛЕНИЯ МБЖП
Основные проблемы МБЖП проще показать на примере наиболее типичных ошибок, которые представлены на следующей схеме (рис).
|
Рис. Основные источники ошибок в научной МБЖП |
Рассмотрим более подробно каждый пункт из указанной схемы.
АВТОРСТВО
Вице-президент НАН Украины академик НАН Украины А.Г.Наумовец и академик НАН Украины Н.Г.Находкин, анализируя качество научных публикаций и авторскую этику, сделали следующие выводы: «...треба визнати, що в безмежному океані сучасних публікацій надто велика частка тих, які лише створюють інформаційний шум. Справжньою пошестю стала у нас практика приписування керівників та інших «корисних» людей до авторських колективів, завдяки чому легше опублікувати статтю, одержати премію чи кошти на видання монографії. Причому часто всім очевидно, що приписана особа не зробила творчого внеску в роботу, а то й зовсім не розуміється на предметі дослідження. Недарма в дискусії, яка розгорнулася після викриття недавніх резонансних фактів наукового шахрайства, прозвучали пропозиції супроводжувати всі публікації довідками про доробок кожного зі співавторів» [13, с.9]. В этой статье обсуждается один из наиболее актуальных вопросов этики публикационной практики — проблема авторства научного труда. Говоря о «пропозиції супроводжувати всі публікації довідками про доробок кожного зі співавторів», следовало бы заметить, что это не некое новшество, а стандартная практика в авторитетных международных клинических журналах.
Проблема оценки авторских вкладов в исследование все чаще обсуждается в современном научном сообществе. В странах СНГ авторство научной публикации (как вопрос научной методологии) является необъявленной и неопознанной проблемой. В то же время и в экономически развитых странах только в последние десятилетия начали активно обсуждать эту проблему. Мой коллега, анестезиолог Kevin Strange в публикации 2008 г. так обозначил актуальность обсуждаемой темы: «Большинство ученых не подозревают о том, что в научном сообществе в течение, по крайней мере, трех десятилетий происходит обширная дискуссия по проблеме авторства с целью формализации критериев авторства» [24, p. 569]. Напряженность этих дискуссий нарастает, так как открытость авторского вклада и ответственность авторов за информацию в публикациях существенно снижает вероятность смещенных оценок результатов исследований.
В настоящее время в международном научном сообществе приняты согласованные критерии определения авторства, а объявление авторского вклада в публикацию является обычной практикой в рейтинговых периодических клинических изданиях. Основные проблемы авторства состоят в таких формах недобросовестной научной практики, как теневое авторство, гостевое и почетное авторство [20]. Все эти три формы нарушения авторства активно практикуются в нашем клиническом сообществе. В результате чего в странах СНГ установились искаженные представления о сущности понятия «авторский вклад». Гостевые (почетные) авторы - это, как правило, руководители лабораторий, всякого рода начальники, оформители материалов публикаций, финансисты научных проектов или просто «хорошие люди» которым необходимо выполнять план по валу публикаций. Иногда, на кафедрах существует архаичная традиция ставить первым в списке авторов заведующего, даже если он не знаком с текстом публикации или осуществлял общее руководство КИ. Гостевое авторство основывается на ожидании, что включение определенного имени улучшит возможности того, что исследование будет издано или увеличит оценку статуса публикации. Теневое авторство чаще связано с написанием заказных фармакологических работ. Проблема авторства достаточно подробно раскрыта нами в специальной публикации [9]
В целом нарушение международных принципов авторства и авторского вклада создает условия для недобросовестной научной практики и повышает вероятность целого ряда систематических ошибок. В результате такой публикационной практики уничтожаются сами условия научной конкуренции, что неизбежно ведет к упадку науки. Это общеизвестная закономерность.
Конфликт интересов является наиболее существенным источником систематических ошибок в КИ. В соответствии с Едиными требованиями конфликт интересов, или двойные обязательства в научной публикации возникает в том случае, если автор, рецензент или редактор имеют обязательства, которые могли бы повлиять на его мнение. Соответственно выделяют:
- конфликт интересов, обусловленный личными обязательствами авторов;
- конфликт интересов, обусловленный финансированием проекта;
- конфликт интересов, обусловленный обязательствами редакторов, сотрудников журнала или рецензентов.
Первые два типа конфликта интересов являются причиной умышленной ошибочной интерпретации результатов КИ. Выполняя личные или финансовые обязательства, авторы могут не только опустить из результатов КИ факты, противоречащие ожидаемому результату КИ, но и прибегнуть к фабрикации и фальсификации первичного материала КИ. Объявление конфликта интересов в начале или в конце публикации, также как объявление авторского вклада в КИ давно являются обязательными компонентами публикации в рейтинговом научном клиническом журнале.
Этика организации клинического эксперимента. Соблюдение этических ограничений в соответствии с Хельсинкской декларацией при проведении экспериментов на людях актуально как в случаях корпоративных КИ, так и при проведении КИ по инициативе частного исследователя. Эти ограничения в совокупности с существующими правилами регистрации протоколов клинических испытаний в независимых международных организациях обеспечивают прозрачность КИ, ограничивают вероятность появления смещенных оценок в пользу гипотезы исследователя и создают равные конкурентные условия для разных ученых. Этические ограничения также существенно влияют на выбор дизайна КИ и косвенно позволяют снизить целый ряд систематических ошибок в КИ.
ВЫБОР ДИЗАЙНА КИ
Проблема выбора дизайна КИ является наиболее сложной и ответственной интеллектуальной задачей при планировании КИ. Это связано с тем, что для выбора адекватного дизайна КИ исследователь должен владеть специальными знаниями, которые относятся к разделу новой фундаментальной клинической науки – клинической эпидемиологии [17]. Основная проблема заключается в том, что эта наука малоизвестна в наших странах и до сих пор не преподается в университетах. С другой стороны объявление дизайна КИ является обязательным в рейтинговых клинических журналах. Отсутствие знаний необходимых для выбора дизайна КИ адекватного объекту исследования может привести к ряду систематических ошибок в научной клинической публикации.
Определение типа дизайна КИ. Существуют определенные дизайны КИ для решения типовых задач. Так, например, для оценки эффективности чаще всего используют рандомизированное клиническое испытание (РКИ), а для изучения диагностических методов – обсервационный дизайн КИ. Но в рамках типовых дизайнов КИ возможны модификации, которые позволяют оптимизировать план исследования в соответствии с текущим уровнем знаний об объекте исследования, этическими ограничениями и конкретными возможностями проведения КИ. Выбор неадекватного объекту исследования дизайна КИ приводит к целому ряду ошибок. Так, например, если в РКИ определять эффективность лечебного воздействия, но при этом не иметь четкого алгоритма выбора дозы воздействия, то возникает высокая вероятность получения неопределенного результата КИ. Типичным примером могут служить результаты многочисленных РКИ эффективности гипербарической оксигенации (ГБО) при различных заболеваниях: в отличие от описаний отдельных наблюдений при формализованном испытании обнаруживается более низкая эффективность ГБО. Методологическая ошибка организации этих исследований заключается в том, что игнорируются давно известные факты о зависимости эффектов лечебной гипероксии от стадии и тяжести заболевания и от конституциональных характеристик пациентов. Также в ГБО пока отсутствует принцип выбора дозы лечебной гипероксии. В данном случае, с одной стороны, более целесообразно накапливать и обобщать результаты КИ с обсервационным дизайном, а с другой стороны – следует изучать эффективность разных доз ГБО в зависимости от клинических особенностей объекта исследования и разрабатывать объективные критерии оценки эффективности ГБО по данным мониторинга функциональных характеристик организма в реальном времени во время сеансов ГБО. То есть, при существующем уровне знаний о ГБО дизайн РКИ для изучения эффективности этого лечебного метода пока малоприемлем. Этот пример показывает важность комплексного понимания объекта исследования и выбор адекватного объекту исследования дизайна КИ. Ошибки при выборе дизайна КИ оказывают фатальное влияние на качество КИ.
Неверное определение правил включения – исключения в/из КИ является основным источником систематических ошибок. Любое КИ основано на материале определенной выборки из изучаемой популяции. Обычно для обеспечения высокой достоверности (внутренняя валидность) в КИ формируется высокоселективная по определенным характеристикам выборка из популяции. Но, с другой стороны, результаты такого КИ имеют низкую обобщаемость (внешняя валидность). Для классического КИ более актуальна внутренняя валидность, для чего в каждом исследовании, особенно при небольших объемах выборки из популяции, формируются четкие критерии включения в КИ и исключения из КИ по тем факторам, которые являются предметом изучения в КИ. Кроме этих изучаемых факторов существуют так называемые «вмешивающиеся факторы», которые не очевидны, но которые могут стать источником систематических ошибок. В исследованиях эффективности для минимизации этих ошибок наряду с критериями включения-исключения используется метод случайного формирования изучаемых групп или рандомизация. Рандомизация достаточно сложный для корректной реализации методический прием, который в наших публикациях часто неверно трактуется как простое деление на группы. Использование понятия «рандомизация» в научной клинической публикации, безусловно, требует таких элементов КИ как информированное согласие, этический комитет, утвержденный протокол КИ, регистрация клинического испытания в международных регистрах и прочих строго необходимых элементов свойственных для РКИ.
Определение изучаемых клинических исходов и референтных методов диагностики является ключевым вопросом планирования КИ. Клиническая наука по определению эпидемиологов занимается изучением «клинических исходов, под которыми подразумевают исходы, имеющие наибольшее значение для больных и для медицинского персонала (смерть, наличие заболевания, дискомфорт, инвалидизация, неудовлетворенность). Биологические явления не могут считаться эквивалентом клинических исходов, пока не получено прямых доказательств их взаимосвязи» [17, с. 16]. Иногда в КИ это понятие называют «конечные точки» (end point), то есть те моменты в течение заболевания, наступление которых позволяет сделать заключение о достижении изучаемого результата. Понятие референтный метод (золотой стандарт) подразумевает некоторый наиболее точный способ определения болезни, то есть «тот, который заслуживает доверия» [17, с. 62]. Клинические исходы и референтные методы имеют взаимоотношения как общее и частное. Если в каком-либо КИ при оценке клинических исходов не используется референтный метод диагностики, то такой выбор должен быть четко обоснован, иначе работа будет содержать грубую методическую ошибку.
Наиболее распространенной ошибкой планирования КИ является замещение клинических исходов суррогатными, под которыми подразумевают лабораторный показатель или симптом, который заменяет клинически значимый исход, прямо характеризующий самочувствие больного, его функциональное состояние и выживание. Так, например, динамика различных цитокинов при системном воспалительном ответе не позволяет нам говорить об эффективности лечения до тех пор, пока не будет убедительно доказана статистическая линейная взаимосвязь концентрации цитокинов в плазме пациентов и определенных клинических исходов. Причем эта связь должна быть выражена математически, не в виде коэффициента корреляции, а в критериях, используемых для современных диагностических методов (см. ниже). Еще более грубой методической ошибкой организации КИ является попытка показать диагностическую эффективность какого либо метода оценки состояния пациента путем его сопоставления с другим суррогатным исходом. Подобные исследования изучают механизмы заболеваний и относятся к патофизиологии.
Проблема выбора дизайна КИ более подробно раскрыта нами в специальной публикации [7].
БИОСТАТИСТИКА
Наиболее емким русскоязычным информационным ресурсом по вопросам биостатистики является сайт «Биометрика» (http://www.biometrica.tomsk.ru), на котором не только представляются различные обучающие материалы, но также в разделе «Кунсткамера» проводится анализ использования статистических методов в конкретных публикациях. С нашей точки зрения в последние годы наиболее удачной публикацией, в которой анализируются основные статистические ошибки в клинических исследованиях является статья Тома Ланга [11]. Но даже эта простая публикация требует определенной подготовки для восприятия изложенной информации. Ситуация с уровнем подготовки молодых и зрелых исследователей в области биостатистики в наших странах характеризуется крайне низким уровнем знаний. Интересный материал по данной теме опубликован в «Международном журнале медицинской практики» (№ 2, 2006). Это издание представляет анализ проблемной ситуации в области биостатистики с точки зрения ведущих специалистов России. Затем в одном из следующих номеров журнала (№ 1, 2007) публично обсуждается открытое письмо одного из российских специалистов по биостатистике.
Обратимся к наиболее элементарным статистическим ошибкам, которыми изобилуют наши клинические публикации и диссертации.
Представление выборочных числовых характеристик. Любое КИ основано на анализе выборочных числовых характеристик объектов исследования, к которым чаще всего относятся меры положении и меры рассеяния. Каждая из характеристик этих двух групп используются для определенных целей. Например, для общей оценки нормально распределенной выборки чаще всего используются среднее значение и стандартное отклонение, а для сравнительной оценки разных выборок среднее значение и стандартная ошибка среднего (или значение 95% доверительного интервала для среднего). С другой стороны, общеизвестно, что клинические характеристики редко подчиняются нормальному закону распределения и поэтому для таких случаев, а тем более при малых объемах выборок рекомендуется использовать медианные и квартильные (процентильные) оценки выборочных характеристик. В особых случаях в публикации целесообразно представить гистограмму распределения изучаемой характеристики. В текущих публикациях в качестве выборочных характеристик чаще всего встречаются среднее значение и его стандартная ошибка. При этом иногда авторы не указывают, что подразумевается под выражением типа A±b. Здесь следует заметить, что отсутствие в публикации перечня всех примененных методов статистического анализа и расшифровки используемых сокращений само по себе является грубой ошибкой.
Если автор выбирает стандартную ошибку в качестве характеристики точности оценки среднего, то рядом с их значениями необходимо указать объем выборки. Но, в настоящее время, редакции рейтинговых журналов и международные рекомендации строго рекомендуют в случае представления данных нормально распределенной выборки использовать средние и их 95% доверительный интервал. Это так называемая «точечная» характеристика выборки.
Сопоставление двух независимых групп. В этом случае могут использоваться самые разнообразные статистические критерии, но в нашей литературе типичной ошибкой является повсеместное использование t-критерия Стьюдента без проверки условий его применимости (равность дисперсий и нормальность распределения). В случае проверки нулевой гипотезы о равенстве средних при помощи статистических методов современные рекомендации требуют указания точного значения уровня статистической значимости «p». Вместо этого очень часто продолжает использоваться устаревшая форма типа «p<0,05». Иногда в отношении величины «p» авторы наших публикаций используют понятие «достоверность» что принципиально неверно. Еще одной типичной ошибкой является утверждение исследователей о равенстве двух выборочных средних в случае если значение p>0,05. Все эти типичные ошибки при исследовании двух независимых выборок широко разъясняются в современной литературе.
Множественные сравнения. Следующей типичной ошибкой в биомедицинских публикациях является использование вышеуказанного t-критерия Стьюдента для множественных сравнений, то есть для сопоставления выборочных средних в более чем двух группах. Кроме нескольких альтернативных подходов, современным стандартом для проверки гипотезы о принадлежности нескольких выборок к одной генеральной совокупности является дисперсионный анализ или его частный случай - метод ANOVA.
Анализ связанных выборок (или анализ «до-после»). В КИ часто используется так называемый «анализ данных до-после», например, при сопоставлении определенного параметра у одних и тех же больных в разные промежутки времени до и после воздействия изучаемого фактора. Такие группы называют связанными, а данные парными. Использование стандартного t-критерия Стьюдента для сопоставления связанных групп является грубой ошибкой. Для этих целей используются специальные статистические методы, например критерий Стьюдента для парных сравнений, критерий знаковых рангов Вилкоксона. В случае если сравниваются три и более связанные выборки используется дисперсионный анализ повторных измерений.
Диагностические КИ. Одним из наиболее методически сложных статистических подходов используется в современных КИ, которые посвящены изучению методов диагностики. Для таких исследований существует определенный стандарт, который, судя по текущим публикациям и диссертациям неизвестен отечественным исследователям. Сущность диагностического исследования заключается в использовании следующих подходов. Классический дизайн диагностических исследований предполагает сопоставление референтного метода диагностики (золотого стандарта диагностики) с изучаемым диагностическим параметром у одних и тех же пациентов. Затем, специальным образом строится так называемая «характеристическая кривая», которая является операционной характеристикой диагностического теста и определяется точка разделения, которая разделяет больных и здоровых. После этого составляется так называемая «четырехпольная таблица» и на основе ее данных вычисляются чувствительность, специфичность и другие числовые характеристики нового диагностического теста. Такой подход позволяет получить однозначные статистические характеристики и имеет безусловные преимущества. Иные методические подходы в диагностических исследованиях, без соответствующего обоснования следует рассматривать как грубую методическую ошибку.
Визуализация результатов статистических исследований позволяет в простом образе представить многочисленные цифровые результаты КИ. Некачественная визуализация часто имеет задачи манипулирования мнением читателей. В особенности это справедливо по отношению к различным популярным рекламным медицинским изданиям. Поэтому часто ошибки визуализации статистических данных следует рассматривать с точки зрения умышленной ошибки.
Для различных статистических методов анализа используются соответствующие приемы визуализации. При представлении выборочных характеристик современным стандартом является так называемый график «ящик с усами», который при нормальном распределении исследуемой выборки может содержать информацию о среднем, стандартной ошибке и 95% доверительных интервалах среднего. При распределении отличающемся от нормального, такой график содержит информацию о значении медианы, квартилях (процентилях) и характеристиках выбросов или 95% доверительных интервалах.
При графическом сопоставлении статистических характеристик двух и более групп также настоятельно рекомендуется использовать вышеуказанные графики на одном листе. Использование в таких графиках 95% доверительных интервалов позволяет сделать читателю собственные выводы о существовании различий между изучаемыми выборками, что не исключает параллельного использования других статистических тестов.
При графическом сопоставлении двух связанных выборок рекомендуется использовать графики, на которых значения изучаемого показателя до и после соединяются прямой линией вдоль оси абсцисс. В случае использования столбчатой диаграммы средних значений до - после могут быть утеряны разнонаправленные тенденции динамики показателей в связанных группах.
Правильная визуализация результатов диагностического исследования позволяет по величине площади под характеристической кривой получить прямую оценку эффективности изучаемого диагностического теста.
Следует также сделать несколько замечаний о средствах построения научных графиков и программах, которые для этого могут использоваться. В выступлениях на конференциях и в публикациях очень часть используются красочные, трехмерные, конусообразные и прочие графики, которые при этом не несут содержательной информации о характеристиках разброса и объемах выборок. Такие бессодержательные графики скрывают истинные результаты исследований и могут рассматриваться как средство манипуляции мнением аудитории и читателей. Каждый элемент украшения графика обязан нести, прежде всего, содержательную информацию. Также следует заметить, что популярная программа Excell имеет ограниченные возможности визуализации научной информации и, в большинстве случаев, не позволяет качественно отобразить результаты современных статистических методов исследований.
Проблемные вопросы применения методов биостатистики более подробно описаны нами в отдельной публикации [8].
ЗАКЛЮЧЕНИЕ
Проблемы биомедицинской публикационной практики – это системные проблемы, решение которых зависит от многих факторов. Для тех кто принимает управленческие решения в этом направлении важно принять во внимание, что современный мир быстро меняется, совершенно свободно обменивается материальными людскими ресурсами, а главное информацией. При этом уровень информационного обеспечения уже сейчас является главным условием успешного развития всех сфер жизни. За последние годы в России и Украине произошли серьезные перемены, которые связаны с обеспечением свободного доступа к ранее закрытым информационным ресурсам. В 2006 г. постановление правительства России (№ 277, 20.04.2006 г., http://www.biometrica.tomsk.ru/vak_4) обязало публиковать авторефераты докторских диссертаций на сайте ВАК России за 3 мес до их защиты, а в 2007 г. бывший премьер и нынешний президент страны призвал публиковать в Интернете полные тексты защищаемых диссертаций (http://www.rosbalt.ru/2007/10/31/427080.html). В Украине на сайте национальной библиотеки им. В.И.Вернадского обеспечен доступ к электронным вариантам журналов, которые зарегистрированы в ВАК Украины. В таких условиях открытых потоков информации создаются условия для улучшения качества МБЖП в соответствии с международными рекомендациями и оценки научного рейтинга каждого биомедицинского журнала.
ЛИТЕРАТУРА
- Воробьев К.П. Доказательная медицина – новая методология медицинской практики. Часть I. Мотивации врача и исследователя при изучении доказательной медицины // Український медичний альманах.- 2004.- №5.- С.41-45.
- Воробьев К.П. Доказательная медицина – новая методология медицинской практики.Часть II. Сущность доказательной медицины. // Український медичний альманах.- 2004.-№6.- С. 142-146.
- Воробьев К.П. Доказательная медицина – новая методология медицинской практики.Часть III. Клиническая эпидемиология – методологическая основа доказательной медицины // Український медичний альманах.- 2005.- №2.- С.32-36.
- Воробьев К.П. Доказательная медицина – новая методология медицинской практики.Часть IY. Доказательная медицина для врача // Український медичний альманах.- 2005.- №3.- С.35-39.
- Воробьев К.П. Доказательная медицина – новая методология медицинской практики.Часть Y. Доказательная медицина для врача-исследователя // Український медичний альманах.- 2005.- №4.- С.48-53.
- Воробьев К.П. Формат современной журнальной публикации по результатам клинического исследования. Ч. 2. Международные рекомендации // Укр. мед. Часопис.- 2008.- № 1(63): 58–66 (http://www.umj.com.ua/arhiv/63/2182.php; http://www.umj.com.ua/pdf/63/2182.pdf).
- Воробьев К.П. Формат современной журнальной публикации по результатам клинического исследования. Ч. 3. Дизайн клинического исследования // Укр. мед. Часопис.- 2008.- № 2(64).- С.150–160 (http://www.umj.com.ua/arhiv/64/2209.php; http://www.umj.com.ua/pdf/64/2209.pdf).
- Воробьев К.П. Формат современной журнальной публикации по результатам клинического исследования. Ч. 4. Биостатистика // Укр. мед. Часопис.- 2008.- № 6(68).- С.79-91 (http://www.umj.com.ua/arhiv/o/pdf/1109_rus.pdf).
- Воробьев К.П. Формат современной журнальной публикации по результатам клинического исследования. Ч. 5. Авторство // Український медичний часопис.- 2009.- №2.- С.82-90 (http://www.umj.com.ua/archive/70/pdf/1401_rus.pdf).
- Всемирная ассоциация медицинских редакторов. Рекомендации всемирной ассоциации медицинских редакторов по принципам этики научных публикаций в медицинских журналах // Международный журнал медицинской практики, 2005.- № 5.- С. 24-30 (http://www.mediasphera.ru/journals/practik/169/2382/).
- Ланг Т. Двадцать ошибок статистического анализа, которые вы сами можете обнаружить в биомедицинских статьях // Международный журнал медицинской практики, 2005.- № 1.- С.21-31.
- Локтєв В. З надією на ренесанс вітчизняної науки // Вісн. НАН України, 2007.- № 1.- С. 3-12 (http://www.nbuv.gov.ua/portal/all/herald/2007-01/a1-1.pdf).
- Наумовець А., Находкін М. Проблеми сучасності і мораль науковця // Вісн. НАН України, 2006.- № 5.- С.3-10 (http://www. nbuv.gov.ua/portal/all/herald/2006-05/a1-5.pdf).
- Онопрієнко В. Міжнародний рейтинг української науки // Вісн. НАН України, 2005.- № 5.- С. 20-31 (http://www.nbuv.gov.ua/portal/all/herald/2005-05/art2-v5-5.pdf).
- Ситник К.М. Доповідь на спільному засіданні Президії НAН України та Комітету Верховної Ради з питань науки і освіти // Вісн. НАН України, 2006.- № 12.- С. 23 (http://www.nbuv.gov.ua/portal/all/herald/2006-12/a2- 11-12.pdf).
- Созінов О.О. Влада і наука: від патерналізму до партнерства // Вісн. НАН України, 2005.- № 1.- С. 3-10 (http://www.nbuv. gov.ua/portal/all/herald/2005-01/art1-vi1-5.pdf).
- Флетчер Р., Флечер С., Вагнер Э. Клиническая эпидемиология. Медиа Сфера, Москва, 1998.- 346 с.
- Халатов А.А. Створення революційних технологій — критерій ефективності технічних наук // Вісн. НШ України, 2005.- № 8.- С. 20-24 (http://www.nbuv.gov.ua/portal/all/herald/2005-08/art3-v8-5.pdf).
- Яцків Я.С. Доповідь на спільному засіданні Президії НШ України та Комітету Верховної Ради з питань науки і освіти // Вісн. НАН України, 2006.- № 12.-С. 23 (http://www.nbuv.gov.ua/ portal/all/herald/2006-12/a2-10-12.pdf).
- Council of Science Editors CSE’s White Paper on Promoting Integrity in Scientifc Journal Publications. Editorial Policy Committee, 2006 (http://www.councilscienceeditors.org/editorial_policies/whitepaper/entire_whitepaper.pdf).
- EASE. The Science Editors’ Handbook. EASE: Guilford, 2003.- 406 p. (http://www.ease.org.uk/ese.html).
- Jacobs A., Wager E. European Medical Writers Association (EMWA) guidelines on the role of medical writers in developing peer-reviewed publications // Curr. Med. Res. Opin., 2005.- № 21(2).- P. 317–322 (http://www.emwa.org/Mum/EMWAguide-lines.pdf).
- Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication (2008) (http://www.icmje.org/).
- Strange K. Authorship: why not just toss a coin? // Am J. Physiol. Cell. Physiol., 2008.- № 295(3).- P. 567–575.
|