Главная страница Авторский информационный ресурс врача-исследователя Воробьева К.П.
Публикации
Эта статья была впервые опубликована:

Этот материал был направлен в адрес оргкомитета Y национального конгресса анестезиологов Украины, но оргкомитет не счел возможным опубликовать статью в материалах конгресса и автору не была дана возможность выступить с соответствующим докладом

позже работа вышла в

Біль, знеболювання і інтенсивна терапія, 2008.- №4.- с.60-63

ТИПОВЫЕ ОШИБКИ ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ КЛИНИЧЕСКИХ ИССЛЕДОВАНИЙ


Введение. В последние десятилетия мы стали свидетелями стремительных изменений во всех сферах деятельности человека. Основная сущность этих перемен состоит в переносе приоритетов с производства товаров и услуг на производство знаковой интеллектуальной продукции [10]. Лавинообразное увеличение потоков информации в медицинской отрасли, с одной стороны, и развитие теории клинических исследований (эпидемиология неинфекционных заболеваний), с другой стороны, потребовали изменения и стандартизации формата современной публикации по результатам клинических исследований. В недавней специальной публикации на эту тему [5] мы представили краткий обзор основных международных инициатив, рекомендаций и стандартов по представлению результатов клинических исследований (КИ) в журнальных публикациях. К сожалению, большая часть этих рекомендаций не известна не только отечественному исследователю, но и редакторам биомедицинских журналов. В результате такой ситуации украинские научные клинические публикации оказались за пределами международного клинического информационного пространства, что приводит к стремительному снижению рейтинга украинской клинической науки. Многочисленные украинские биомедицинские журналы и сборники научных трудов наполняются низкокачественной информацией, которую в лучшем случае можно отнести к категории «белый шум», а в худшем – эти низкокачественные публикации являются рекламным средством фарамакокомпаний или служат для легитимизации высоких академических званий и доминированию ложных приоритетов в нашем научном сообществе.
Методология клинических исследований и формат журнальной публикации активно развиваются в последнее десятилетие в международном научном сообществе, а в странах постсоветского пространства функционируют архаичные модели организации клинических исследований и увеличивается поток низкокачественных клинических публикаций. Эта проблема все больше осознается в России, которая имеет общие с Украиной истоки организации клинической науки и публикационной практики. Российский электронный ресурс «Национальный информационный центр по науке и технологиям (http://www.strf.ru/) ведет огромную работу по анализу методологических проблем российской науки. В России создаются условия для обеспечения качественной научной конкуренции. Так уже два года действует постановление правительства России (№ 277, 20.04.2006г., http://www.biometrica.tomsk.ru/vak_4), которое обязало с 16 июня 2006 г. публиковать авторефераты докторских диссертаций на сайте ВАК России за 3 мес до защиты диссертации. А благодаря инициативе бывшего вице-премьера России Дмитрия Медведева (нынешний президент России) планируется полностью публиковать тексты диссертаций в сети Интернет до их защиты (http://www.rosbalt.ru/2007/10/31/427080.html). Это беспрецедентный шаг в обеспечении демократических преобразований в науке, но в Украине подобные преобразования даже не обсуждаются. Кроме этого в России проводятся различные Интернет – конференции и круглые столы для открытого обсуждения существующих в науке проблем. Эти акции по обеспечению прозрачности и публичности процесса академической аттестации оздоравливают климат в российской науке, создают условия для осознания критической массой ученых методологических проблем современной науки.
В клинической медицине наиболее активную работу с целью реформирования клинической науки проводит Международный журнал медицинской практики (http://www.mediasphera.ru/journals/practik/), главный редактор — директор Российского отделения Кокрановского сотрудничества, проф. В.В.Власов) и сайт «Биометрика» (http://www.biometrica.tomsk.ru; главный редактор — канд. техн. наук, доцент Томского государственного университета В.П.Леонов). На страницах этих информационных ресурсов профессионалы обсуждают различные аспекты организации КИ и публикации их результатов, представляется анализ уродливых явлений в клинической науке.
Мы уже неоднократно обращались к теме методологии КИ и представлению результатов КИ в серии публикаций и лекций, которые доступны на нашем сайте (http://www.vkp.dsip.net) Наш другой информационный ресурс посвящен анализу качества методов клинических исследований и отдельных диссертаций в анестезиологии (http://www.kkn0.narod.ru). Все эти проблемы также целесообразно обсудить на крупном кворуме специалистов.
Цель исследования. Анализ типовых ошибок в научной клинической публикации основывается на специальных знаниях из различных разделов эпидемиологии неинфекционных заболеваний, биостатистики и современных рекомендаций по публикационной практике. В рамках журнальной публикации мы ставим основной целью только обозначить наиболее важные типовые ошибки в современных отечественных научных клинических публикациях.
Материалы и методы. В качестве материала данного исследования используются текущие публикации в отечественных биомедицинских изданиях и некоторые конкретные исследования. В качестве методологических источников используются современные руководства по эпидемиологии неинфекционных заболеваний [1, 2, 11], аналитические публикации по организации клинических исследований и биостатистике [7, 12], а также международные рекомендации по организации научной публикационной практики [5, 7].
Типы ошибок. Под понятием «типовые ошибки» подразумеваются определенные классификационные типы ошибок в рамках различных категорий научной публикации. В то же время понятие «типичные ошибки» рассматривается как ошибки, принадлежащие к определенному классификационному типу. То есть для анализа типичных ошибок вначале следует определить классификацию типов. Например, существуют типичные ошибки статистического анализа результатов КИ, то есть эти ошибки относятся к типу биостатистика. Чаще всего в критических публикациях по проблемам методологии КИ именно биостатистика занимает центральное место, как наиболее очевидная проблема качества представления результатов КИ. Действительно, современная медицина все больше использует количественный подход в изучении заболеваний и эффективности различных методов диагностики и лечения, поэтому правильность использования статистических инструментов в клинических исследованиях всегда будет находиться в центре внимания. С точки зрения эпидемиологии неинфекционных заболеваний КИ планируется таким образом, чтобы снизить систематические ошибки и минимизировать случайные. Биостатистика является средством минимизации случайных ошибок при планировании и оценке результатов КИ. В последние годы все больше уделяется внимание систематическим ошибкам в КИ. Источниками систематических ошибок являются нарушения этических принципов организации КИ и представления результатов в научной публикации, а также выбор дизайна (плана) КИ, который неадекватен задачам и объекту КИ. Исходя из этих классификационных признаков можно следующим образом представить источники типовых ошибок в научной клинической публикации (рис).


Рис. Проблемные вопросы организации исследований - источники типовых ошибок КИ

ЭТИЧЕСКИЕ ПРОБЛЕМЫ ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ КИ
Эта группа проблем в последние десятилетия выходит на первый план при организации и представлении результатов КИ, так как нарушение этики КИ это не столько общественная проблема, сколько источник различных систематических ошибок и получения смещенного результата в ту сторону, которая выгодна лицам финансирующим соответствующее КИ.
Этическая проблема авторства заключается в так называемом «теневом авторстве», когда специально подготовленные исследователи готовят текст научной публикации, но имена этих исследователей не указывается в списке авторов. В таких случаях авторами обозначаются либо нейтральные лица, либо авторитеты в медицине. Публикации с теневым авторством – это, как правило, заказные работы со стороны фирм производителей по изучению эффективности лечебно-диагностических средств. В таких публикациях, истинными авторами являются профессиональные писатели, которые достаточно неплохо знакомы с методиками и способами манипулирования суждениями читателей, фальсификации и фабрикации первичного материала КИ, и поэтому априорно существует смещенная оценка результатов КИ в пользу изучаемого средства.
В настоящее время объявление авторского вклада в публикацию является обычной практикой в рейтинговых периодических изданиях. Следует заметить, что в соответствии с международными рекомендациями к авторам могут относиться только лица, которые внесли определенный интеллектуальный вклад в научный результат. Существуют три группы международных критериев авторского вклада в публикацию [7]. Каждый из авторов должен соответствовать всем трем критериям авторства.
В нашей стране установились искаженные представления о сущности понятия «авторский вклад». В этом факте можно убедиться при ознакомлении со списком опубликованных работ автора в авторефератах защищаемых диссертаций. Благодаря инструкции ВАК Украины в современных авторефератах в списке литературы необходимо обозначать авторский вклад диссертанта в опубликованные работы. Интересен формальный анализ этого раздела уже опубликованных авторефератов. Например, при определении авторского вклада в публикации, заявленные в одном из авторефератов докторской диссертации по анестезиологии (см. http://www.kkn0.narod.ru/P2/H1_VAK.html) на с. 36 автореферата в 23-ем источнике (монография, пять авторов) заявлен авторский вклад как «информационный поиск и оформление публикации». Так называемый «информационный поиск» может с успехом провести работник библиотеки, или специальное программное обеспечение при анализе открытых баз данных. Такую работу нельзя отнести к интеллектуальному вкладу в исследование. Вот если бы это звучало как «информационный поиск, анализ и написание первой главы монографии», тогда это можно было бы принять как интеллектуальный вклад. Заявленное «оформление публикации» так же ни в коей мере не относится к интеллектуальному вкладу в исследование. Таким же образом международные рекомендации не признают сбор первичного материала, как достаточный аргумент для того чтобы претендовать на авторство в публикации по результатам КИ.
Другая проблема авторского вклада связана с так называемым «гостевым авторством», когда в качестве авторов указываются лица не соответствующие трем известным критериям авторского вклада [7]. Гостевые авторы - это, как правило, руководители лабораторий, всякого рода начальники, оформители материалов публикаций, финансисты научных проектов или просто «хорошие люди» которым необходимо выполнять план по валу публикаций. Иногда на кафедре существует архаичная традиция ставить первым заведующего, даже если он не знаком с текстом публикации или осуществлял общее руководство КИ. С точки зрения анализа причин возникновения ошибок в научной публикации, неопределенность авторского вклада в публикации приводит в тому, что никто не несет ответственности за представленный материал. Международные рекомендации требуют, чтобы каждый из завяленных авторов нес ответственность за определенный раздел публикации и имел доступ к соответствующему первичному материалу КИ [7].
В целом нарушение международных принципов авторства и авторского вклада создает условия для недобросовестной практики КИ и повышает вероятность целого ряда систематических ошибок. В результате такой публикационной практики уничтожаются сами условия научной конкуренции, что неизбежно ведет к упадку науки. Это общеизвестная закономерность.
Конфликт интересов является наиболее существенным источником систематических ошибок в КИ. В соответствии с международными рекомендациями [7] конфликт интересов, или двойные обязательства в научной публикации возникает в том случае, если автор, рецензент или редактор имеют обязательства, которые могли бы повлиять на его мнение. Соответственно выделяют:
- конфликт интересов, обусловленный личными обязательствами авторов;
- конфликт интересов, обусловленный финансированием проекта;
- конфликт интересов, обусловленный обязательствами редакторов, сотрудников журнала или рецензентов.
Первые два типа конфликта интересов являются причиной ошибочной интерпретации результатов КИ (умышленная ошибка). Выполняя личные или финансовые обязательства авторы могут не только опустить из результатов КИ факты противоречащие ожидаемому результату КИ, но и прибегнуть к фабрикации и фальсификации первичного материала КИ. Объявление конфликта интересов в начале или в конце публикации, также как объявление авторского вклада в КИ давно являются обязательными компонентами публикации в рейтинговом научном клиническом журнале.
Соблюдение этических ограничений в соответствии с Хельсинкской декларацией при проведении экспериментов на людях актуально как в случаях корпоративных КИ, так и при проведении КИ по инициативе частного исследователя. Эти ограничения в совокупности с существующими правилами регистрации протоколов клинических испытаний в независимых международных организациях обеспечивают прозрачность КИ, ограничивают вероятность появления смещенных оценок в пользу гипотезы исследователя и создает равные конкурентные условия для разных ученых. Этические ограничения также существенно влияют на выбор дизайна КИ и косвенно позволяют снизить целый ряд систематических ошибок в КИ.


ВЫБОР ДИЗАЙНА КИ
Проблема выбора дизайна КИ является наиболее сложной и ответственной интеллектуальной задачей при планировании КИ. Это связано с тем, что для выбора адекватного дизайна КИ исследователь должен владеть специальными знаниями, которые относятся к разделу новой фундаментальной клинической науки – клинической эпидемиологии [11]. Основная проблема заключается в том, что эта наука малоизвестна в нашей стране и до сих пор не преподается в университетах. В Украине также нет специалистов, которые бы имели систематизированную подготовку в данной науке. С другой стороны объявление дизайна КИ является обязательным в рейтинговых клинических журналах. Подробный анализ этой проблем представлен нами в недавней специальной публикации [6]. В рамках данного исследования мы покажем как отсутствие знаний необходимых для выбора дизайна КИ адекватного объекту исследования может привести к ряду систематических ошибок в научной клинической публикации.
Определение типа дизайна КИ. Существуют определенные дизайны КИ для решения типовых задач. Так, например, для оценки эффективности чаще всего используют рандомизированное клиническое испытание (РКИ), а для изучения диагностических методов – обсервационный дизайн КИ. Но в рамках типовых дизайнов КИ возможны модификации, которые позволяют оптимизировать план исследования в соответствии с текущим уровнем знаний об объекте исследования, этическими ограничениями и конкретными возможностями проведения КИ. Выбор неадекватного объекту исследования дизайна КИ приводит к целому ряду ошибок. Так, например, если в РКИ определять эффективность лечебного воздействия, но при этом не иметь четкого алгоритма выбора дозы воздействия, то возникает высокая вероятность получения неопределенного результата КИ. Типичным примером могут служить результаты многочисленных РКИ эффективности гипербарической оксигенации (ГБО) при различных заболеваниях: в отличие от описаний отдельных наблюдений при формализованном испытании обнаруживается более низкая эффективность ГБО. Ошибка исследователей заключается в том, что они игнорируют давно известные факты о зависимости эффектов лечебной гипероксии от стадии и тяжести заболевания и от конституциональных характеристик пациентов. В данном случае, с одной стороны, более целесообразно накапливать и обобщать результаты КИ с обсервационным дизайном, а с другой стороны – следует изучать эффективность разных доз ГБО в зависимости от клинических особенностей объекта исследования и разрабатывать объективные критерии оценки эффективности ГБО по данным мониторинга функциональных характеристик организма в реальном времени во время сеансов ГБО. То есть, при существующем уровне знаний о ГБО дизайн РКИ для изучения эффективности этого лечебного метода пока малоприемлем. Этот пример показывает важность комплексного понимания объекта исследования и выбор адекватного объекту исследования дизайна КИ. Ошибки при выборе дизайна КИ оказывают фатальное влияние на качество КИ.
Неверное определение правил включения – исключения в/из КИ является основным источником систематических ошибок. Любое КИ основано на материале определенной выборки из изучаемой популяции. Обычно для обеспечения высокой достоверности (внутренняя валидность) в КИ формируется высокоселективная по определенным характеристикам выборка из популяции. Но, с другой стороны, результаты такого КИ имеют низкую обобщаемость (внешняя валидность). Для классического КИ более актуальна внутренняя валидность, для чего в каждом исследовании, особенно при небольших объемах выборки из популяции, формируются четкие критерии включения в КИ и исключения из КИ по тем факторам, которые являются предметом изучения в КИ. Кроме этих изучаемых факторов существуют так называемые «вмешивающиеся факторы», которые не очевидны, но которые могут стать источником систематических ошибок. В исследованиях эффективности для минимизации этих ошибок наряду с критериями включения-исключения используется метод случайного формирования изучаемых групп или рандомизация. Рандомизация достаточно сложный для корректной реализации методический прием, который в наших публикациях часто неверно трактуется как простое деление на группы. Использование понятия «рандомизация» в научной клинической публикации безусловно требует таких элементов КИ как информированное согласие, этический комитет, утвержденный протокол КИ, регистрация клинического испытания в международных регистрах и прочих строго необходимых элементов свойственных для РКИ.
Одной из грубых ошибок в КИ является неверное определение изучаемых клинических исходов и референтных методов. Клиническая наука по определению эпидемиологов занимается изучением «клинических исходов, под которыми подразумевают исходы, имеющие наибольшее значение для больных и для медицинского персонала (смерть, наличие заболевания, дискомфорт, инвалидизация, неудовлетворенность). Биологические явления не могут считаться эквивалентом клинических исходов, пока не получено прямых доказательств их взаимосвязи» [11, с. 16]. Иногда в КИ это понятие называют «конечные точки» (end point), то есть те моменты в течении заболевания, наступление которых позволяет сделать заключение о достижении изучаемого результата. Понятие референтный метод (золотой стандарт) подразумевает некоторый наиболее точный способ определения болезни, то есть «тот, который заслуживает доверия» [11, с. 62]. Клинические исходы и референтные методы имеют взаимоотношения как общее и частное. Если в каком-либо КИ при оценке клинических исходов не используется референтный метод диагностики, то такой выбор должен быть четко обоснован, иначе работа будет содержать грубую методическую ошибку.
Наиболее распространенной ошибкой планирования КИ является замещение клинических исходов суррогатными, под которыми подразумевают лабораторный показатель или симптом, который заменяет клинически значимый исход, прямо характеризующий самочувствие больного, его функциональное состояние и выживание [12]. Так, например, динамика цитокинового спектра при системном воспалительном ответе не позволяет нам говорить об эффективности лечения до тех пор, пока не будет убедительно доказана статистическая взаимосвязь концентрации цитокинов в плазме пациентов и определенных клинических исходов в зависимости от применяемого метода лечения. Еще более грубой методической ошибкой организации КИ является попытка показать диагностическую эффективность какого либо метода оценки состояния пациента путем его сопоставления с другим суррогатным исходом. Подобные  исследования изучают механизмы заболеваний и относятся к патофизиологии.


БИОСТАТИСТИКА
На наш взгляд наиболее емким русскоязычным информационным ресурсом по вопросам биостатистики является сайт «Биометрика» сайт (http://www.biometrica.tomsk.ru), на котором не только представляются различные обучающие материалы, но также в разделе «Кунсткамера» проводится анализ использования статистических методов в конкретных публикациях. С нашей точки зрения в последние годы наиболее удачной публикацией, в которой анализируются основные статистические ошибки в клинических исследованиях является статья Тома Ланга [8]. Но даже эта простая публикация требует определенной подготовки для восприятия изложенной информации. Ситуация с уровнем подготовки молодых и зрелых исследователей в области биостатистики в нашей стране характеризуется крайне низким уровнем знаний. По этой причине, прежде чем говорить о сложных методах статистического анализа следует, в первую очередь, обратить внимание на элементарные статистические ошибки, которыми изобилуют наши клинические публикации и диссертации.
Мы уже обсуждали некоторые типичные ошибки и вопросы качества статистического анализа в КИ, в том числе в анестезиологии [3, 4]. Кроме этого, на специально созданном сайте «Кунсткамера клинической науки» (http://www.kkn0.narod.ru) нами показаны грубые статистические ошибки в академических исследованиях высшего уровня. Исходя из этих предпосылок в данном исследовании в соответствии с вышеуказанной схемой (см. рис.) мы кратко обозначим часто встречающиеся грубые ошибки статистического анализа в отечественных научных клинических публикациях.
Любое КИ основано на анализе выборочных числовых характеристик объектов исследования, к которым чаще всего относятся меры положении и меры рассеяния. Каждая из характеристик этих двух групп используются для определенных целей. Например, для общей оценки нормально распределенной выборки чаще всего используются среднее значение и стандартное отклонение, а для сравнительной оценки разных выборок среднее значение и стандартная ошибка среднего (или значение 95% доверительного интервала для среднего). С другой стороны, общеизвестно, что клинические характеристики редко подчиняются нормальному закону распределения и поэтому для таких случаев, а тем более при малых объемах выборок рекомендуется использовать медианные и квартильные (процентильные) оценки выборочных характеристик. В особых случаях в публикации целесообразно представить гистограмму распределения изучаемой характеристики. В текущих публикациях в качестве выборочных характеристик чаще всего встречаются среднее значение и его стандартная ошибка. При этом иногда авторы не указывают, что подразумевается под выражением типа M±m. Здесь следует заметить, что отсутствие в публикации перечня всех примененных методов статистического анализа и расшифровки используемых сокращений само по себе является грубой ошибкой.
Если автор выбирает стандартную ошибку в качестве характеристики точности оценки среднего, то рядом с их значениями необходимо указать объем выборки. Но в настоящее время редакции рейтинговых журналов и международные рекомендации строго рекомендуют в случае представления данных нормально распределенной выборки использовать средние и их 95% доверительный интервал. Это так называемая «точечная» характеристика выборки.
Как же обстоит дело в реальности в наших публикациях? Продемонстрируем ситуацию на примере двух докторских диссертационных работ по анестезиологии, которые по ряду причин попали в наше поле внимания, а их анализ представлен на сайте «Кунсткамера клинической науки» (http://www.kkn0.narod.ru). Приведем наиболее грубые статистические ошибки в этих работах. В одном из авторефератов диссертации представлено 18 выборочных характеристик средних в которых стандартное отклонение превышает среднее значение, а в девяти случаях стандартное отклонение фактически больше в два раза и более (http://www.kkn0.narod.ru/P2/H1_Main.html). То есть коэффициент вариации в этих выборках превышает 100%. Специалисты по эпидемиологии утверждают, что "Коэффициент вариации - безразмерная величина, меньше единицы" (или 100%, прим. К.В.) [2, с.113], а  профессионалы-статистики считают, что «Если коэффициент вариации превышает 100%, то обычно это означает, что данные неоднородны» [9, с.104]. То есть, теоретически коэффициент вариации может превысить измеренное среднее значение, но данные такой выборки непригодны для какого либо анализа и требуют обязательных разъяснений.
Во втором случае в автореферате докторской диссертации (http://www.kkn0.narod.ru/P4/H3_Main.html) вообще не указано, какие статистические методы использованы в диссертации и как понимать выражения типа M±m. Самое интересное, что в этом автореферате не приведено ни одного абсолютного значения изучаемых величин, а представление результатов исследования приведено в таком формате: «Концентрация … возрастала на протяжении первых суток наблюдения на 50,8±4,5%, а в бронхиальном секрете - в 19,7±4,1 раза…» (с.23). В официальном отзыве на этот автореферат профессионал, известный специалист России в области биостатистики В.П.Леонов заявил «Остаётся загадкой, каким образом автор находил ошибку среднего для отношения двух количественных величин. К примеру, если одна величина равна 170, а другая равна 100, то их отношение равно 1,7. Однако никакой ошибки среднего в данном случае вычислить невозможно!» (http://www.kkn0.narod.ru//P4/H3_Stat.html).
На основании таких ошибочных методических подходов в диссертациях выносятся определенные суждения, за что и присваивается искомая степень. Мы не можем утверждать, что эти два примера являются типичными, но тем не менее следует напомнить о том, что обе эти диссертации прошли многоэтапную оценку в учреждении исполнителе, в спецсовете и были согласованы с официальными оппонентами, но ни на одном из этапов экспертизы не были замечены эти грубые статистические ошибки, что свидетельствует об общем снижении знаний элементарных основ статистики в нашем научном сообществе.
В случае сопоставления двух независимых групп могут использоваться самые разнообразные статистические критерии. В таких случаях в нашей литературе типичной ошибкой является повсеместное использование t-критерия Стьюдента без проверки условий его применимости (равность дисперсий и нормальность распределения). В случае проверки нулевой гипотезы о равенстве средних при помощи статистических методов современные рекомендации требуют указания точного значения уровня статистической значимости «p». Вместо этого очень часто продолжает использоваться устаревшая форма типа «p<0,05». Иногда в отношении величины «p» авторы наших публикаций используют понятие «достоверность» что принципиально неверно. Еще одной типичной ошибкой является утверждение исследователей о равенстве двух выборочных средних в случае если значение p>0,05. Все эти типичные ошибки при исследовании двух независимых выборок широко разъясняются в современной литературе.
Следующей типичной ошибкой в биомедицинских публикациях является использование вышеуказанного t-критерия Стьюдента для множественных сравнений, то есть для сопоставления выборочных средних в более чем двух группах. Кроме нескольких альтернативных подходов, современным стандартом для проверки гипотезы о принадлежности нескольких выборок к одной генеральной совокупности является дисперсионный анализ или его частный случай - метод ANOVA.
В КИ часто используется так называемый «анализ данных до-после», например, при сопоставлении определенного параметра у одних и тех же больных в разные промежутки времени до и после воздействия изучаемого фактора. Такие группы называют связанными, а данные парными. Использование стандартного t-критерия Стьюдента для сопоставления связанных групп является грубой ошибкой. Для этих целей используются специальные статистические методы, например критерий Стьюдента для парных сравнений, критерий знаковых рангов Вилкоксона. В случае если сравниваются три и более связанные выборки используется дисперсионный анализ повторных измерений.
Одним из наиболее методически сложных статистических подходов используется в современных КИ, которые посвящены изучению методов диагностики. Для таких исследований существует определенный стандарт, который, судя по текущим публикациям и диссертациям неизвестен отечественным исследователям. Сущность диагностического исследования заключается в использовании следующих подходов. Классический дизайн диагностических исследований предполагает сопоставление референтного метода диагностики (золотого стандарта диагностики) с изучаемым диагностическим параметром у одних и тех же пациентов. Затем, специальным образом строится так называемая «характеристическая кривая» которая является операционной характеристикой диагностического теста и определяется точка разделения, которая разделяет больных и здоровых. После этого составляется так называемая «четырехпольная таблица» и на основе ее данных вычисляются чувствительность, специфичность и другие числовые характеристики нового диагностического теста. Такой подход позволяет получить однозначные статистические характеристики и имеет безусловные преимущества. Иные методические подходы в диагностических исследованиях без соответствующего обоснования следует рассматривать как грубую методическую ошибку.
Визуализация результатов статистических исследований позволяет в простом образе представить многочисленные цифровые результаты КИ. Некачественная визуализация часто имеет задачи манипулирования мнением читателей. В особенности это справедливо по отношению к различным популярным рекламным медицинским изданиям. Поэтому часто ошибки визуализации статистических данных следует рассматривать с точки зрения умышленной ошибки. Пример такого манипулирования мнением читателя приведен в нашей публикации [4].
Для различных статистических методов анализа используются соответствующие приемы визуализации. При представлении выборочных характеристик современным стандартом является так называемый график «ящик с усами», который при нормальном распределении исследуемой выборки может содержать информацию о среднем, стандартной ошибке и 95% доверительных интервалах среднего. При распределении отличающемся от нормального такой график содержит информацию о значении медианы, квартилях (процентилях) и характеристиках выбросов или 95% доверительных интервалах.
При графическом сопоставлении статистических характеристик двух и более групп также настоятельно рекомендуется использовать вышеуказанные графики на одном листе. Использование в таких графиках 95% доверительных интервалов позволяет сделать читателю собственные выводы о существовании различий между изучаемыми выборками, что не исключает параллельного использования других статистических тестов.
При графическом сопоставлении двух связанных выборок рекомендуется использовать графики, на которых значения изучаемого показателя до и после соединяются прямой линией вдоль оси абсцисс. В случае использования столбчатой диаграммы средних значений до - после могут быть утеряны разнонаправленные тенденции динамики показателей в связанных группах. Такой тип ошибки визуализации показан нами в специальной публикации [4].
Правильная визуализация результатов диагностического исследования позволяет по величине площади под характеристической кривой получить прямую оценку эффективности изучаемого диагностического теста.
Следует также сделать несколько замечаний о средствах построения научных графиков и программах, которые для этого могут использоваться. В выступлениях на конференциях и в публикациях очень часть используются красочные, трехмерные, конусообразные и прочие графики, которые при этом не несут содержательной информации о характеристиках разброса и объемах выборок. Такие бессодержательные графики скрывают истинные результаты исследований и могут рассматриваться как средство манипуляции мнением аудитории и читателей. Каждый элемент украшения графика обязан нести, прежде всего, содержательную информацию. Также следует заметить, что популярная программа Excell имеет ограниченные возможности визуализации научной информации и, в большинстве случаев, не позволяет качественно отобразить результаты современных статистических методов исследований.


ЗАКЛЮЧЕНИЕ
Представленный анализ показывает, что наше научное сообщество отстает в знании современной методологии КИ, международных рекомендаций по представлению результатов КИ. Отсутствие этих знаний повышает вероятность возникновения случайных и систематических ошибок в публикациях по результатам КИ, снижает качество соответствующих журнальных публикаций, рейтинг отечественной клинической науки и нарушает нормальную конкурентную атмосферу в науке, так как размываются сами критерии качественного КИ. Все эти вопросы требуют публичного обсуждения в научном сообществе и принятия коллективных решений по разработке соответствующих обучающих программ и национальных рекомендаций по совершенствованию научной клинической публикационной практики.

Литература

  1. Власов В.В. (2001) Введение в доказательную медицину М.: МедиаСфера, 392 с.
  2. Власов В.В. (2004) Эпидемиология ГЭОТАР-МЕД, 464с.
  3. Воробьев К.П. (2005) Оценка качества некоторых публикаций европейского съезда анестезиологов 2005 года. Біль , знеболювання і інтенсивна терапія, 4: 2-11, http://vkp.dsip.net/Papers/EBM_Eur2005.html.
  4. Воробьев К.П. (2005) Проблемные вопросы представления материалов клинических исследований. Біль, знеболювання і інтенсивна терапія, 2: 71-80, http://vkp.dsip.net /Papers/Nauca_Publ.htm.
  5. Воробьев К.П. (2008) Формат современной журнальной публикации по результатам клинического исследования. часть 2. Международные рекомендации. Український медичний часопис, 1: 58-66, http://www.umj.com.ua/pdf/63/2182.pdf
  6. Воробьев К.П. (2008) Формат современной журнальной публикации по результатам клинического исследования. часть 3. Дизайн клинического исследования. Український медичний часопис, 2: 150-160, http://www.umj.com.ua/pdf/64/2209.pdf
  7. Всемирная ассоциация медицинских редакторов (2005) Рекомендации всемирной ассоциации медицинских редакторов по принципам этики научных публикаций в медицинских журналах. Международный журнал медицинской практики, 5: 24-30 (http://www.mediasphera.ru/journals/practik/169/2382/).
  8. Ланг Т. (2005) Двадцать ошибок статистического анализа, которые вы сами можете обнаружить в биомедицинских статьях Международный журнал медицинской практики  2005, 1:-С.21-31
  9. Лапач С.Н., Чубенко А.В., Бабич П.Н. (2001 ) Статистика в науке и бизнесе. К.: Морион, 640с
  10. Тоффлер Э. (2004а) Третья волна (Пер. с англ.). ACT, Москва, 782 с.
  11. Флетчер Р., Флетчер С., Вагнер Э. (1998) Клиническая эпидемиология: основы доказательной медицины. Медиа Сфера, Москва, 350 с.
  12. Fleming T.R., DeMets D.L. (1996) Surrogate end points in clinical trials: are we being misled? Ann. Intern. Med., 125(7): 605–613