У истины нет другой надобности, кроме как быть видимой, чтобы быть убедительной

(Клод Гельвеций, Записные книжки)

ВВЕДЕНИЕ

Качество представления результатов клинических исследований в последнее десятилетие является предметом пристального внимания во всем мире. Это связано, в первую очередь, с распространением технологий доказательной медицины в клинической практике. Более подробно основные проблемы качества представления результатов клинических исследований обсуждаются нами в предыдущей публикации, исходя из которой следует, что научный аудит является наиболее эффективным звеном обратной связи в процессе совершенствования методоогии клинической науки [1].

Проведение научного аудита работ своих коллег возможно только при условии существования определенных демократических принципов и традиций в науке, которые в нашей стране пока не являются нормой жизни. В России уже давно проводится оценка качества биомедицинских публикаций. За последние семь лет в этой стране появилось несколько десятков критических статей, в которых показана глубина проблемы и отставание российских ученых в методологии клинических исследований. Эта работа наиболее активно ведется в публикациях Международного журнала медицинской практики. В частности, последний номер этого журнала предлагает две обстоятельные статьи. В исследовании С.Бащинского показано, что по формальной бальной оценке качества научных статей российские работы и публикации ученых развитых стран можно отнести к разным генеральным совокупностям - российские публикации имеют более низкий методологический рейтинг с высоким уровнем статистической значимости различий [2]. В переводной статье T . Lang уделено внимание наиболее типичным ошибкам, которые допускает исследователь при статистическом анализе и представлении результатов исследования [3].

Активную работу в деле улучшения качества научных биомедицинских исследований проводил и проводит профессиональный статистик В.П.Леонов (Томск). Его перу принадлежит целый цикл общеизвестных статей по рассматриваемой проблеме в вышеуказанном журнале. Эту работу он продолжает на своем оригинальном тематическом сайте Биометрика ( www.biometrica.tomsk.ru ). Причем, это единственный известный автору специалист, который позволяет себе систематизировано проводить открытую экспертизу конкретных биомедицинских научных публикаций на своем сайте в разделе, который называется “Кунсткамера”. Это можно объяснить лишь тем, что В.П.Леонов не является частью медицинского сообщества. Критика своих коллег небезопасна для общественного статуса любого ученого. Чем ниже уровень развития общества – тем выше опасность такого подвижничества. В украинском научном сообществе прямую критику качества научных работ по формальным признакам могут себе позволить только анонимные рецензенты ВАКа. В нашем медицинском сообществе необходимы срочные решения, которые бы обеспечили качественный научный аудит. Отсутствие движения в этом направлении лишь свидетельствует о низком уровне развития клинической науки и степени нашего отставания на пути демократических преобразований общества.

Этические принципы являются главными в работе врача-исследователя. В соответствии с международным кодексом медицинской этики “врач должен всегда поддерживать наивысшие профессиональные стандарты” … “и бороться с теми из своих коллег, которые проявляют некомпетентность или замечены в обмане”. То есть, если для исследователя очевидно несоблюдение стандартов качества представления научных публикаций, или в самой публикации очевидны противоречия или обман, то необходимо эти факты вынести на обсуждение медицинской общественности. Любой в нашем обществе, кто попытается работать открыто в этом направлении, рискует испортить свою карьеру и социальный статус. Автор представленной публикации также является уязвимым членом научного сообщества и также пока не готов перейти к прямой критике публикаций своих коллег. Однако существует иной подход, который позволяет сделать первый шаг в решении проблемы.

Цель исследования. Провести оценку качества представления материалов клинических исследований на примере материалов крупной международной конференции.

Материалы и методы

Объектом научного аудита выбраны материалы последнего съезда анестезиологов Европы (28-31.05.05), которые представлены короткими публикациями по типу структурированного реферата [4]. Структурированный реферат – это наиболее распространенная и наиболее читаемая форма представления материалов клинических исследований в журнальных публикация. В материалах европейского съезда анестезиологов результаты исследований представлены расширенными структурированными рефератами. Каждый реферат содержит до 2 тысяч знаков, что составляет около 300 слов, включает общепринятые разделы: обоснование и цель исследования, материалы и методы, результаты и дискуссия, заключение. Некоторые рефераты содержат таблицы или рисунки. Большинство рефератов сопровождается 1-3 библиографическими ссылками. Такая структура реферата позволяет достигнуть оптимизации параметра информативность/размер публикации. Совершенно очевидно, что организаторы съезда создали качественные требования к представлению материалов исследований в сборнике и это позволило получить однотипные и информативные блоки научных данных. В сборнике каждый реферат имеет оригинальный номер, который будет использован для ссылок в данной статье.

В исследование включены те научные публикации, которые входят в круг академических интересов автора (мониторинг критических состояний, вариабельность ритма сердца, гипербарическая оксигенация и др.). Всего проанализировано 53 публикации, что составило двенадцатую часть всех представленных тезисов. Шесть публикаций было исключено из анализа (№№ 65, 76, 87, 137, 138, 232), так как эти работы носили описательный характер без представления статистической информации. Из оставшихся 47 публикаций 42 явились клиническими исследованиями, 5 –исследованиями на животных. В указанной выборке медиана количества изучаемых клинических случаев составила 20 субъектов исследования (пациентов или животных), при этом верхний квартиль составил 33, нижний – 13. Одиннадцать публикаций иллюстрировались графиками, двенадцать – табличным представлением результатов исследований.

В данной работе выполнена попытка формализованной оценки публикаций в соответствии с международными и лучшими на постсоветском пространстве рекомендациями. В качестве международных использованы рекомендации Ванкуверской группы редакторов биомедицинских журналов, девятого пересмотра 2003г (далее Требования1) [5]. Требования к рукописям, представляемым в "Сибирский медицинский журнал" (http://www.medicina.tomsk.ru/russian/require.htm) на наш взгляд являются наиболее качественными, в том числе в сопоставлении с международными Требованиями1. Данный журнал один из немногих, в котором производится независимое статистическое рецензирование публикаций профессиональным статистиком. Эти требования далее будут обозначаться как Требова ни я2.

Формализованная оценка публикаций проводилась по следующим критериям: обозначение дизайна исследования, упоминание об информированном согласии и рандомизации в клинических экспериментах, наличие контрольной группы, общее количество пациентов (экспериментальных животных), упоминание об использованном статистическом критерии и адекватности его выбора изучаемому объекту, форма указания уровня статистической значимости « p », форма представления точности оценки выборочного среднего, качество графической и табличной информации.

Результаты

Дизайн исследования. Многие исследователи считают медицинскую статистику наиболее сложным и интеллектуально емким методологическим компонентом исследования. На самом деле статистика является, хотя и сложным, но лишь инструментом исследования. Гораздо более важной методологической проблемой является правильное планирование исследования. В сборнике освежающего курса лекций Европейского конгресса анестезиологов 2005 года в лекции по доказательной медицине Smith A. приводит одно интересное замечание по поводу ценности статистики в научных публикациях . Он указывает, что “по сравнению со статистикой в статье гораздо более важны используемый метод, способ формирования выборки, методы клинического наблюдения и как пациент представлен в анализе” [6, с.164]. Речь идет о так называемом “дизайне” исследования.

Требования1 однозначно рекомендуют указывать дизайн и c следования (п. IV.A.1.b.), а Требования2 конкретно указывают, что о дной из главных задач раздела “Методы” является ясное и четкое описание организации проведения данного исследования (иногда применяются термины "структура", "план" или "дизайн" исследования. В международном медицинском сообществе значимость этого требования только начали осознавать, а для отечественного исследователя эти рекомендации скорее непонятны. Это обусловлено тем, что для правильного обозначения дизайна исследования необходимы специальные знания в области клинической эпидемиологии. Предмет этой науки в странах СНГ пока не преподается, а в развитых странах уже более десяти лет является базовым предметом медицинского образования. Общие сведения о предметном поле этой науки изложены нами в специальной публикации из серии статей, кторые посвящены доказательной медицине [7].

Прямое указание на дизайн и соответствующее представление результатов характеризует методологическое качество проведенного исследования. Только в четырех из сорока семи проанализированных публикаций прямо указано на дизайн клинического исследования. В одной из этих четырех публикаций исследование объявлено как “Обсервационное проспективное исследование”, остальные три, как “Рандомизированное клиническое испытание” (РКИ). В одиннадцати публикациях, исходя из текста, трудно понять о каком дизайне исследования идет речь.

В Требованиях1 (п. II - F ) указывается на то, что “Если в статье имеется описание экспериментов на человеке, укажите, соответствовали ли они этическим стандартам…”. Тоже указывается и в Требованиях2. По способу формирования выборки в 24 исследованиях использовалась контрольная группа, в 23 либо использовался дизайн “до-после”, либо сопоставлялись на одной выборке несколько диагностических тестов или изучались механизмы заболеваний на одной выборке. То есть в двадцати четырех исследованиях предполагалось объявление об информированном согласии и этическом комитете, но об этом упоминается только в тринадцати из сорока семи анализируемых публикаций. В одном прямо объявленном РКИ ( Leone M ., et al ., А-682, p .177), несмотря на достаточно жесткий клинический эксперимент у септических больных с высоким риском неблагоприятного исхода нет ссылок на заключение этического комитета и обеспечение информированного согласия. В 16 публикациях используется термин рандомизация для обозначения способа формирования групп исследований. Не во всех случаях упоминание о рандомизации соответствует описываемому дизайну исследования. Это свидетельствует о том, что исследователи не всегда понимали смыл этого термина.

В крупных международных медицинских журналах указание на дизайн и ссылка на протокол этического комитета при исследованиях с вмешательствами является одним из обязательных правил, без выполнения которых работы не принимаются к публикации.

Качество статистического анализа. Две трети исследований (32) прямо указывают на использованные в исследованиях статистические критерии. Чаще всего (10) использован дисперсионный анализ ( ANOVA ) в различных модификациях, широко используется анализ корреляций (9), t -критерий (7), регрессионный анализ (3), тест хи-квадрат (2), анализ характеристической кривой (2). В пяти случаях авторы ограничились процентным представлением результатов исследования.

Выборочные средние значения почти в половине публикаций (21) не сопровождаются характеристиками вариабельности. В большинстве случаев средние значения сопровождаются указанием стандартного отклонения и размера выборки. Только в одной публикации для оценки точности выборочного среднего используется стандартная ошибка среднего. В Требованиях1 и Требованиях2 в качестве наиболее корректной формы представления характеристик изучаемых выборок предлагается использовать доверительные интервалы (п. IV.A.6.c). Только в трех из сорока семи анализируемых публикаций выборки данных характеризуются 95% доверительными интервалами.

Требования2 рекомендуют указывать фактическую величину достигнутого уровня значимости "р" для используемого статистического критерия. В пятнадцати исследованиях не упоминается о достигнутом уровне статистической значимости, в половине случаев (23) используются выражения типа « p <0,05», и только в девяти исследованиях упоминается точное значение « p ».

В анализируемой выборке можно выделить также следующие характерные проблемы: материал исследования представлен в цифровом виде, но не проведен какой либо статистический анализ (№№ 64, 65, 76); проведен цифровой анализ без указания используемого статистического критерия и точного значения величины « p » (№№ 61, 66, 67, 71, 72, 78, 81, 82, 83, 89, 154, 662).

Ни в одной из анализируемых публикаций не проверяются условия возможности применения используемых статистических критериев. В частности, для использования t –теста не проверяется соответствие выборок нормальному закону распределения и равенство дисперсий сопоставляемых выборок. Это важное требование раздела описания статистических методов обработки материала трудно разместить в рамках регламента публикаций съезда, но мы лишь хотели напомнить актуальность этого требования, так как в отечественных публикациях тест Стьюдента является наиболее распространенным методом статистического анализа.

Некоторые примеры недостаточного методологического качества публикаций. Методологический анализ конкретных публикаций с учетом клинической значимости изучаемого вопроса позволяет лучше понять анализируемую проблему.

В исследовании Pascale S., et al ., (А-153, p .42) при изучении изменений вариабельности сердечного ритма (ВРС) под влиянием пневмоперитониума не обозначена конкретная цель и дизайн исследования, не упоминается использованный статистический критерий и точное значение величины « p ». В представленной таблице не расшифровываются изучаемый параметр ВРС и его размерность, среднее значение которого описывается с избыточным количеством знаков после запятой.

Польские анестезиологи Riznyk L. и Przesmycki K. из Люблинского университета (А-155, p .42-43) при изучении взаимоотношения между показателями ВРС и гемодинамическим ответом на интубацию не указали критерии включения в изучаемые группы и поэтому неясен дизайн исследования (по-видимому, это обсервационное исследование текущей практики без вмешательства). Цель исследования не достигнута, так как взаимоотношения между показателями ВРС и гемодинамикой обозначены как “высокий процент изменений”, но не представлено статистическое выражение этой тенденции.

При изучении взаимосвязи глубины анестезии и ВРС японские анестезиологи Kanaya N., et al. (А-105, p .28) разделили случайным образом 45 пациентов в группы индукции с использованием различных анестетиков. То есть исследование характеризуется применением рандомизации, но при этом не указывается на информированное согласие, этический комитет, не обозначается дизайн. А в самой публикации нет ни единой цифры и ни единого статистического критерия.

В исследовании Латвийских ученых из Рижского университета Vanags I., et al . (А-88, p .24) изучена динамика энтропии показателей ЭЭГ в зависимости от наличия фентанила в компонентах индукции при гинекологических операциях с использованием случайной выборки. Авторы указывают на использование t -критерия и метода доверительных интервалов, но в результатах исследования представляется только “ p < 0,05” вместо точного его значения и ни слова не говорится о доверительных интервалах полученных значений.

Венгерское исследование влияние добутамина на кровоток печени при септическом шоке Leiner T., et al. (А-679, p .179) обозначено как автоконтролируемое клиническое испытание (auto-control clinical trial). Скорее всего такое исследование правильно назвать "исследование до-после" (before-after study). При этом в работе ничего не сказано об этическом комитете, который мог бы разрешить вербовку (“were recruited”) пациентов в такой дизайн исследования. При обработке результатов использовали t-тест для парных выборок. Статистики исследования представлены точными значениями величины "p". Основной результат работы обозначатся показателем, который характеризует степень снижения индикаторного вещества в печени при введении добутамина. Этот показатель повышается с 14,7±6,7% до 16,1±8,7%, то есть кровоток в печени снижается при уровне статистической значимости p=0,22. На основании этого результата авторы делают вывод об отсутствии влияния добутамина на кровоток печени. В данном случае, отвергая альфа ошибку с вероятностью p=0,22, можно лишь заключить, что авторам не удалось доказать принадлежность двух выборок к различным генеральным совокупностям. Однако это не еще означает, что выборки принадлежат к одной генеральной совокупности, так как чувствительность используемого критерия при объеме выборки n=10 и полученное значение “ p ” никак не позволя ю т подтвердить выводы исследователей. Весьма вероятно, что при увеличении выборки вдвое в аналогичном исследовании будет достигнут критический уровень статистической значимости. То есть выводы авторов некорректны.

Одна из типичных проблем представления результатов клинических исследований заключается в широком использовании столбиковых диаграмм. Эту проблему на искусственно созданных примерах мы продемонстрировали в предыдущей публикации [1]. В этой публикации на реальном примере продемонстрируем эту же проблему для связанных выборок. Японские исследователи Ochiai R. , et al. ( А-58, p .16) изучили взаимосвязь транскутанного СО 2 и лактата плазмы до и после кардиохирургических вмешательств у двадцати взрослых. Для статистического анализа использован критерий хи-квадрат и измерение площади под характеристической кривой. Авторы доказывают, что показатель транскутанной углекислоты является адекватным индикатором состояния перфузии при операциях кронарного шунтирования. В целом, с учетом адекватного использования ROC - анализа, можно считать днное исследование достаточно качественным. Но вместо характристической кривой, которая в полной мере продемонстрировала бы полученные зависимости авторы использовали столбиковые диаграммы для демонстрации динамики изучаемых показателей до-после с указанием неопределенного параметра разброса показателей (рис.1.A). Такое представление динамики физиологического показателя до-после вмешательства неверно отражает клиническую сущность результатов исследования, так как не учитывается структура динамики показателя. Для анализа возьмем приведенную на рис.1.А в ы деленную столбиковую диаграмму транскутанного pCO 2 и продемонстрируем указанную проблему на искусственно созданных выборках, которые идентичны по параметрам средних и сохраняют статистически значимые различия (1.Б и 1.C ). Цифровые значения показателей в созданных выборках “Б” и “ C ” легко воссоздать исходя из приведенных графиков.

Искусственно созданные выборки, которые отображены на графике 1.Б демонстрируют один из возможных вариантов изменений pCO 2 , динамика которых соответствует выводам авторов. При тех же значениях параметров средних, которые отображены на исходном графике (1.A) искусственно созданный пример на рис.1.C показывает возможность существования скрытых клинически значимых закономерностей. В этом примере у двенадцати пациентов происходит прирост транскутанного pCO 2 с 33,8 до 57,1 мм .рт.ст., p=0,002 по критерию Вилкоксона, а у восьми - снижение pCO 2 с 50,1 до 39,0 мм .рт.ст., p=0,011, по критерию Вилкоксона. Пример этой выборки демонстрирует, что при некорректном способе отображения информации могут быть потеряны скрытые клинически значимые закономерности. В данном примере разнонаправленная динамика pCO 2 требует поиска факторов, которые определяют вектор изменения этого показателя после кардиохирургического вмешательства. Исходя из опубликованных данных нельзя исключить, что первичные данные в исследовании соответствуют примеру “ C ” , которые несут скрытые невыявленные закономерности. В таком случае корретная экспертиза научной публикации предусматривает запрос первичных данных у иследователя, что оговорено вышеуказанными рекомендациями.

Примеры качественной методологии исследований . Как правило, исследователи из Бельгии демонстрируют качественную методологию исследований. Типичным примером явилась публикация Bonhomme V., et al. (А-90, p .24-25) из Брюссельского университетского отделения анестезиологии, в которой представлены результаты сопоставления ЭЭГ и гемодинамических ответов на ларингоскопию и интубацию. В клиническом исследовании использована случайная выборка, указывается на одобрение протокола испытания этическим комитетом. Описание методов этого исследования включает указание на применение дисперсионного анализа, как методологического стандарта для анализа множественных сравнений.

Исследование французских ученых из Лильского университета Dierckens E., et al. (А-91, p .25) также отличается совершенством методов статистического исследования. В исследовании проведено сравнение энтропии ЭЭГ и биспектрального индекса при анестезиологическом обеспечении лапаротомий. При описании материалов и методов указывается на дизайн проспективного включения случаев в исследование, применение дисперсионного анализа, коэффициента корреляции Пирсона, указывается критический уровень статистической значимости для каждого критерия, используется анализ чувствительности и специфичности при помощи характеристической кривой (ROC-анализ) и представляются показатели площади под характеристической кривой, как критерии эффективности диагностического теста.

Одним из убедительных аргументов является качественное графическое представление результатов исследования. Анестезиологи из Норвегии Landsverk S.A., et al . (А-374, p .99) в предварительных исследованиях подвергли вайлет анализу показатели микроциркуляции по данным лазерной доплерометрии. В исследовании изучены изменения микроциркуляции под влиянием блокады нервных сплетений бупивакаином. Как и в предудущем случае (А-58) в данном исследовании также изучаются парные выборки, но результаты исследования отображены в виде графиков так называемых «ящиков с усами», параметрами которых являются медиана, квартили и 90 и 10 процентили (рис.2.А). Такое представление графиков и точное значение “ p ” дает наиболее полное представление о тенденциях распределения внутри выборок и вероятности их различий.

Аналогичное качественное графическое представление результатов исследования показали немецкие ученые Schnoor J., et al. (А-622, p .175), которые в лабораторном эксперименте изучали влияние дуоденотомии (группа B ) на подвижность проксимального отдела двенадцатиперстной кишки в сравнении с контролем (группа А). На графике обозначены ящик с усами с такими же параметрами (рис.2.Б). Графики информативно показывают принадлежность сопоставляемых выборок к одной генеральной совокупности. Это означает, что дуоденотомия не изменяет подвижность проксимального отдела двенадцатиперстной кишки.

ОБСУЖДЕНИЕ

Представленный анализ показывает, что методологически совершенное планирование клинического исследования и качественное его представление в печати является скорее исключением, чем правилом даже для стран с развитой системой биомедицинских исследований. С учетом известных исследований можно с высокой степенью вероятности предположить, что качество клинических исследований в Украине намного ниже, чем в приведенном анализе. Основной причиной этого являются сложившиеся в медицине традиции и особенности медицинского образования с одной стороны, а с другой – возникновение и бурное развитие ряда наук и технологий. К последним, в частности, относятся клиническая эпидемиология и информатика. Клиническая эпидемиология предлагает новые научные принципы проведения и оценки клинических исследований, а информатика - совершенно фантастические технологии для обеспечения качественной биостатистики. Сразу необходимо заметить, что обе указанные компоненты относятся к интеллектуальным, а не структурным ресурсам. Это означает, что в настоящее время при общедоступности информации и информационных технологий реальным капиталом становятся знания, а не материальные средства. Указанный факт убедительно показан в трилогии известного американского социолога-футуролога Элвина Тоффлера, который в последней своей книге (Метаморфозы власти, 1990) доказывает, что производство символов все более вытесняет производство материальных товаров. Качественное планирование, правильная организация и корректный анализ клинического исследования – все это символьный продукт. Для получения этого продукта необходимы, в первую очередь, глубокие знания. Качественный символьный продукт обеспечивает эффективную экономику, в том числе и здравоохранения. Чем быстрее общество осознает этот факт, тем более успешно будет осуществляться его развитие.

Что же необходимо для овладениям указанными знаниями? Фактически ничего кроме устойчивых мотивационных посылок личности и определенной степени интеллектуального напряжения будущих и нынешних исследователей. Указанная мотивация будет возрастать, если носитель знания в нашем обществе станет социально значимой личностью.

Проведенный анализ предполагает, что научный аудит может стать эффективным средством развития методологии клинических исследований. В рамках ассоциации специалистов необходимо обеспечить независимую и постоянную проверку методологического качества клинических исследований на этапе научного учреждения, журнального издания и материалов различных конференций. Только в этом случае у наших ученых появится реальная необходимость обеспечить безупречность своего исследования.

Выводы.

•  Анализ методологического качества научных публикаций европейского съезда анестезиологов 2005г. показывает, что большинство научных работ не соответствуют стандартам качества представления материалов клинических исследований.

•  Освоение стандартов методологического качества планирования, организации и анализа клинических исследований не требует мобилизации материальных ресурсов общества, кроме развития устойчивой мотивации для обладания этими знаниями.

•  Для создания мотивации у исследователя в улучшении качества биомедицинской украинской науки следует организовать систематический и прозрачный научный аудит на уровне исследовательского учреждения, периодического издания, материалов конференций.

Литература

1. Воробьев К.П. (2005) Проблемные вопросы представления материалов клинических исследований. Біль, знеболювання і інтенсивна терапія, №2, 71-80.
2. Бащинский С.Е. (2005) Качество российских научных пубаикаций, посвященных лечебным и профилактическим вмешательствам. Международный журнал медицинской практики, №1, 32-36.
3. Ланг Т. (2005) Двадцать ошибок статистического анализа, которые вы сами можете обнаружить в биомедицинских статьях. Международный журнал медицинской практики, №1, 21-31.
4. Abstracts and Programme Annual Meeting of the European Society of Anaesthesiology (2005) Viena, Austria, May 28-31 2005. European Jornal of Anaesthesiology, V.22.
5. Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication.- (2003) Updated November.- http://www.icmje.org/.
6. Smith A. (2005) Getting evidence into practice: how to read a paper and run a jornal club. Euroanaesthesia. Refresher course lectures, Viena 28-31 May, -pp.163-168.
7. Воробьев К.П. (2005) Доказательная медицина – новая методология медицинской практики. Часть III. Сущность клинической эпидемиологии. Український медичний альманах, №2, 32-36.