“Еще одна вакцина со средней эффективностью и недоказанной безопасностью”

Примерно так, по мнению специалистов общества доказательной медицины, следовало бы озаглавить недавнее клиническое исследование Спутника V. Об этом они написали на днях в своей статье-комментарии. Уже при беглом взгляде на эту “статью” читается чрезвычайное желание авторов любыми способами дискредитировать данное исследование. Опубликованное в Lancet исследование Спутника V очевидно построено по аналогии с вышедшими ранее исследованиями вакцин от AstraZeneca и Pfizer. Многие замечания в этом комментарии в той же, или даже в большей степени, справедливы и в отношении исследований AstraZeneca и Pfizer. Тем не менее, те исследования, которые вышли еще в декабре, почему-то не вызвали вопросов. Борьба за “чистоту” клинических испытаний ограничилась борьбой с отечественными учеными и медиками.

Да, статья про Спутник V имеет ряд недочетов, на которые авторы комментария справедливо указывают. Это и отсутствие детального протокола, и исключение 34% пациентов из анализа безопасности в связи с задержкой в получении информации. Но, на мой взгляд, они все-таки сильно перестарались с критикой, что вызывает вопрос относительно истинных мотивов и целей авторов. Больше похоже, что их основной целью является не борьба за объективность и стремление к истине, а демонстрация лживости и фактической никчемности исследований и препаратов, произведенных в Мордоре, а обсуждаемая статья лишь жирный мазок в общей картине. При этом авторы не гнушаются необоснованных обвинений, игнорирования фактов и других манипулятивных приемов, против которых, по идее, сами и выступают. К тому же это очень хорошо ложится на подготовленную аудиторию, в голове у которой уже почти сформирована цельная картина “реального” положения дел.

Но, в сторону эмоции, вернемся к фактам. Ниже я привожу выдержки из комментария и мои контраргументы, на которых и основано мое мнение.

Про необоснованное исключение на начальном этапе

Так, планировалось к включению в исследование 40000, обследовано 35963, фактически включено 33758 (сообщено на clinicaltrials.gov, “actual enrollment”), рандомизировано 21977, анализируется по основному исходу (названному таковым в регистре) и серьезным нежелательным явлениям 21862, по еще одному исходу (названному в статье основным) — 19866, по нежелательным явлениям — 12296. Таким образом, публикуемые результаты получены на селективных группах, и имеются признаки необоснованного исключения случаев.

Есть перечень критериев для исключения, в т.ч.: респираторные инфекции, вакцинация, прием стероидов и иммуноглобулинов (30 дней за), иммуносупрессоров (3 месяца за), беременность и кормление грудью, острая сердечная недостаточность или инсульт (1 год за), аллергии, чувствительности к лекарствам и побочные реакции на вакцины, татуировки в области инъекции, алкогольная и наркотическая зависимости и др. Разве под эти критерии не могли попасть 39% исключенных на начальном этапе? Почему это непременно следует расценивать как необоснованное исключение?

Про протокол

Лишь из этой статьи мы узнаем, что протокол, отраженный в кратком описании РКИ на сайте clinicaltrials.gov (NCT04530396), был исправлен 5 ноября 2020, что не отражено в этом регистре. Нам сообщается лишь, что тогда было принято решение провести три промежуточных анализа данных. В эту статью включены результаты анализа на 24 ноября 2020 г.

...

Основной анализ должен выполняться в соответствии с протоколом. Отклонение от протокола в ходе анализа допустимо, но результаты такого анализа обычно рассматриваются как поисковые, требующие дополнительного подтверждения в отдельном эксперименте.

• Все изменения в системе clinicaltrials.gov отражаются автоматически в истории версий.
• Детали расчета эффективности на сайте clinicaltrials.gov не указываются.
• У AstraZeneca и Pfizer протоколы тоже менялись по ходу, в частности менялась методика подсчета эффективности. Это нормально.
• Pfizer: “To better align with the natural history of SARS-CoV-2 infection, added Phase 2/3 secondary efficacy objectives, estimands, and endpoints to include COVID-19 cases that occur from 14 days after the second dose; also modified the existing secondary efficacy objectives, estimands, and endpoints to include COVID-19 cases that occur from 14 days, as well as 7 days, after the second dose;”
• AstraZeneca: “Primary endpoint for COV003 for IA1 was removed; endpoints related to first dose/first dose+22 days were added”

Про эффективность

При анализе в срок с введения первой дозы эффективность вакцины составляет 73,1% (расчет авторов статьи). Заявленная и вынесенная в заключение статьи как основной результат эффективность 91,6% получается в случае исключения дней до получения второй дозы из анализа. Для этого варианта анализа есть основания, но эти основания были хорошо известны и в период разработки протокола. Основной анализ должен выполняться в соответствии с протоколом. Отклонение от протокола в ходе анализа допустимо, но результаты такого анализа обычно рассматриваются как поисковые, требующие дополнительного подтверждения в отдельном эксперименте.

• В чем проблема по существу? В том, что с самого начала не указали в деталях, как будет рассчитываться эффективность, не смогли всего предвидеть? Этот расчет чем-то хуже или менее объективен, чем у других? Нет. Скрыты данные о больных до второй инъекции? Нет. Та же AstraZeneca не использует данные до 14 дней после 2-ой инъекции, при том что это существенно повышает расчетную эффективность (с 64% до 90%, и то не для всех). Для Pfizer эффективность до 2-ой инъекции составила 52%, а основной результат в 95% посчитан для периода с 7 дней после 2-ой инъекции. И все эти методики расчета были модифицированы по ходу исследования (см. выше). По логике Власова с соавторами в случае Спутника следовало использовать максимально “честный” расчет, невзирая на опыт и пример конкурентов, опубликоваться в Вестнике и не выё. Отчего же они тогда не выступают с разоблачениями исследования той же AstraZeneca, в котором, по их логике, использовали еще более натянутый расчет?

Про бессимптомных больных

Обсуждая ограничения проводимого РКИ, авторы отмечают, что случаи заболевания COVID-19 выявлялись путем самонаблюдения пациентов, оценивались врачом и подтверждались ПЦР. Таким образом, бессимптомные случаи заболевания не выявлялись.

• Это, собственно, не сильно отличается от AstraZeneca и Pfizer. Да, там планово берут мазки на ПЦР (хотя и не везде), но при этом положительного мазка недостаточно, и нужны еще симптомы.
• Из протокола AstraZeneca. Регулярные мазки брали лишь у половины испытуемых (исследования COV002 (UK) и COV005 (South Africa)). Про бразильскую группу и еще одну в UK (COV003 и COV001) не сказано. При этом событиями считали “Virologically-confirmed symptomatic cases of COVID- 19“, а именно “PCR-confirmed SARS-CoV-2 and at least one of the following symptoms: objective fever (defined as ≥ 37.8 °C), cough, shortness of breath, anosmia, or ageusia” (п.9.1.1).
• В протоколе Pfizer мазки берутся в на 1-ый день и через 19-23 дня (п. 1.3.3 протокола). Одного положительного теста тоже не достаточно, нужен хотя бы еще один симптом (температура, кашель, одышка, сопли, потеря обоняния - пп. 8.1 и 8.13 протокола).

Власов с соавторами справедливо отмечают, что "Проблема с выбором первичного исхода в виде клинически выявляемого заболевания присутствует не только в данном испытании, но и в испытаниях других вакцин против COVID-19." Но почему ж тогда они не возмущались в декабре, когда вышли те другие исследования?

Про статистику

В данном исследовании сроки наблюдения за участниками существенно варьируют. Поэтому только анализ времени до события может считаться правильным, но его результаты в статье не приведены. Предъявлен только рисунок 2. Наша реконструкция данных показывает статистически значимое различие групп в лог-ранговом тесте (Р<0,001). Мерой величины эффекта в этом случае должен являться показатель относительной опасности (Hazard ratio). Приведенный в статье расчет эффективности представляется некорректным.

• Если пациенты в сравниваемых группах распределены по срокам наблюдения одинаково, то использованный анализ легитимен. А эти распределения для групп вакцинированных и плацебо почти идентичны (с коэффициентом 1:3):

При оценке риска систематического смещения результатов с использованием Кокрановского инструмента ROB мы получаем, что вследствие наличия пропусков в данных об исходах и выраженного конфликта интересов у авторов риск систематических смещений результатов исследования высокий.

• Это, видимо, образец, как надо правильно писать медицинские тексты с точки зрения “специалистов доказательной медицины”. Подробно, однозначно и объективно! Логунову с соавторами стоит поучиться.

Про научную составляющую

В статье приводятся данные об иммуногенности вакцины. Они получены при анализе проб крови от участников РКИ, которых можно назвать «выборкой удобства». Авторы не приводят доказательств того, что эта выборка репрезентативна по отношению ко всем участникам РКИ. Соответственно, мы воздерживаемся от рассмотрения этих результатов.

• Такие исследования проводятся для демонстрации механизма действия вакцины: какие ветви иммунитета она активирует у каких групп пациентов, какие специфичности формирует. Эта часть не имеет целью статистически доказать общую эффективность. Проведение этого исследования на “выборке удобства” вполне обосновано и это обычная практика. Чтоб изучить механизм иммунной реакции глупо брать пациентов, у которых нет этой реакции или она наложена на другую сложную клиническую картину.

Про безопасность

До настоящей эпидемии в мире не было одобрено аденовирусных векторных вакцин и сокращенное испытание принципиально новой технологии, предназначенной для массового применения, не может не вызывать озабоченности.

• Спутник V не первый аденовирусный препарат. Клинические испытания аденовирусных векторных вакцин ведутся с 1993 года. На сайте Спутника есть ссылки на эти исследования. Число вакцинированных аденовирусами более 200 000. Этот опыт можно использовать? Или нужно непременно с чистого листа, по новой все доказывать?

Про летальные случаи

Данные об умерших недостаточны. В частности, не указан возраст двух умерших от COVID-19 пациентов в группе вакцинации. Эти случаи расценены авторами как включенные в инкубационном периоде заболевания. На наш взгляд, такая простая интерпретация недостаточна. Требуется гораздо более подробное описание этих двух случаев.

• Тем не менее, детали смерти описаны довольно подробно. Из группы вакцинированных один без COVID - перелом позвоночника - и два с СOVID. Для последних двух описания обстоятельств смерти занимают по полстраницы.

Про опечатки

На рис. 2 количество людей, наблюдаемых в группе вакцинации, на 20-й день больше, чем на 10-й день (15717 и 15338). Это невозможно, как невозможно стать двадцатилетним, не быв ранее десятилетним.

• Провакцинировали 16 427 человек, им сказали объявиться через 10 и через 20 дней? Через 10 объявилось 15 338 человек, а через 20 - 15 717. Такое возможно? Какие тогда значения нужно использовать для расчета процента? Где сказано, что эти числа - это число наблюдаемых пациентов, а не числа, использованные для расчета статистики? Уместность сравнения тоже характеризует посыл и объективность статьи.

UPD 9.02

Должен покаяться, здесь я не прав. Это справедливое замечание. Если не известно, что с пациентами происходило через 10 дней, то их следует исключать из исследования. Может они переболели в это время. Включать тех, кого до этого не учитывали тоже нельзя. Ошибка, похоже, в цифре 15 717, т.к. это явный выброс на графике выше.

В заключение

По возможности я старался быть объективным, хотя тоже имею свою позицию и сложно от нее полностью абстрагироваться. Надеюсь, что я хотя бы смог в ком-то зародить желание критически отнестись к этому материалу.