Мета-анализ — вершина доказательной пирамиды и святой грааль для многих исследователей, выводы которого зачастую воспринимаются как жирная точка в рассматриваемом научном вопросе. Но несмотря на все достоинства, мета-анализ может содержать ложные выводы и ошибки. В представленной статье Джон Иоаннидис говорит о подводных камнях в области мета-исследований: систематических ошибках, приводящих к искажению результата, в том числе о таких известных явлениях, как публикационное смещение, выборочное предоставление результатов и выборочный анализ данных.

У мета-анализа есть масса достоинств, но нередко он приводит к неверным и обманчивым результатам. В этом обращении к председателю SRSM (Society for Research Synthesis Methodology) я привожу примеры, иллюстрирующие данные проблемы, включая примеры мета-анализа как клинических, так и неэкспериментальных исследований. Я также затрагиваю проблемы определения величины эффекта, смещения (в частности, погоню за значимостью исследования) и достоверности мета-исследований. Я рассматриваю факторы, повлиявшие на достоверность мета-анализа, включая величину эффекта, множественность анализа, шкалу измерения данных, гибкость анализа, представление данных и конфликты интересов. В сложившихся обстоятельствах опрос экспертов мета-аналитиков, принявших участие во встрече SRSM, показал, что большинство из них полагают, что реальный эффект может с равной вероятностью находиться как в пределах 95% доверительного интервала мета-анализа, так и вне его. И, наконец, я расскажу о включении мета-анализа в более обширный нынешний план исследований и предложу несколько новых моделей мета-анализа. Во многих/большинстве/всех областях все первичные исследования могут быть спланированы, выполнены и интерпретированы как потенциальный мета-анализ.

Вступление

Я хотел бы начать с отказа от ответственности. Мне кажется, что как мета-аналитик я совершил слишком много ошибок. Возможно, почти всё в моей карьере было ошибкой, и большая часть того, что я не считаю ошибкой, тоже ошибочно. На этот доклад меня главным образом вдохновили мои собственные ошибки, убедившие меня в том, что мета-анализ — это великолепный дизайн исследования, в особенности если его результаты ошибочны, и нам повезло понять эти ошибки. В этом обзоре причин, по которым мета-анализ может быть ошибочным, я сначала приведу два конкретных примера из личного опыта, которые иллюстрируют некоторые противоречия и трудности, возникающие в ходе мета-исследования. Затем я приведу теоретические размышления и эмпирические подтверждения тому, что мета-анализ — это прекрасный способ наломать дров, и расскажу, как это можно и нужно исправить, если это вообще возможно. Это обращение к председателю, а не систематическая экспертная оценка, поэтому будьте внимательны: я могу снова оказаться не прав!

Случай первый: кортикостероиды при остром бактериальном менингите

Использование кортикостероидов для лечения пациентов с острым бактериальным менингитом было изучено по меньшей мере на 3883 пациентах в ходе 23 исследований, опубликованных начиная с 1963 года (согласно данным последнего мета-анализа). Здесь мы видим пример типичной ситуации, в которой мета-анализ, как предполагалось на протяжении многих десятилетий, может быть полезен: когда имеется много небольших испытаний, не позволяющих сделать определённые выводы (Sacks et al., 1987), и когда вам, возможно, хотелось бы выяснить и объяснить причины их неоднородности (Olkin, 1995). Количество доступных исследований и общий объём выборки немного больше, чем то, что мы в среднем видим в текущих медицинских мета-анализах (Moher et al., 2007), но не значительно.

Как и во многих других областях, количество опубликованных обзоров применения стероидов в лечении острого бактериального менингита значительно превосходит число опубликованных исследований. Поиск на PubMed по запросу «Обзор ИЛИ Мета-анализ» с (стероид ИЛИ кортикостероид ИЛИ дексаметазон) И менингит [‘Review OR Meta-analysis’ (steroid OR corticosteroid OR dexamethasone) AND meningitis] выдаёт 424 результата на июль 2010 г. Большинство из них — несистематические обзоры. Не все из них напрямую связаны с лечением острого менингита стероидами, но не будет ошибкой сказать, что в целом количество обзоров будет по меньшей мере в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы. К тому же, они по-прежнему получают безоговорочную поддержку самых престижных журналов и ведущих учёных. Например, Nature, Science и New England Journal of Medicine до сих пор практически полностью полагаются на несистематические экспертные обзоры при кратком изложении и популяризации науки.

Мы надеемся, что мета-анализ помогает в борьбе с несистематическими обзорами и предложит достоверные данные. Однако, не всё так просто. Для начала, у нас нет ни одного мета-анализа. Тринадцать из 424 результатов поиска отмечены тегом «мета-анализ». При ближайшем рассмотрении оказалось, что 11 из них действительно имеют отношение к применению стероидов при лечении острого менингита (Assiri et al., 2009; Coyle, 1999; Geiman and Smith, 1992; Ioannidis et al., 1994; McIntyre et al., 1997; Prasad and Haines, 1995; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009; Yurkowski and Plaisance, 1993). Но приводят ли результаты этих мета-анализов к одному и тому же выводу?

В блоке 1 я привёл некоторые дословные цитаты из шести мета-анализов (Ioannidis et al., 1994; McIntyre et al., 1997; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009), начиная с того, автором которого стал я в 1994 г. Я привожу только 6 из 11 мета-анализов простоты ради, и поверьте мне, ситуация была бы схожей, если не ещё более запутанной, приведи я все 11 анализов. Вот некоторые критерии включения/невключения работ: «Я не включил два мета-анализа потому, что они были опубликованы раньше, чем мой мета-анализ, а мне хотелось всем показать, что я был первым; один я пропустил в ходе первоначального отбора; в одном были слишком мудрёные данные; и ещё один я пропустил, потому что мне стало скучно, и к тому же оставалось мало времени на завершение этого обращения». Если эти критерии покажутся вам немного субъективными и недостаточно научными, вот вам ещё одно, более формальное (но не обязательно более честное) заявление, у которого больше шансов пройти экспертную оценку: «Я выбрал мета-анализы, опубликованные в ведущих медицинских журналах и библиотеке Кокрейновского сотрудничества, так как они с большей вероятностью будут отличаться высоким качеством, а также два недавно опубликованных анализа». Критерии включения/невключения — волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа. Давайте не будем забывать об этом, когда будем говорить о самом мета-анализе и о том, как выбирают, какие же данные и исследования в него включить.

В 1994 году, во время прохождения специализированной подготовки, я столкнулся со случаем сильного желудочно-кишечного кровотечения у ребёнка, получавшего дексаметазон для лечения острого бактериального менингита. При поддержке Джозефа Лау я провёл мета-анализ, в котором во всех комплексных испытаниях рассматривались четыре события (Ioannidis et al., 1994). Общее число свидетельств было очень мало (обычное дело для свидетельств существенного вреда вследствие медицинского вмешательства (Hernandez et al., 2008; Papanikolaou and Ioannidis, 2004)), но я пришёл к заключению, что эти негативные последствия нужно подвергнуть серьёзному рассмотрению и сопоставить с пользой (Ioannidis et al., 1994). Я не посмел тогда засомневаться в пользе стероидов. В то время её принимали как само собой разумеющееся. И не потому, что об этом свидетельствовали два предыдущих мета-анализа — в 1994 году мало кого волновали систематические обзоры. Её принимали как данность, потому что так утверждали все эксперты, а два маленьких исследования, опубликованных в New England Journal of Medicine в 1988 и 1991 годах, показали невероятно огромный номинально статистически значимый лечебный эффект (относительный риск значительно выраженного снижения слуха или глухоты — 0,07 и относительный риск неврологических и слуховых осложнений — 0,36), основываясь на ряде событий у 200 и 101 случайного выбранных пациентов соответственно (Lebel et al., 1988; Odio et al., 1991).

В 1997 году обновлённый мета-анализ (McIntyre et al., 1997) продемонстрировал более скромные результаты, и был сделан вывод, что стероиды действительно помогали справиться с некоторыми бактериями, но далеко не со всеми. В нём также говорилось о том, что сокращение продолжительности лечения до двух дней может уменьшить наносимый вред, хотя существенной разницы в случае серьёзных повреждений не наблюдалось. База данных систематических обзоров Кокрейнского сотрудничества впервые опубликовала систематический обзор на данную тему в 2003 году (van de Beek et al., 2003). В нём говорилось о существенной пользе дексаметазона при лечении детей и о том, что неблагоприятный эффект не увеличился, в то время, как о взрослых пациентах было предоставлено недостаточно данных. Так как Кокрейновский обзор отправляли в (электронные онлайн) издания, в конце работы авторы добавили список дополнений, потому что было опубликовано новое исследование, в котором утверждалось, что дексаметазон в два раза снижал смертность среди взрослых, и, следовательно, его нужно принимать всем взрослым (van de Beek et al., 2003). Кокрейновский обзор обновили в 2007 году (van de Beek et al., 2007). В то время несколько новых исследований не показали никакой пользы от стероидов. Авторы обзора заметили, что отличительной особенностью этих исследований было то, что они проводились среди детей из стран c низким уровнем дохода. Поэтому авторы обзора пришли к заключению, что применение стероидов эффективно в лечении детей из стран с высоким, а не низким уровнем дохода. Никого больше не волновал вред стероидов. В мета-анализе данных о взрослых пациентах, опубликованном в 2009 году, особо подчёркивалось, что стероиды нужно давать всем пациентам (Vardakas et al., 2009). Казалось бы, конец истории. Но затем в 2010 году (van de Beek et al., 2010) был опубликован детальный мета-анализ данных индивидуального уровня, в котором говорилось о том, что нет никаких подтверждений существенной пользы от стероидов в лечении менингита, независимо от того, какая группа была исследована. Добавление опубликованных групповых данных, которое не было доступно на индивидуальном уровне, не повлияло на данное заключение (van de Beek et al., 2010).

Блок I. Дословные выдержки из шести мета-анализов об использовании кортикостероидов в лечении острого менингита.

Lancet 1994.

Общее число случаев кровотечения при отсутствии коагулопатии составило 4 из 803 (0,5%). Среди пациентов, принимающих плацебо (n=397), таких случаев не наблюдалось, в сравнении с 4 случаями среди принимавших стероиды (n=406) пациентов. Разность рисков составила 0,71% c 95% доверительным интервалом от −0,65 до 2,08% (метод Дерсимоняна-Лейрда (DerSimonian and Laird model), 2p=0,31) и вероятностью 3,96 с 95% доверительным интервалом 0,85–18,48 (метод Мантеля-Хенцеля (Mantel-Haenszel model), 2p=0,08).

В целом, клинически значимые случаи желудочно-кишечных кровотечений редки среди детей с бактериальным менингитом. Избыточная частота возникновения, связанная со стероидами, вероятно, ниже 1%. Однако, данный эффект может быть серьёзным… Небольшое увеличение… могло быть клинически значимым и, возможно, его стоило сравнить с благоприятным неврологическим действием.

JAMA 1997.

При лечении менингита, вызванного гемофильной палочкой типа b, дексаметазон в целом уменьшает значительно выраженное снижение слуха (комбинированное отношение шансов (ОШ), 0,31; 95% доверительный интервал, 0,14-0,69).

Что касается пневмококкового менингита, то только исследования, в которых дексаметазон принимали на ранних стадиях, продемонстрировали существенную защиту от значительно выраженного снижения слуха (комбинированное ОШ, 0,09; 95% доверительный интервал, 0,0-0,71).

Дексаметазон не привёл к существенному увеличению негативных побочных эффектов, за исключением повторной лихорадки.

Доля пациентов с желудочно-кишечным кровотечением увеличилась при длительном лечении дексаметазоном (0,5% в контрольной группе, 0,8% при лечении в течение 2 дней и 3,0% при лечении в течение 4 дней).

ВЫВОДЫ: Доступные данные о вспомогательном лечении дексаметазоном подтверждают его пользу в лечении менингита, вызванного гемофильной палочкой типа b, и, если его принимают совместно с парентеральными антибиотиками или перед их приёмом, помогает в лечении пневококкового менингита у детей. Оптимальным может быть ограничение приёма дексаметазона до 2 дней.

Cochrane 2003.

При использовании кортикостероидов число нежелательных явлений не увеличилось в значительной мере.

ВЫВОДЫ ЭКСПЕРТА. Вспомогательное лечение кортикостероидами эффективно при остром бактериальном менингите у детей. Ограниченные данные о лечении взрослых демонстрируют пользу от вспомогательного лечения кортикостероидами, но для окончательных выводов необходимо проведение дополнительных исследований.

ДОПОЛНЕНИЯ. В процессе проверки данного систематического обзора были опубликованы результаты Европейского исследования дексаметазона при лечении бактериального менингита у взрослых. Из него следует, что в ходе рандомизированного двойного слепого многоцентрового исследования, в котором участвовал 301 взрослый, страдающий бактериальным менингитом, было выявлено снижение смертности, связанное с дексаметазоном (относительный риск смерти, 0,48; 95% доверительный интервал от 0,24 до 0,96; p=0,04). Следовательно, всем взрослым, страдающим бактериальным менингитом, следует принимать дексаметазон перед первой дозой антибиотиков или вместе с ней.

Cochrane 2007.

ЗАКЛЮЧЕНИЕ АВТОРА. В целом, кортикостероиды существенно снизили уровень смертности, значительно выраженное снижение слуха и неврологические осложнения. Взрослым с внебольничным бактериальным менингитом кортикостероиды нужно давать в сочетании с первой дозой антибиотиков. Данные также подтверждают эффективность использования кортикостероидов при лечении детей в странах с высоким уровнем доходов населения. Мы не обнаружили положительного эффекта при лечении кортикостероидами детей из стран с низким уровнем доходов населения.

European Journal of Neurology 2009.

Доступные на данный момент сведения говорят о том, что все взрослые, страдающие бактериальным менингитом, должны принимать дексаметазон

Lancet 2010.

Дексаметазон не был связан с существенным снижением смертности (270 из 1019 [26,5%] принимавших дексаметазон по сравнению с 275 из 1010 [27,2%] принимавших плацебо; ОШ 0,97, 95% доверительный интервал 0,79-1,19), смертности или серьёзных неврологических последствий или двусторонней глухоты (42,3 по сравнению с 44,3%; 0,92, 0,76-1,11), смертности или любых неврологических последствий или любой степени потери слуха (54,2 в сравнении с 57,4%; 0,89, 0,74–1,07), или смерти или двустороннего значительно выраженного снижения слуха (36,4 по сравнению с 38,9%; 0,89, 0,73-1,69).

Дексаметазон никак не повлиял ни на одну из ранее указанных подгрупп (включая особые болезнетворные микроорганизмы), предшествующее лечению дексаметазоном лечение антибиотиками, ВИЧ-статус или возраст.

Объединение данных по смертности с данными всех других опубликованных исследований не оказало существенного влияния на результаты.

ИНТЕРПРЕТАЦИЯ. Дополнительное использование дексаметазона при лечении острого бактериального менингита не оказывает существенного влияния на снижение смертности или неврологических последствий. Существенного эффекта не наблюдалось ни в одной из указанных подгрупп. Таким образом, польза от применения дексаметазона в качестве дополнительного лечения для всех или некоторых из подгрупп остаётся недоказанной.

Подведём итог развития событий:

1994: вопрос о пользе не стоит, но следует остерегаться негативных последствий;
1997: однозначная польза при борьбе с определёнными видами бактерий, ограничить применение до 2 дней во избежание негативных последствий;
2003: однозначная польза лишь для детей; негативные последствия не увеличились;
2003, поправка: наблюдается польза и для взрослых;
2007: польза только в странах с высоким уровнем доходов населения;
2009: явная польза, принимать всем, точка;
2010: вообще никакой пользы.

Итак, к чему мы пришли после полувека рандомизированных исследований стероидов в лечении острого менингита? Скорее всего, к тому, что стероиды не оказывают существенного влияния — положительного или отрицательного — на исход событий при лечении острого менингита. Пожалуй, это хорошее предположение почти для каждого случая медицинского вмешательства, которое можно сделать ещё до того, как были получены какие-либо данные. Однако, согласно последним полученным результатам и доверительным интервалам недавнего мета-анализа (van de Beek et al., 2010), следующие альтернативные сценарии пока исключать нельзя.

1. Стероиды умеренно полезны.
   2. Стероиды умеренно вредны.
   3. Стероиды и умеренно полезны, и умеренно вредны.

Само собой разумеется, результаты и выводы мета-анализов по данной теме использовались во множестве исследований. Другие авторы тоже пытались понять причины, по которым результаты мета-анализов противоречивы, и их рассуждения также отчасти противоречивы (Jadad et al., 1997; Katerndahl and Lawler, 1999; Linde and Willich, 2003), но некоторые сходства всё же есть. Я отметил некоторые причины в Таблице 1 и включил своё видение проблемы. Довольно опрометчиво делать выводы о том, какие же причины смогут объяснить противоречие по вопросу использования стероидов, в частности. Я подозреваю, что как и в большинстве случаев, это многофакторный процесс, в котором взаимодействует множество причин. Однако больше всего меня тревожит то, что и по сегодняшний день мета-анализ остаётся ретроспективным занятием. Почти все выводы из Таблицы 1 могут быть сделаны постфактум после просмотра данных или фрагментов первоначальных исследований. Разные данные, разные анализы и разные интерпретации дают возможность прийти к любому желаемому заключению.

Таблица 1. Некоторые причины противоречий в мета-анализах на одну и ту же тему.

- Разная постановка вопроса исследования

- Разные источники данных

- Разные стратегии поиска

- Разный хронометраж (изменение/накопление данных)

- Разные критерии включения/невключения данных для дизайна исследования

- Разные критерии включения/невключения подходящих популяций

- Разные критерии включения/невключения для параметров, дополнительных вмешательств и других особенностей

- Ошибки в первичных данных

- Ошибки в извлечении данных

- Различия в устранении неопределённости и разрешении конфликтов при выборе исследования и очистке данных

- Различия в извлечении неопубликованных данных

- Различия в определении результатов

- Разные критерии для проведения количественного синтеза

- Разные модели статистического анализа

- Разница в использовании анализа подгрупп, мета-регрессий и других видов исследовательского анализа

- Выборочное представление результатов мета-анализа

- Разное использование и интерпретация неоднородности показателей

- Разница в использовании критериев для определения смещения и интерпретации результатов их применения

- Неуместный акцент на возможных противоречиях, которые не обязательно являются таковыми (не исключено)

Прежде чем перейти к рассмотрению следующего случая, я хотел бы представить вам информацию о том, какие из статей о стероидах и менингите стали наиболее авторитетными. В целом, в последнее десятилетие именно на мета-анализ чаще всего ссылаются в медицинской литературе (Patsopoulos et al., 2005). Это может быть как благом, так и проклятием. Однако это не проблема для литературы о стероидах и менингите. Согласно ISI Web of Science, четырьмя наиболее цитируемыми работами остаются два ранних исследования, в которых был выявлен огромный лечебный эффект, что явно несопоставимо с медицинской реальностью (словом, с любой реальностью), ещё одно исследование, которое обнаружило невероятный лечебный эффект среди взрослых, и несистематический обзор, одобряющий использование стероидов, — все 4 были опубликованы в New England Journal of Medicine. Возможно, мета-анализ и не привёл к каким-то общим выводам, однако обнадёживает тот факт, что 4 другие самые цитируемые работы также были ошибочными.

Случай второй: в поисках генов болезни Паркинсона

Охота за генетическими факторами распространённых болезней стала популярной темой для мета-анализа. Лично я наделал в ней множество ошибок. В этой области имеется настолько много исследований и данных, что невозможно устоять перед искушением использовать их для мета-анализа. Муин Хури придумал термин HuGE (от англ. Human Genome Epidemiology — эпидемиология генома человека), продемонстрировав прекрасное понимание ситуации (Khoury and Little, 2000). Только по теме болезни Паркинсона на июнь 2010 года было опубликовано 757 статей о генетических ассоциациях, в которых говорится об обнаружении 2398 различных однонуклеотидных полиморфизмов, и 7 полногеномных поисков ассоциаций, в которых были рассмотрены сотни тысяч полиморфизмов (www.pdgene.org, 2010). Уже опубликовано несколько десятков мета-анализов с «положительными» результатами (читай как «номинально статистически значимые ассоциации, p<0,05»). Однако совсем немного генетических локусов успешно прошли репликацию и выдержали тщательные проверки. Вероятнее всего, на данный момент мы нашли всего 4-5 локусов, в которых полиморфизмы бесспорно связаны с риском возникновения болезни Паркинсона. Остальные положительные результаты подтвердить не удалось.

В 2004 году я стал соавтором мета-анализа (Maraganore et al., 2004) данных индивидуального уровня по UCHL1 (убиквитин-карбоксиконцевая гидролаза L1), которым я очень гордился. В него включили всех ведущих исследователей, которые опубликовали работы о взаимосвязи UCHL1 с болезнью Паркинсона, а ведущие статистики и эпидемиологи из «Мейо Клиник» (Mayo Clinic) проводили анализ. Для меня было честью принимать участие в этой работе. Данные были очищены, стандартизированы и централизованно проанализированы — всё было прозрачно. На реализацию проекта ушло примерно 2 года, и конечный результат, как ясно из заголовка, казался окончательным: «UCHL1 — ген предрасположенности к болезни Паркинсона». P-значение суммарного эффекта достигало 0,001. Следует учитывать, что в то время значение p=0,001 считалось убедительным в области эпидемиологии и продолжает оставаться таковым во всех тех областях эпидемиологии и клинических исследований, на которых не отразились изменения в полногеномном поиске ассоциаций (Ioannidis et al., 2009; McCarthy et al., 2008), где были агностично протестированы миллионы полиморфизмов. В обсуждении работы 2004 года (Maraganore et al., 2004) мы тщательно изучили и исключили возможность систематической ошибки. Изначально я предложил не использовать воронковый график и связанные с ним критерии асимметрии, так как в то время я уже начал задумываться о том, что они недостаточно чувствительны и специфичны для обнаружения систематических ошибок. Но рецензенты настояли на том, что мы должны «продемонстрировать воронковые графики и критерий Эггера, чтобы исключить возможность публикационного смещения». Поэтому в опубликованную работу включены воронковые графики во всей своей красе, и добавлено утверждение: «воронковые графики и критерий Эггера не выявили публикационного смещения» (Maraganore et al., 2004).

Двумя годами позже в том же журнале, самом престижном в области неврологии, была опубликована работа (Healy et al., 2006) с заголовком прямо противоположным нашему: «UCHL1 не является геном предрасположенности к болезни Паркинсона». Мы включили 4194 случая и представителей контрольных групп в наш исходный мета-анализ. Опровержители провели новое исследование с 3023 участниками, а также провели новый мета-анализ, включивший в себя многие (но не все) из тех исследований, которые использовали мы. Общий размер выборки возрос до 6594 участников. Как в повторном исследовании (репликации), так и в новом мета-анализе все точечные оценки суммарных отношений шансов были в диапазоне 0,96-1,01. По результатам основного анализа отношение шансов составило 1,00. Доверительные интервалы оказались достаточно узкими, а все p-значения — очень далекими от номинальной значимости. Результаты были довольно убедительными.

Но и на этом история не закончилась. Три года спустя появился новый мета-анализ связи гена UCHL1 и болезни Паркинсона, включивший 18 исследований — я не смог найти общий размер выборки мета-анализа в работе (Ragland et al., 2009). Мутация в этом гене была связана с номинально значимым эффектом у европеоидов при доминантной модели (p=0,02) и у азиатов при рецессивной модели (p=0,006). Авторы мета-анализа пришли к положительному выводу в пользу присутствия умеренной достоверности (Ioannidis et al., 2008). Это и остаётся самой свежей официальной точкой зрения в опубликованной литературе по состоянию на лето 2010 года: UCHL1 влияет на риск развития болезни Паркинсона. Но вскоре, в рамках консорциума Генетической эпидемиологии болезни Паркинсона, мы решили провести новый мета-анализ вопроса о UCHL1, включая опубликованные и новые ожидаемые генотипированные данные всех команд консорциума (на данный момент в количестве 40), в котором мы хотели наконец разобраться с этим спорным вопросом. Мета-анализ консорциума индивидуального уровня (неопубликованные данные, личное общение) снова продемонстрировал суммарное отношение шансов приблизительно равное 1,00, а доверительные интервалы исключили увеличение или уменьшение относительного риска на 10%, основываясь на куда большем объёме информации, чем в последнем опубликованном мета-анализе. Этот ожидаемый мета-анализ ещё не был опубликован. И я не уверен, что он будет опубликован, т.к. демонстрирует отрицательный результат. Есть вероятность, что UCHL1 будут ещё долго обвинять в причастности к болезни Паркинсона в публикуемой литературе. Ошибочность этого заявления может быть известна посвященным, но не широкой научной общественности. Подозреваю, что в научной литературе полно такого мусора, и его так и не убрали.

Какова побочная выгода от того, что никто не убирает остатки неподтверждённых гипотез? Во-первых, наш мета-анализ 2004 года по прежнему часто цитируют, т.к. согласно официальной научной литературе и последнему слову в науке мета-анализа, UCHL1 — это ген, отвечающий за болезнь Паркинсона. Во-вторых, несколько лабораторий всё ещё получают миллионы долларов, евро и юаней на изучение этого важного гена. В-третьих, все последующие гипотезы, зависящие от информации о гене UCHL1, строятся на неверных предположениях. Ошибок становится всё больше.

Некоторые первоначальные мысли: величина эффекта и место мета-анализа

Мета-анализ был бы прекрасной идеей, если бы доступная информация по любому вопросу была представлена случайной выборкой из огромной вселенной потенциальной информации, которая могла бы быть собрана с использованием объективных методов и несмещённых измерений. В таком случае можно было бы ожидать существенную неопределённость в оценке эффекта при появлении первых данных, но неопределённость снижалась бы с появлением дополнительной информации, а точечная оценка эффекта оставалась бы непредвзятой на протяжении всего исследования. То же было бы применимо и к влиянию потенциальных модификаторов. Однако у нас есть существенные подтверждения тому, что во многих областях величина эффекта изменяется с течением времени.

Многие эффекты со временем снижаются (Gehr et al., 2006; Ioannidis, 2005a, 2006; Jennions and Moeller, 2002; Krum and Tonkin, 2003; Leimu and Koricheva, 2004; Trikalinos et al., 2004; Zollner and Pritchard, 2007). Печально известные нереплицирующиеся снижающиеся эффекты присутствуют в некоторых дисциплинах, таких, как изучение генетических связей гена-кандидата и фаз сцепления (Ioannidis, 2006; Zollner and Pritchard, 2007). Но эта проблема присуща даже исследованиям с самым точным дизайном, например рандомизированным исследованиям медицинского вмешательства (Gehr et al., 2006; Ioannidis, 2005a; Krum and Tonkin, 2003; Trikalinos et al., 2004). Проблема затрагивает как примитивные, так и лучшие и самые влиятельные рандомизированные исследования (Ioannidis, 2005a). Примерно четверть эффектов, представленных в самых цитируемых рандомизированных исследованиях, опровергнуты или признаны преувеличенными (более чем в два раза) в сравнении с эффектами, просматриваемыми в гораздо более крупных испытаниях, проведённых в течение десятилетия (Ioannidis, 2005a).

Важно отметить, что в большинстве случаев обнаружения таких крупных противоречий в ранних исследованиях, мета-анализы редко служили инструментом для влияния на общественное и экспертное мнение, хотя могли бы играть эту роль куда чаще. Обычно это было привилегией отдельных крупных и хорошо организованных исследований. Как только происходило опровержение, тут же появлялись мета-анализы. В неком смысле, мета-анализы каждый раз следовали веяниям моды. В тех редких случаях, когда мета-анализы смели подвергнуть сомнению превалирующее мнение, например, в случае эффективности рентгеновской маммографии (Gøtzsche and Olsen, 2000) или токсичности росиглитазона (Nissen and Wolski, 2007), мета-аналитики навлекали на себя бурную и даже гневную реакцию научного сообщества и корпораций. Почему-то, несмотря на то, что мета-анализ со временем стал престижным, многие всё ещё считают его вспомогательным методом, который не способен изменить или подвергнуть сомнению научные заключения. Мета-анализ охотно принимают, когда он не подвергает сомнению экспертное мнение или общественную политику, и получает одобрение, когда подтверждает экспертное мнение. Мета-анализ, который ставит под сомнение общепринятое экспертное мнение, часто считают еретичеством.

Конечно, многие мета-анализы не демонстрируют снижение эффекта со временем. Величина эффекта может оставаться постоянной (и даже увеличиваться) в некоторых мета-анализах. Это может говорить о наличии реальных эффектов. Однако нужно исключить ещё одну альтернативу: смещение может быть настолько большим, что оно даже не позволяет возникнуть опровержению. В таких случаях литература кристаллизируется вокруг ложных утверждений.

Систематические ошибки мета-анализа

Ошибка может быть классифицирована как случайная или систематическая (смещение) (Ioannidis, 2005b). Обычно и тех, и других хватает в любой области исследований. По сути, случайную ошибку можно представить как один из видов смещения с определёнными свойствами, например, ожидаемое (но не обязательно наблюдаемое) среднее равное 0. Но я буду придерживаться традиционного определения. Считается, что с помощью мета-анализа можно снизить относительную важность случайной ошибки. Но от этого была бы реальная польза, если бы смещение тоже уменьшалось или хотя бы не увеличивалось в процессе.

Мета-анализ несёт в себе систематические ошибки всех тех фрагментов данных, из которых он состоит. Это привело к тому, что противники мета-анализа бесцеремонно поднимают избитый спор о том, что мета-анализ — это «мусор на входе — мусор на выходе». Однако, это не обязательно недостаток (Ioannidis and Lau, 1999). В этом отношении систематический обзор предоставляет полезную возможность исследовать, определить и описать эти систематические ошибки. Возможно, что ещё более важно, мета-анализ предоставляет возможность выделить систематические ошибки, характерные для всей области исследования, а не для отдельно взятых работ.

Самая притягательные из них те, которые можно объединить в группу под названием «систематические ошибки, совершаемые в погоне за значимостью». Они включают в себя публикационное смещение, выборочное предоставление результатов, выборочный анализ данных и фабрикацию (Рисунок 1) (Dwan et al., 2008).

Самой обсуждаемой проблемой стало публикационное смещение (Rothstein et al., 2005). Почему-то главным поводом для беспокойства в литературе стало то, что существуют неизвестные исследования, но они пропадают в ящике стола. Хотя я и считаю, что эта проблема более распространена, чем несуществующие исследования, которые, тем не менее, попадаются на глаза (фабрикации, явная фальсификация), я подозреваю, что публикационная ошибка для целых исследований — не самая большая проблема в большинстве научных областей. Выборочное представление и выборочный анализ отдельных данных являются самой большой и сложно обнаруживаемой проблемой, вызывающей тревогу у авторов во многих областях (Chan and Altman, 2005; Chan et al., 2004a,b; Contopoulos-Ioannidis et al., 2006; Mathieu et al., 2009). Выборочное предоставление результатов, которое реализуется через сокрытие информации об отдельных результатах, схоже с публикационным смещением в том, что «отрицательные» результаты могут быть не опубликованы. Представление результатов выборочного анализа может ещё чаще встречаться во многих областях. Оно заключается в том, что результаты, которые должны были оказаться «отрицательными» согласно точному, заранее определённому плану анализа (если он вообще существовал), анализируют таким образом, что они становятся «положительными». Между этими видами недобросовестного обращения с данными существует континуум, так как часть анализа подразумевает определение и обработку конечной информации (Chan and Altman, 2005; Chan et al., 2004a,b; Contopoulos-Ioannidis et al., 2006; Mathieu et al., 2009). В некоторых областях исследования представляют собой нечто размытое и могут быть равносильны оценке результата, анализу или нескольким результатам и анализам, собранным вместе удобства ради.

Я раньше также использовал термин «ошибка многообразия результатов» (Contopoulos-Ioannidis et al., 2006) (или ошибка лернейской гидры, в честь многоголового монстра, который доставил Геркулесу немало хлопот своей множественностью) для описания схожих проблем. Например, в неудачном мета-анализе (Contopoulos-Ioannidis et al., 2006) в 21 исследовании двух факторов генетического риска, которые могут влиять на ответ на терапию астмы бета2-агонистами, мы обнаружили 384 различных типа анализа разнообразных результатов и определений факторов генетического риска. Если бы их все проанализировали и представили результаты во всех исследованиях, мы получили бы 21×384=8064 эффекта. Однако были представлены лишь 485 (6%) эффектов, из которых только 243 (50%) были обозначены статистически незначимыми, в то время как остальные 244 были отмечены как многообещающие. Насколько нам известно на данный момент, скорее всего оба варианта никак не влияют на ответ на терапию астмы бета2-агонистами. Следовательно, вероятнее всего были исследованы по меньшей мере несколько тысяч эффектов, о большинстве из которых не сообщили, а некоторые превратили из «отрицательных» в «положительные». Такая интерпретация этих данных наиболее вероятна ещё и потому, что (хотя бы в теории) почти во всех данных исследованиях могли быть легко измерены все/большинство данных эффектов, даже если не все 8064 были измерены.

В Таблице 2 я привожу предполагаемый процент эффектов, которые не были представлены в различных областях исследований, основываясь на некоторых эмпирических данных (таких, как только что описанное мной исследование, и