Думай «почему?». Причина и следствие как ключ к мышлению - Джудиа Перл Страница 39

Другой ключевой момент в эксперименте Даниила в том, что он предполагался в будущем, а экспериментальные группы были подобраны заранее. По контрасту представьте, что вы смотрите рекламный ролик, в котором 20 человек все как один рассказывают, что сбросили вес на такой-то диете. Со стороны это довольно приличная выборка, поэтому некоторым зрителям ролик кажется убедительным. Но на самом деле это означает, что принимать решение придется, основываясь только на опыте людей, для которых она заведомо сработала. Из жизненного опыта вы знаете, что на одного человека, которому диета помогла, приходится десяток таких же, как он или она, которые тоже ее пробовали, но безрезультатно. Но их, конечно, не станут показывать в рекламном ролике.

По всем этим показателям эксперимент Даниила был очень современным. Контролируемые заранее планируемые эксперименты по-прежнему остаются фирменным знаком хорошей науки. Однако об одной важной вещи Даниил не подумал: это систематическая ошибка. Допустим, что Даниил и его друзья изначально здоровее, чем контрольная группа. В этом случае их здоровый внешний вид на десятый день диеты может быть никак не связан с самой диетой: он лишь отражает их общее здоровье. Не исключено, что они выглядели бы даже лучше, если бы согласились есть мясо со стола царя!

Рис. 21: Самая базовая версия путаницы: Z — это путаница в предполагаемой причинно-следственной связи между X и Y.

Систематическая ошибка наблюдается, когда некая переменная влияет на представителей одновременно и подопытной, и контрольной групп. Иногда эти вмешивающиеся переменные известны; в других случаях о них можно только догадываться и они действуют как скрытые переменные. На каузальной диаграмме вмешивающиеся переменные, или конфаундеры, легко распознать: на рис. 21 переменная Z в центре вилки осложняет переменные X и Y (позже мы увидим более универсальное определение, но такой треугольник — самая узнаваемая и распространенная ситуация). Из диаграммы легко понять, почему вмешивающуюся переменную называют конфаундером. Истинный каузальный эффект X → Y осложняется ложной корреляцией между ними, возникающей в результате вилки X ← Z → Y. Например, если мы тестируем некое лекарство и даем его пациентам, которые в среднем моложе, чем контрольная группа, возраст становится конфаундером — скрытой третьей переменной. Если у нас нет данных по возрастам испытуемых, мы не сможем отделить истинный эффект нашего препарата от ложного эффекта.

Однако верно и обратное. Если у нас есть измерения третьей переменной, то разделить истинный и ложный эффекты становится очень просто. Так, если вмешивающаяся переменная — это возраст, мы сравниваем опытную и контрольную группу в каждой возрастной группе отдельно. Затем можно усреднить воздействие, подсчитывая вес каждой группы соответственно ее проценту в целевой популяции. Этот метод компенсации знаком всем статистикам: он называется «корректировка по Z» или «поправка по Z».

Как ни странно, статистики одновременно и недо-, и переоценивают важность корректировки по конфаундеру. Переоценка заключается в том, что поправки вводятся по слишком многим переменным или даже по переменным, по которым их вводить неправильно. Недавно я наткнулся на цитату из политического блогера по имени Эзра Кляйн, в которой эта гиперкорректировка описана весьма точно: «В статьях это попадается постоянно. „Мы скорректировали данные по…”. Далее следует список, чем он длиннее, тем лучше. Уровень дохода. Возраст. Раса. Религия. Рост. Цвет волос. Сексуальные предпочтения. Регулярность посещения спортзала. Любовь к родителям. Кока-кола или пепси-кола. Чем больше корректировок, тем значительнее ваша статья. Ну или, по крайней мере, тем значительней она выглядит. Поправки дают ощущение конкретики, точности. Но иногда поправок слишком много, и в результате вы корректируете как раз то, что хотите измерить». Кляйн затрагивает важную тему. В статистике давно образовалось непонимание того, какие переменные следует, а какие не следует корректировать, поэтому по умолчанию поправки стали вводить для всего, что только можно измерить. Подавляющее большинство современных работ поддерживают эту практику. Это удобная и несложная процедура, но она одновременно тратит впустую время и создает ошибки. Ключевое достижение Революции Причинности в том, что она положила конец этой путанице.

В то же время статистики сильно недооценивают корректировку в том смысле, что вообще избегают говорить о причинности, даже если все поправки сделаны верно. Это тоже противоречит основной идее этой главы: если вы обнаружили значительный набор вмешивающихся переменных в диаграмме, получили по ним данные и ввели по ним поправки, то у вас есть полное право сказать, что вы подсчитали причинностное воздействие X → Y (при условии, конечно, что ваша диаграмма научно обоснована).

Подход учебников по статистике к вмешивающимся переменным совершенно иной, он опирается на идею, наиболее активно защищаемую Р. Э. Фишером: рандомизированное контролируемое исследование. Ученый был совершенно прав в этом подходе, но не в его основаниях. РКИ — это действительно замечательное изобретение, но до недавнего времени поколения статистиков, следуя за Фишером, неспособны были доказать, что то, что они получали благодаря РКИ, было именно тем, что они хотели получить. У них не было языка, с помощью которого можно было бы записать то, что они хотели найти, а именно каузальное воздействие X на Y. В этой главе одна из моих целей — объяснить с точки зрения каузальных диаграмм, почему именно РКИ позволяют нам оценить каузальное воздействие Х → Y, не становясь жертвой систематической ошибки. Когда мы поймем, как именно работают РКИ, нам не нужно будет больше помещать их на пьедестал и относиться к ним как к золотому стандарту причинностного анализа, который все остальные методы должны воспроизводить. Совсем наоборот: мы увидим, что так называемый золотой стандарт легитимен потому, что опирается на более базовые принципы.

Эта глава также покажет, что каузальные диаграммы позволяют переключаться с конфаундеров на деконфаундеры (deconfounders). Первые вызывают проблемы — вторые решают ее. Они могут перекрываться, но это не обязательно. Если у нас есть данные по достаточному набору деконфаундеров, не будет иметь значения, если мы проигнорируем некоторые или даже все конфаундеры.

Это переключение внимания — основной путь, по которому Революция Причинности позволяет нам продвинуться дальше фишеровских экспериментов и выявить причинно-следственные связи из неэкспериментальных исследований. С помощью него реально определить, какие переменные должны быть скомпенсированы, чтобы стать деконфаундерами. Этот вопрос десятилетиями терзал как теоретиков, так и практиков статистики; десятилетиями здесь скрывалась ахиллесова пята всей отрасли знания. Так происходило потому, что он