Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен Страница 39

• Те, кто хуже всех справился с тестом на статистическую грамотность, чаще переоценивали свои навыки в области статистики. Это согласуется с феноменом, известным как эффект Даннинга – Крюгера13. Существует тенденция, что люди, плохо справляющиеся с каким-либо тестом (на вождение, базовую логику и т. д.), склонны верить, что справляются с задачей лучше, чем есть на самом деле. В ходе исследования выяснилось, что 63 % участников с уровнем статистической грамотности ниже среднего ошибочно определяли уровень своих знаний в области статистики как средний или выше среднего. Поэтому те, кто плохо справляется с тестами на статистическую грамотность, обычно не осознают, что их представления неверные.

На самом деле все это лишь эмпирически подтверждает подозрения, которые у нас возникли после многочисленных отдельных наблюдений. Люди, считающие непрактичным применение количественных методов в сфере кибербезопасности, думают так не потому, что знают больше о кибербезопасности, а потому, что недостаточно много знают о количественных методах. Если вы полагаете, что разбираетесь в количественных вероятностных методах, но не согласны с тем, что они применимы в кибербезопасности, не вините гонца. Мы всего лишь сообщаем результаты наблюдений.

Тех же, кто в большинстве своем считает, что можно применять более эффективные методы, и поддерживает их изучение, не требуется убеждать лишний раз. Но, возможно, вы сможете использовать эту информацию для выявления причин внутрифирменного неприятия, и даже сумеете повлиять на будущие решения по обучению и найму персонала, чтобы повысить осведомленность о количественных методах в кибербезопасности.

Кому-то это, возможно, будет тяжело признать, но вывод из нашего опроса столь же неизбежен, сколь и суров. Кибербезопасность – крайне важная тема, вызывающая растущую озабоченность, и мы не можем позволить себе тянуть с решением этой проблемы. Как говорилось в главе 4, а также ранее в данной главе, нужно непредвзято оценивать все модели, в том числе количественные, поэтому мы не стремимся заставить критиков замолчать. Однако пустые возражения против количественных методов следует воспринимать всего лишь как боязнь статистики, порожденную статистической безграмотностью.

Уверены, что получим письма от читателей по этому поводу. Но расчеты обоснованы, а в аргументах против нашего вывода будут содержаться серьезные изъяны (мы знаем, поскольку уже много раз с ними сталкивались). В проведении нашего анализа помогал сотрудник компании Hubbard Decision Research Джим Клинтон – старший специалист по количественному анализу. У него докторская степень в области когнитивной психологии, и им опубликованы научные исследования по применению передовых статистических методов в экспериментальной психологии. Так что да, он знал, что делал, когда оценивал статистическую достоверность опроса. Упоминаем об этом, предвосхищая возражения касательно методов опроса, количества и типа предложенных вопросов и статистической значимости в целом. Методы, размер выборки и корректно составленные ответы на вопросы для определения уровня статистической грамотности вполне валидны. Однако нам известно по прошлому опыту и из результатов этого опроса, что найдутся заблуждающиеся в оценке своих познаний о статистических методах люди, которые решат, что раз выводы противоречат неким математическим вычислениям, производимым ими в уме, значит, результаты опроса ошибочны. Это не так. Мы не прикидывали в уме. Мы проводили реальные вычисления. Теперь давайте продолжим.

Согласившиеся с утверждением «порядковые шкалы или качественные методы устраняют проблемы количественных методов» 29 % испытуемых были подвержены разновидности заблуждения Exsupero Ursus. Ход рассуждений здесь примерно такой: раз количественные методы несовершенны, то надо использовать альтернативу, которая каким-то образом исправит их ошибки. Но что это за предполагаемый механизм коррекции? Как видно из представленных ранее исследований, порядковые шкалы и матрицы риска не только не исправляют ошибки количественных методов, но и добавляют к ним свои собственные.

Опять же, на наш взгляд, нужно задавать неудобные вопросы о любых методах, включая количественные, и мы попытались сделать это, представив многочисленные результаты исследований в доказательство своей точки зрения. Не менее скептически мы относимся и к популярным более мягким альтернативам, продвигаемым многими организациями по стандартизации и консалтинговыми компаниями. Мы процитировали исследование, последовательно раскрывающее недостатки этих методов и выявляющее относительное преимущество количественных методов. Давайте рассмотрим теперь другие ответы в нашем опросе, выделим причины неприятия количественных методов и проанализируем их по очереди.

«Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет» – распространенное возражение на использование статистики во многих областях, не только в кибербезопасности. В нашем исследовании с ним согласились 23 % респондентов. Тем не менее, как упоминалось в главе 2, у вас больше данных, чем кажется, а нужно вам меньше, чем кажется, стоит только проявить изобретательность при сборе данных и действительно выполнять вычисления с тем небольшим объемом данных, который уже имеется. Заблуждение Exsupero Ursus здесь, опять же, заключается в том, что альтернатива предложенному количественному методу каким-то образом нивелирует недостаток данных. Порядковые шкалы и профессиональное чутье избавляют от проблемы нехватки данных, но делают это, скрывая само наличие проблемы. Упомянутое ранее исследование показывает, что порядковые шкалы и матрицы риска могут фактически увеличивать количество ошибок, т. е. они буквально уменьшают и без того ограниченный объем информации, доступной интуиции человека, использующего эти методы.

К счастью, как и в случае с другими вопросами на выявление негативного отношения к количественным методам, большинство респондентов не согласны с утверждением и склоняются к тому, чтобы пробовать более эффективные методы. Однако 23 % – значительная часть специалистов в области кибербезопасности, которые в корне не понимают причин использования вероятностных методов. Один из согласившихся с утверждением написал следующее в разделе опроса для ответов в произвольной форме:

Проблема, с которой я всегда сталкивался при количественной оценке риска безопасности, заключается в том, что когда у вас есть уязвимость, скажем, непропатченный сервер, то, если ею воспользуются, может много чего произойти… И что же, мне тогда прийти к совету директоров и сказать: «Ну, эта уязвимость может привести к убыткам в размере от нуля до пятисот миллионов долларов»?

Прежде чем ответить, уточним, что это не личный выпад в адрес человека, любезно принявшего участие в нашем опросе, или в адрес других людей, согласных с рассматриваемым утверждением. Но нельзя помочь сфере кибербезопасности, игнорируя претензии вместо беспристрастного их разбора. Для нас