Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен Страница 35

что особенности деления шкал оказывают неожиданное влияние на ответы, независимо от того, насколько точно определены отдельные значения6. На шкале от 1 до 5 значение «1» будут выбирать чаще, чем на шкале от 1 до 10, даже если «1» определяется одинаково в обоих случаях (скажем, «1» может означает перерыв в работе длительностью менее 10 минут или несанкционированный доступ, повлекший за собой убытки на сумму менее 100 000 долл.). Кроме того, существует множество исследований, показывающих, что и другие произвольные характеристики шкал необычно влияют на выбор ответа, и сильнее, чем кажется. К таким исследованным характеристикам относятся, например, указание соответствующих порядковых числовых шкал в дополнение к вербальным шкалам или вместо них7 и выбор направления шкалы (является ли «5» высоким баллом или низким)8.

Подобные проблемы типичны в психометрии и проектировании опросов для исследований. Опросы разрабатываются с использованием различных видов контроля и тестирования элементов, чтобы можно было оценить влияние когнитивных искажений. Они называются «артефактами» исследования, и при формулировании выводов их можно игнорировать. Однако нет никаких доказательств, что какие-либо из перечисленных выше подобных факторов учитывались бы при разработке шкал оценки риска. И поэтому нельзя воспринимать эти методы как должное, необходимо принимать во внимание психологию того, как оцениваются риски и как при этом используются инструменты измерений.

Аналитики разведданных должны отдавать себе отчет в том, как проходит процесс рассуждений. Они должны думать о том, как выносят суждения и делают выводы, а не только о самих суждениях и выводах.

Ричардс Дж. Хойер – младший (1927–2018). Psychology of Intelligence Analysis («Психология анализа интеллекта») В чем не согласуется матрица рисков

На первый взгляд, математика, лежащая в основе шкал или матриц рисков, очень проста. Однако, как уже продемонстрировал пример с психологией шкал, стоит копнуть поглубже, и все становится не столь очевидно. Это может показаться немного странным, но, как и в случае с любым другим компонентом анализа риска, масштаб проблемы в целом означает, что не следует оставлять без внимания такой широко используемый инструмент.

Вероятно, никто не занимался изучением данной темы дольше, чем Тони Кокс, доктор философии, выпускник Массачусетского технологического института и эксперт по рискам. Многие из его работ посвящены проблемам, которые привносят порядковые шкалы в процесс оценки риска, и тому, как эти шкалы затем преобразуются в матрицу рисков (которая затем часто преобразуется в области риска от «низкого» до «высокого»). Кокс исследует всевозможные неочевидные последствия применения различных видов порядковых шкал и матриц риска и то, как они могут привести к ошибкам при принятии решений9.

Одну из таких ошибок он называет «сжатием диапазона». Сжатие диапазона – своего рода экстремальная ошибка округления, возникающая из-за того, каким образом непрерывные величины вероятности и воздействия сводятся к одному порядковому значению. Неважно, как категории непрерывных величин делятся на порядковые, приходится делать выбор, который нивелирует ценность работы. Например, верхняя граница воздействия может быть определена как «убытки в размере 10 млн долл. или более», а значит, суммы 10 млн долл. и 100 млн долл. относятся к одной категории. Чтобы это скорректировать, придется либо поднять первое значение категории выше 10 млн долл. – а значит, диапазоны в нижних категориях также придется расширять, – либо увеличить число категорий.

Сжатие диапазона усугубляется еще больше при объединении двух порядковых шкал в матрицу. В результате, как отмечает Кокс, в одной ячейке (т. е. позиции пересечения строки и столбца матрицы) могут оказаться два очень разных риска, а в ячейку с более высоким риском может попасть менее серьезный риск, чем в ячейку с низким риском. Чтобы убедиться в этом, рассмотрим матрицу рисков в табл. 5.3, составленную на основе реальной матрицы, продвигаемой крупной консалтинговой компанией.

Прежде всего разберем, как два совершенно разных риска могут оказаться в одной и той же ячейке. Возьмем два риска для категории вероятности «редко», которая представляет диапазон «от более 1 до 25 %», с максимальными убытками «10 млн долл. или более»:

• риск A: вероятность – 2 %, воздействие – 10 млн долл.;

• риск Б: вероятность – 20 %, воздействие – 100 млн долл.

Таблица 5.3. Матрица рисков, иллюстрирующая проблему сжатия диапазона

С помощью этой информации Кокс рассчитывает ожидаемые убытки (взвешенные по вероятностям убытки), так же как делали бы актуарии для многих видов рисков, и затем сравнивает полученные произведения вероятности и воздействия рисков: 200 000 долл. для риска А (2 % × 10 млн долл.) и 20 млн долл. для риска Б (20 % × 100 млн долл.). Другими словами, для актуария риск Б в 100 раз значительнее риска А. Однако эти два совершенно разных риска располагаются в одной и той же ячейке (т. е. в одной и той же строке, в одном и том же столбце) на матрице рисков!

Далее рассмотрим приведенный Коксом пример с двумя разными рисками в ячейках, расположенных в обратном порядке по ожидаемым убыткам. Опять же, дело в том, что для отображения непрерывных величин с широкими диапазонами в виде дискретных промежутков некоторым «промежуткам» на осях вероятности и воздействия приходится присваивать широкие диапазоны значений. Итак, вот еще два риска:

• риск A: вероятность – 50 %, воздействие – 9 млн долл.;

• риск Б: вероятность – 60 %, воздействие – 2 млн долл.

В данном случае риск А имеет ожидаемые убытки в размере 4,5 млн долл., а ожидаемые убытки от риска Б составляют 1,2 млн долл. Однако если следовать правилам представленной матрицы, то риск Б считался бы высоким, а риск А – всего лишь средним. По словам Кокса, все вместе эти свойства делают матрицу рисков буквально «более чем бесполезной». Как бы невероятно это ни звучало, он утверждает (и демонстрирует), что матрица может быть даже менее эффективной, чем случайно расставленные приоритеты рисков.

Кто-то возразит, что аргументы надуманны, ведь, в отличие от примеров, на практике обычно нет конкретных вероятностей и воздействий, а лишь весьма смутные представления об их диапазонах. Но неясность лишь скрывает проблемы, а не решает вопрос недостатка информации. Кроме того, Кокс указывает, что в