Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен Страница 28

И еще раз, выборка людей, проходивших тестирование по этому «компоненту», включала в себя не только финансовых директоров, но и врачей, студентов, ученых, менеджеров проектов и многих других. Поэтому можно вполне обоснованно утверждать, что эти наблюдения, вероятно, относятся ко всем. А если кто-то попытается доказать, что эксперты по кибербезопасности отличаются от представителей других профессий, участвовавших в исследованиях, помните, что в выборке Хаббарда было 54 эксперта в области кибербезопасности из нескольких компаний. В первом тесте они показали примерно такие же низкие результаты, как и представители любой другой профессии. В процессе же обучения их результаты существенно улучшились, как и у представителей остальных профессий, которых тестировал Хаббард, а успешность калибровки к концу обучения тоже оказалась у всех групп примерно одинаковой (85–90 % экспертов научились выверять свои оценки).

В главе 7 будут подробнее описаны процесс обучения и его результаты. Мы объясним, как научиться калибровать свои оценки с помощью несложного упражнения и как можно измерять собственную эффективность с течением времени. Этот навык станет отправной точкой для разработки более совершенных количественных моделей.

В целом проверка субъективных вероятностей для калибровки чрезмерной самоуверенности подразумевает, что придется ждать проявления наблюдаемых результатов. Однако есть и другой вид калибровки, действие которого можно легко наблюдать почти сразу, не дожидаясь, пока наступит предсказанный результат и наступит ли вообще, – измерение согласованности оценок эксперта. То есть, независимо от точности оценки, следует ожидать, что эксперт будет последовательно давать один и тот же ответ при возникновении похожих ситуаций. Конечно, единообразие ответов не означает, что они верны, но, как известно, два противоречащих друг другу ответа не могут одновременно быть правильными. Величина несогласованности должна хотя бы соответствовать нижнему пределу ошибки оценивания. Если же «эксперты» дают совершенно разные ответы каждый раз при решении сходных задач, то с тем же успехом они могли бы просто игнорировать предоставленную информацию и наугад выбирать оценки путем жеребьевки. Не нужно ждать наступления предсказываемых событий, чтобы оценить согласованность оценок таких экспертов.

Аналогичным образом, даже если специалисты отвечают в полном соответствии с собственными предыдущими суждениями, но ответы сильно отличаются от мнения других экспертов, то как минимум известно, что все они не могут быть правы (зато могут быть все неправы). К счастью, эти компоненты деятельности экспертов также измерялись в долгосрочной перспективе. Исследователи дали названия обеим мерам согласованности оценок24:

• стабильность – согласие эксперта с собственным предыдущим суждением, сделанным в идентичной ситуации (тот же эксперт, те же данные, другое время);

• консенсус – согласие эксперта с другими экспертами (одинаковые данные, разные эксперты).

Пока во всех областях, в которых проводились исследования, была выявлена сильная степень несогласованности оценок экспертов (с точки зрения как стабильности, так и консенсуса) практически во всех суждениях. Такая несогласованность оценок проявляется и у менеджеров проектов, оценивающих затраты, и у врачей, диагностирующих пациентов, и у экспертов в сфере кибербезопасности, определяющих риски.

В качестве примера, демонстрирующего несогласованность оценок экспертов, можно привести одно исследование начала XX века, в котором нескольким врачам-радиологам была выдана пачка из 96 рентгеновских снимков язвы желудка25.

Каждого радиолога просили оценить, может ли язва стать причиной злокачественной опухоли. Неделю спустя те же радиологи получили еще один набор из 96 рентгеновских снимков для оценки. Врачи не знали, что на самом деле получили те же самые снимки, но в другом порядке. Исследователи выявили, что радиологи меняли свои ответы в 23 % случаев.

Если спросить экспертов в такой ситуации, должно ли их суждение каким-то образом зависеть от порядка расположения элементов в списке, все они согласятся, что не должно. Тем не менее, согласно исследованиям, подобные изменения порядка элементов все же влияют на суждения.

Отдельный источник несогласованности оценок кроется в другой распространенной особенности суждений. При оценке цифр на эксперта может повлиять эффект, известный как «якорный»: если просто подумать о каком-либо числе, это повлияет на значение последующей оценки даже по совершенно не связанному вопросу. Исследователи показали, как при использовании произвольных значений, таких как номер социального страхования или случайное число, можно оказать влияние на последующие оценки, например количества врачей в районе или цены товаров на eBay26, 27.

Где гарантия, что случайные, не относящиеся к делу факторы вроде якорного эффекта не влияют и на суждения экспертов по кибербезопасности? У нас было достаточно возможностей собрать информацию по этому вопросу, и ее краткое изложение приведено ниже.

• Во многих не связанных друг с другом проектах за последние пять лет Хаббард и его сотрудники опросили 54 экспертов по кибербезопасности на предмет вероятности возникновения различных видов нарушений кибербезопасности. Проекты выполнялись для клиентов из четырех областей: нефтегазовой, банковской, высшего образования и здравоохранения. Все упомянутые эксперты ранее прошли обучение по калибровке оценки вероятности.

• Каждому эксперту были предоставлены описательные данные по различному количеству систем или сценариев угроз в организации (от 80 до 200 штук). Типы сценариев и предоставляемые данные различались между клиентами, но они могли включать информацию о типе подверженных риску данных, об операционных системах, находящихся под угрозой, о существующих средствах контроля, типах и количестве пользователей и т. д.

• Всех экспертов просили оценить для каждой из этих систем или сценариев вероятности возникновения различных типов событий (до шести штук), включая нарушения конфиденциальности, несанкционированное редактирование данных, несанкционированные транзакции денежных средств, кражи интеллектуальной собственности, перебои с доступом и т. д.

• Поскольку 54 эксперта оценивали вероятность возникновения от одного до шести событий для каждой из ситуаций, которых было от 80 до 200 штук, один эксперт, как правило, давал от 300 до 1000 оценок. В итоге получилось более 30 000 индивидуальных оценок вероятностей.

Однако при оценивании экспертам не сообщалось, что в представленных списках имелось несколько дублирующих друг друга пар сценариев. Скажем, что данные, представленные для системы в девятой строке списка, могли быть идентичны данным, представленным в 95-й строке, что 11-я и 81-я строки одинаковые и т. д.