Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен Страница 24

Не стоит ограничиваться только собственным примером. Конечно, каждая организация уникальна, но это не означает, что нельзя учиться на чужом примере (по сути, опыт ничего бы не значил, если бы мы не умели обобщать практические знания, не являющиеся абсолютно идентичными). Именно с помощью информации из более крупных совокупностей страховые компании оценивают риск вашего здоровья, даже если вы никогда не предъявляли претензий, а врач считает, что лекарство, которое вы раньше не принимали, подойдет вам, так как знает о крупном исследовании с участием множества других людей.

• Можно измерять как целые системы, так и их компоненты. Можно измерить общую эффективность всей системы или отдельных ее компонентов. Когда инженер прогнозирует поведение новой системы, которая еще не построена, он применяет знания о поведении компонентов и их взаимодействии. Проще измерить несколько компонентов оценки риска, чем ждать, пока произойдут редкие события. Например, отслеживание того, насколько эффективно аналитики в области кибербезопасности оценивают более частые незначительные события, является мерой компонента «экспертная оценка» в системе управления рисками.

• Можно обратиться к опубликованным исследованиям. Если рассмотреть на уровне компонентов исследования более крупных совокупностей, не связанных с нашим собственным опытом, то нам станет доступно гораздо больше данных. При отсутствии данных или результатов сторонних исследований, возможно, пора начать собирать данные в процессе измерения.

В идеальном мире у вашей компании было бы так много собственных данных, что не пришлось бы делать выводы из более крупных совокупностей данных других предприятий. Можно было бы оценить общую эффективность системы оценки рисков, измерив реальные результаты, наблюдаемые в вашей компании. Имея крупную компанию и достаточно времени, можно было бы наблюдать изменения при значительных утечках данных в различных структурных подразделениях, применяющих разные методы оценки рисков. Более того, можно было бы задействовать множество организаций в общеотраслевых экспериментах и получить в изобилии данные даже о событиях, редко возникающих в отдельно взятой компании.

Естественно, крупные эксперименты в масштабах всей отрасли нецелесообразны по нескольким причинам, в том числе из-за количества затрачиваемого на них времени (да и какие организации захотели бы оказаться в группе «плацебо», применяющей фальшивый метод?). Не удивительно, что на момент написания книги в рецензируемой литературе не было опубликовано ни одного подобного исследования. Так что же можно тогда сделать для сравнения различных методов оценки рисков научно обоснованным способом? Другие упомянутые выше аспекты стратегии измерений предоставляют различные варианты действий, и некоторые из них могут дать ответы немедленно.

Самым целесообразным решением для первоначального измерения было бы поэкспериментировать с крупными совокупностями данных, но в рамках существующих исследований на уровне компонентов. Компонентное тестирование – подход, знакомый многим профессионалам в области информационных технологий. К доступным для рассмотрения компонентам относятся отдельные этапы оценки рисков, используемые инструменты и методы сотрудничества. Даже простое обозначение вероятности кибератаки является компонентом процесса, который можно проверить. На самом деле на эту тему уже проводилось множество исследований на уровне компонентов, в том числе очень масштабных, выполнявшихся десятилетиями многими исследователями и опубликованных в ведущих рецензируемых научных журналах.

Если продемонстрировано, что отдельные компоненты метода повышают его эффективность, то метод, основанный полностью на таких элементах, с гораздо большей вероятностью будет эффективным, чем метод, для компонентов которого нет подобных доказательств или, что еще хуже, отмечено наличие у них недостатков. Это ничем не отличается от работы инженера-конструктора, занимающегося проектированием нефтеперерабатывающего завода или ракеты. Он применяет доказанные законы физики для оценки компонентов системы и затем рассчитывает, как они будут вести себя в совокупности. Существует множество потенциальных компонентов для оценки, поэтому давайте разделим их на две основные категории, которые используются или могут использоваться при оценке рисков кибербезопасности.

• Какова относительная эффективность сугубо традиционных моделей в оценке неопределенных результатов по сравнению с экспертами?

• При обращении к мнению экспертов какова эффективность инструментов, помогающих этим экспертам в оценке результатов?

Когда алгоритмы превосходят экспертов

Ключевой компонент, который следует учитывать при анализе рисков кибербезопасности, – это эффективность способа синтезирования информации для составления оценок. В частности, лучше ли полагаться на экспертов при вынесении суждения или на статистическую модель? Одним из специфических вопросов, область изучения которого изобилует исследованиями, является сравнение статистических моделей и мнений экспертов при оценке неопределенных результатов будущих событий. Благодаря таким исследованиям был получен один из самых цитируемых и впечатляющих выводов в психологии: даже относительно наивные статистические модели, похоже, превосходят экспертов-людей, предоставляя на удивление большее разнообразие оценок и прогнозов.

Мы не утверждаем, что можно полностью заменить человека при оценке рисков, а лишь рассматриваем несколько ситуаций, в которых были созданы объективные количественные модели и проведено их сравнение с профессиональным чутьем. Нам интересно выяснить следующее: если бы можно было построить чисто количественную модель на основе ранее полученных данных, стоило бы вообще это делать?

Читая об исследовании, вы, скорее всего, также захотите узнать, а можно ли, собственно, применять исследования из других областей к кибербезопасности. Если останетесь с нами, думаем, вы в итоге согласитесь с тем, что применение возможно. На самом деле, как и упомянутый ранее эффект плацебо, исследования настолько многочисленны и разнообразны, что, кажется, бремя доказательства будет возложено на того, кто утверждает, что кибербезопасность каким-то образом не затрагивает эти фундаментальные вопросы.

Исследования, сравнивающие экспертов и алгоритмы

Некоторые из исследований начинались в совершенно другой области в те времена, когда концепции кибербезопасности еще не существовало. Так, в 1950-х годах американский психолог Пол Мил высказал идею, потрясшую область клинической психологии. Он утверждал, что основанные на экспертных оценках клинические суждения о пациентах с психическими расстройствами могут быть хуже простых статистических моделей. Мил собрал большую исследовательскую базу, демонстрирующую, что статистические модели, основанные на медицинских записях, поставленных диагнозах и прогнозах, как минимум совпадали с суждениями квалифицированных клиницистов, а обычно превосходили их. Мил смог показать, например, что тесты на определение черт характера лучше экспертов прогнозировали преступность среди несовершеннолетних, аддиктивное поведение и некоторые виды поведения, связанные с неврологическими расстройствами.

В 1954 году им был написан фундаментальный труд под названием Clinical versus Statistical Prediction («Клинический прогноз против статистического»). И