Дуглас У. Хаббард
Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Глава 2. Руководство по измерениям для сферы кибербезопасности

Успех складывается из настойчивости, упорства и готовности на протяжении двадцати двух минут разбираться с задачей, которую большинство людей бросили бы после тридцати секунд.

Малкольм Гладуэлл. Гении и аутсайдеры. Почему одним все, а другим ничего?¹

Прежде чем обсуждать, каким образом в сфере кибербезопасности можно измерить буквально все, нужно поговорить об измерениях как таковых и сразу отмести возражение, что некоторые вещи в кибербезопасности просто не поддаются измерению. Дело в том, что ряд недоразумений, связанных с методами измерений, измеряемыми явлениями или даже с самим понятием измерений, препятствует многим попыткам проводить измерения. Данная глава не принесет ничего нового тем, кто уже читал книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Это отредактированный вариант главы из первой книги с примерами, измененными под сферу кибербезопасности. Так что если вы уже читали первую книгу, то, возможно, предпочтете пропустить главу. В ином случае с главой лучше ознакомиться, чтобы понять важнейшие основы.

По нашему мнению, существует лишь три причины, почему можно посчитать что-либо, в том числе кибербезопасность, не поддающимся измерениям. И все три коренятся в тех или иных заблуждениях, которые мы делим на категории: концепция, объект и метод. Различные возражения против измерений будут подробнее разбираться далее (особенно в главе 5), а пока давайте рассмотрим самое основное.

1. Концепция измерений. Термин «измерения» часто понимается неправильно. Как только вы осознаете его реальное значение, гораздо больше объектов и явлений окажутся измеримыми.

2. Объект измерения. Не дается точное определение для того, что подвергается измерениям. Небрежные и двусмысленные формулировки мешают измерениям.

3. Методы измерения. Многие процедуры эмпирического наблюдения малоизвестны. Если бы люди были знакомы с некоторыми из этих базовых методов, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только можно измерить, но, вероятно, они уже давно измерены.

Хороший способ запомнить эти три распространенных заблуждения – воспользоваться памяткой, например «howtomeasureanything.com», где буквы «c», «o» и «m» в «.com» означают «концепцию», «объект» и «метод». Как только выясняется, что эти возражения возникают от недопонимания, становится очевидно, что измерить можно все что угодно.

Концепция измерений

Пока законы математики остаются определенными, они не имеют ничего общего с реальностью; как только у них появляется нечто общее с реальностью, они перестают быть определенными.

Альберт Эйнштейн (1879–1955), немецкий физик

Хоть это может показаться парадоксальным, но вся точная наука подчинена идее аппроксимации. Если человек говорит, что он что-то точно знает, можно с уверенностью сказать, что вы разговариваете с невнимательным человеком.

Бертран Рассел (1872–1970), британский математик и философ

Для людей, считающих, что какие-то вещи невозможно измерить, сама концепция измерения, или, точнее, ее неверная интерпретация, становится, вероятно, главным препятствием, которое необходимо преодолеть. Если ошибочно полагать, что измерение означает соответствие какому-то почти недостижимому стандарту определенности, то тогда даже в физических науках лишь немногое будет поддаваться измерению.

Если спросить руководителя или эксперта в сфере кибербезопасности, что означает измерение, они, как правило, ответят фразами наподобие «дать количественную оценку», «вычислить точное значение», «свести к одному числу», «выбрать репрезентативную выборку» и т. д. Во всех этих ответах говорится напрямую или подразумевается, что измерение – одно точное число, которое обязано быть верным. Если бы это было действительно так, то и правда лишь очень немногое можно было бы измерить.

Возможно, читателям доводилось слышать или самим говорить что-то вроде: «Нам не измерить реальный ущерб от утечки данных, потому что о некоторых последствиях нельзя знать наверняка». Или, быть может, такое: «Невозможно определить вероятность того, что мы окажемся объектом массированной атаки отказа в обслуживании, ведь неопределенность слишком велика». Подобные заявления указывают на описанные выше ошибочные интерпретации измерений, которые не только не связаны с реальным принятием решений, но и ненаучны. Когда ученые, актуарии или статистики проводят измерения, они используют другое фактическое определение.

Определение измерений

В процессе принятия практических решений следует рассматривать измерения как наблюдения, количественно уменьшающие неопределенность. Простого уменьшения, не обязательно устранения неопределенности для измерений будет достаточно. Даже если некоторые ученые формулируют определение немного иначе, применяемые ими методы доказывают, что для них измерения также являются исключительно вероятностной задачей и твердой уверенности в реальных величинах у них, как правило, нет. Тот факт, что ошибки неизбежны, но их все равно можно считать прогрессом по сравнению с предыдущими данными, является важнейшим в методах проведения экспериментов, опросов и других научных измерений.

Практические различия между этим определением и наиболее популярной трактовкой измерений огромны. Прежде всего, верным измерениям, чтобы считаться таковыми, не нужно быть абсолютно точными. К тому же отсутствие зарегистрированной ошибки (подразумевающее, что число точное) может быть признаком того, что не применялись эмпирические методы, такие как выборка и эксперименты (т. е. на самом деле это вообще не измерения). Измерения, соответствующие основным стандартам научной достоверности, будут сообщать о результатах с некоторой долей неопределенности, например: «Существует 90 %-ная вероятность того, что атака на систему приведет к сбою в ее работе на период от 1 до 8 часов».

Определение измерения

Измерение – количественно выраженное уменьшение неопределенности на основе одного или нескольких наблюдений.

Такая концепция измерения может оказаться новой для многих читателей, но есть веские математические основания и практические причины для подобной трактовки. В конечном счете измерение – это лишь информация, а для информации существуют строгие теоретические рамки. Область знания, получившая название «теория информации», была разработана в 1940-х годах Клодом Шенноном, американским инженером-электриком и математиком. В 1948 году он опубликовал работу под названием A Mathematical Theory of Communication² («Математическая теория коммуникации»), заложив в ней основы теории информации и, по сути, большей части информационных технологий, с которыми работают специалисты по кибербезопасности.

Шеннон предложил математическое определение информации как степени уменьшения неопределенности в сигнале, которую он рассматривал с точки зрения энтропии, устраняемой сигналом. По Шеннону, адресат информации находится в некотором изначальном состоянии неопределенности, иными словами, ему уже что-то известно, а новая информация просто устраняет хотя бы часть неопределенности (т. е. необязательно полностью). Изначальное состояние знания или неопределенности адресата можно использовать для вычисления, скажем, пределов объема информации, передаваемой сигналом, минимальной интенсивности сигнала с поправкой на шум, а также максимально возможного сжатия данных.

Такая концепция «снижения неопределенности» крайне важна для бизнеса. Продуктивность значимых решений, принимаемых в состоянии неопределенности (например, связанных с утверждением крупных IT-проектов или новых средств контроля безопасности), можно повысить, пусть даже совсем немного, за счет снижения неопределенности. Иногда даже небольшое снижение неопределенности может сберечь миллионы долларов.

Таксономия шкал измерения

Итак, измерения в области кибербезопасности похожи на любые другие в том смысле, что для них не нужна определенность. Различные типы измерительных шкал могут продвинуть наше понимание измерений еще дальше. Обычно мы думаем, что для измерений необходимы конкретные, строго определенные единицы, например доллары в год в бюджете кибербезопасности или минуты для определения продолжительности времени простоя системы.

А можно ли считать подходящей для измерений шкалу с градациями «высокий», «средний» и «низкий»? Специалистам по кибербезопасности часто встречаются подобные шкалы во многих стандартах и практиках во всех областях оценки риска. Такие величины, как «воздействие» или «вероятность», общепринято оценивать субъективно по шкале от 1 до 5, а затем комбинировать, чтобы определить степень риска как высокую, среднюю или низкую. Эти обманчиво простые методы поднимают целый ряд проблем, которые более подробно будут рассмотрены далее в этой книге. А пока давайте поговорим о том, в каких случаях имеет смысл использовать шкалы, отличные от общепринятых единиц измерения.

Обратите внимание, что в предлагаемом нами определении измерения говорится, что оно «выражено количественно». Неопределенность в любом случае следует выразить количественно, хотя объект наблюдения может быть вовсе не количественной величиной, а качественной, скажем, обозначать принадлежность к какому-либо множеству. Например, можно «измерить» что-то, ответив «да» или «нет» (допустим, произойдет ли в этом году утечка данных или будет ли предъявлен иск по киберстрахованию), и это все еще будет точно соответствовать нашему определению измерения. Однако степень неопределенности в отношении подобных наблюдений все равно должна быть выражена количественно, например: существует 15 %-ная вероятность утечки данных в этом году, существует вероятность 20 % предъявления иска по киберстрахованию и т. д.

Точка зрения, в соответствии с которой измерения применимы к вопросам с ответом «да/нет» и прочим качественным признакам, согласуется с другим признанным направлением научной мысли в области измерений. В 1946 году психолог Стэнли Смит Стивенс опубликовал статью On the Theory of Scales and Measurement (Теория шкал и измерений)³. В ней описаны четыре различные шкалы измерения: номинальная, порядковая, интервальная и отношений. Если вы думаете о градусах Цельсия или долларах как единицах измерения, то вы используете интервальную шкалу и шкалу отношений соответственно. У обеих шкал есть четко определенная единица стандартной величины. В обоих случаях можно сказать, что 6 на 2 больше, чем 4 (6 градусов Цельсия или 6 долл.). Однако интервальная шкала не позволяет сказать, что 6 «на 50 % больше», чем 4, или «в два раза больше», чем 3. Например, 6 градусов Цельсия не «в два раза жарче», чем 3 градуса Цельсия (поскольку положение нуля на шкале Цельсия установлено произвольно в точке замерзания воды). А вот 6 млн долл. в два раза больше, чем 3 млн. То есть для интервальных шкал неактуальны некоторые математические вычисления, например умножение или деление.

Номинальные и порядковые шкалы еще более ограничены. У номинальной шкалы нет подразумеваемого порядка или величины, сюда можно отнести указание пола индивида, местоположения объекта или наличие у системы определенного признака. Номинальная шкала выражает состояние, не указывая, что одно состояние в два раза больше другого, или, если уж на то пошло, хотя бы просто больше или меньше оно относительно другого. Каждая шкала состояния – это просто иное состояние, не большее или меньшее. Порядковые шкалы, с другой стороны, ранжируют, но не сравнивают величины. Администратор обладает бóльшими правами, чем обычный пользователь, но при этом нельзя сказать, что его права в пять раз больше, чем у обычного пользователя, и в два раза больше, чем у другого пользователя. Поэтому большинство математических операций – кроме базовых логических или операций со множествами – неприменимы к номинальным или порядковым шкалам.

Тем не менее номинальные и порядковые шкалы могут быть информативными, даже несмотря на их отличия от более традиционных шкал измерения, таких как килограммы или секунды. Геологам полезно знать, что одна горная порода тверже другой, но не обязательно знать насколько. Метод, применяемый ими для сравнения твердости минералов, называется «шкала твердости Мооса», и используемая в нем шкала является порядковой.

Таким образом, использование порядковых шкал, подобных тем, что часто встречаются в области кибербезопасности, строго говоря, не противоречит концепции измерений, а вот то, как это делается, к чему применяется и что происходит с этими значениями потом, действительно нарушает основные принципы и может вызвать массу проблем. Геологи не умножают значения по шкале твердости Мооса на цвет породы. И хотя значение по шкале твердости Мооса – четко определенное измерение, в порядковых шкалах в области кибербезопасности такой четкости часто нет.

Позже мы покажем, что измерения, основанные на четко определенных величинах, таких как ежегодная вероятность события и вероятностное распределение потенциальных потерь, предпочтительнее, чем порядковые шкалы, обычно используемые в сфере кибербезопасности. На самом деле, в науке и технике ничего не зависит от порядковых шкал. Даже шкалу твердости Мооса часто заменяют другой: вне геологии для оценки материалов в научных и инженерных задачах более подходящей считается шкала Виккерса, являющаяся шкалой отношений.

Всё это важные особенности концепции измерений, из которых могут извлечь полезные уроки как руководители в целом, так и специалисты по кибербезопасности в частности. В распространенном представлении об измерениях как о точных значениях игнорируется полезность простого уменьшения неопределенности, если ее устранение невозможно или экономически нецелесообразно. Да и не все измерения требуется сводить к количеству в традиционном понимании. Измерения применяются как к дискретным, номинальным аспектам, которые требуется прояснить, таким как «Произойдет ли у нас крупная утечка данных?», так и к непрерывным величинам, например «Во сколько нам обойдется утечка данных, если она произойдет?». В бизнесе лица, принимающие решения, делают свой выбор в условиях неопределенности. И если эта неопределенность касается важных, связанных с риском решений, то ее уменьшение имеет большую ценность. Именно поэтому мы будем использовать данное нами определение измерений.

Байесовские измерения: прагматическая концепция для принятия решений

…истинной логикой этого мира является исчисление вероятностей, занимающееся нахождением величин вероятностей, которые учитывает или должен учитывать любой здравомыслящий человек.

Джеймс Клерк Максвелл (1831–1879), британский физик, математик и механик

Когда мы говорим об измерении как о «снижении неопределенности», то подразумеваем наличие некоторого предшествующего состояния неопределенности, которое необходимо уменьшить. А поскольку степень неопределенности может меняться в результате наблюдений, мы считаем неопределенность характеристикой наблюдателя и не обязательно присущей наблюдаемому объекту⁴. Когда проводится тест на проникновение в систему, с его помощью не меняется состояние приложения, скорее, изменяется степень нашей неопределенности о состоянии приложения.

Мы количественно оцениваем эту начальную неопределенность и изменение неопределенности после наблюдений с помощью вероятностей. Это означает, что термин «вероятность» используется для обозначения состояния неопределенности наблюдателя или так называемой степени убежденности. Если вы почти уверены, что данная система будет взломана, то можно сказать, что вероятность этого составляет 99 %. Если вы не уверены, то можно говорить о существовании 50 %-ной вероятности (как станет ясно из главы 7, субъективное оценивание вероятностей – навык, которому можно научиться).

Аналогичным образом, если вы не уверены в продолжительности отключения после атаки типа «отказ в обслуживании» («DoS-атака»), можно сказать, что вероятность того, что истинное значение находится в диапазоне от 10 минут до 2 часов, составляет 90 %. Имея больше информации, можно было бы сузить диапазон, но все равно присвоить вероятность 90 % тому, что истинное значение в него попадает.

Такой взгляд на вероятности называют субъективистской, или иногда байесовской, интерпретацией. Название происходит от имени Томаса Байеса, британского математика и пресвитерианского священника XVIII века, чей главный вклад в статистику был опубликован лишь после его смерти. Его простая формула, известная как теорема Байеса, описывает, каким образом новая информация может скорректировать априорные вероятности. Понятие «априорные» по большей части относится к исходному состоянию неопределенности, но также может относиться и к состоянию неопределенности в момент, предшествующий любым объективным и зафиксированным наблюдениям. Как минимум в последнем случае априорная вероятность часто оказывается субъективной.

Для принятия решений такое употребление слова «вероятность» наиболее подходящее. Это не просто информация, которую можно получить на основе других данных. Человек формулирует степень неопределенности, обозначая вероятность. Способность выразить априорное состояние неопределенности является важной отправной точкой во всех практических решениях. По сути, у вас обычно уже имеется априорная неопределенность, даже если вы не можете обозначить конкретные вероятности. Указание априорной неопределенности еще и позволяет вычислить ценность дополнительной информации, поскольку ее ценность, естественно, хотя бы частично зависит от состояния неопределенности до сбора информации. Этим и занимается байесовский подход, значительно упрощая некоторые проблемы и позволяя получить больше пользы от ограниченной информации.

Специалисты по кибербезопасности должны понимать обозначенные выше особенности. Те, кто считает вероятность лишь результатом вычислений данных, а не отражением личной неопределенности, возможно, сами того не осознавая, придерживаются некоторой заданной интерпретации вероятности. Они выбирают «фриквентистскую» интерпретацию, и хотя им она может казаться объективной и научной, многие великие статистики, математики и ученые с ними не согласятся (в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» содержится подробное описание различий).

Поэтому, когда кто-то из специалистов по кибербезопасности говорит, что им не хватает данных для определения вероятности, это звучит крайне иронично. Мы используем вероятность потому, что у нас нет полной информации, а не вопреки этому. Лучше всего данная позиция была сформулирована общепризнанным основоположником области анализа решений, профессором Роном Ховардом из Стэнфордского университета. Во время подкаста с интервью журналу Harvard Business Review корреспондент спросил Ховарда, как решить проблему анализа «когда вероятность неизвестна». Ховард ответил:

Видите ли, вся идея вероятности заключается в том, чтобы иметь возможность описать с помощью чисел вашу неосведомленность или, в равной степени, ваше знание. Поэтому неважно, насколько вы информированы или несведущи, определяется, какая степень вероятности соответствует этому⁵.

Бывают случаи, когда вероятность является вычисляемой величиной, но, как утверждают великие умы Ховард и Джеймс Клерк Максвелл (из более ранней цитаты), вероятность также используется для обозначения нашего состояния неопределенности относительно чего-либо в данный момент, независимо от того, насколько велика эта неопределенность. Имейте в виду, однако, что хоть вероятность, о которой здесь говорится, и субъективна, она не является иррациональной и непредсказуемой. Необходимо, чтобы субъективная неопределенность была по крайней мере математически последовательной и не противоречила многократным последующим наблюдениям. Здравомыслящий человек не может просто сказать, например, что есть 25 %-ная вероятность, что его организация пострадает от определенной кибератаки, и 90 %-ная вероятность, что ее не будет (конечно же, в сумме эти шансы должны давать вероятность 100 %). Кроме того, если кто-то продолжает утверждать, что он на 100 % уверен в своих прогнозах, и постоянно ошибается, то можно не учитывать его субъективную неопределенность на объективных основаниях, так же как не берут в расчет показания сломанных электронных весов или амперметра. В главе 7 вы узнаете, как вероятность может быть субъективной и в то же время рациональной.

Наконец, следует помнить, что существует еще одна грань уменьшения неопределенности. Полное устранение неопределенности не является необходимым для измерения, но она должна сколько-нибудь снизиться. Если те, кто принимает решения, или аналитики считают, что проводят измерения, а эффективность их оценок и решений на самом деле не повышается или даже снижается, значит, они не сокращают число ошибок и не проводят измерения, как они понимаются в нашем определении.

Получается, чтобы определить, подходят ли для измерений порядковые шкалы, столь часто применяемые в области кибербезопасности, надо по меньшей мере выяснить, действительно ли эти шкалы уменьшают неопределенность (эти тонкости будут подробнее рассмотрены в главе 5).