В расследованиях инцидентов — кибератак, аварий на промышленных предприятиях, авиакатастроф — по результатам часто фиксируется одна и та же причина: человеческий фактор. Хотя, если присмотреться, окажется, что реальная причина часто иная. А стремление приписывать всему человеческую ошибку связано с распространенным когнитивным искажением: знание задним числом.
Есть любопытное исследование, которое объясняет, как это работает.
Смысл в том, что у людей, расследующих инцидент, есть особенность: они знают итоговый результат. Поэтому они смотрят на то, что произошло, предвзято. У них возникает впечатление, что специалисты (сотрудники предприятия или пилот самолета) воспринимали события, которые к этому результату привели, как более значимые, чем то, как эти события выглядели в тот момент. Им кажется, что специалисты «должны были знать», что эти факторы «неизбежно» приведут к аварии.
Хотя на практике такие специалисты все время находятся в условиях, когда им нужно учитывать множество факторов и быстро принимать решения. И в моменте они не знают, что именно какой-то конкретный фактор приведет к катастрофе. Потому что катастрофа часто наступает в результате неудачного наложения ряда факторов друг на друга, которые сами по себе некритичны. Интересно, что в подтверждение этого факта даже есть реальная история с приземлением самолета на Гудзон. Можно ознакомиться по ссылке.
Поэтому, говорит упомянутое исследование, реальная причина подобных инцидентов — проблемы в дизайне и архитектуре систем, которые такие вещи не учитывают.
Например, при расследовании авиакатастрофы могут обвинить пилота в том, что он не заметил какую-то конкретную вещь — например, что тумблер находился в некорректном положении. В контексте настоящего мы знаем исход, поэтому выделяем это как самый важный фактор. Но в момент действия пилота он не знал, что это самое важное, и его внимание могло привлечь что-то другое. Положение тумблера могло ни к чему плохому не привести — и много раз так и было, — но при определенном неудачном стечении обстоятельств это привело к катастрофе.
Подобный эффект часто возникает и в жизни. Бывало ли у вас, что вы что-то поняли или сделали, и кажется — этот шаг же был просто очевиден? Вините себя: как же я не сделал / не понял этого раньше? У меня, например, часто такое бывает. Но факт в том, что это очевидно не было. Это было просто в «пространстве вариантов». Виной тому как раз когнитивное искажение — знание задним числом.
То же когнитивное искажение заставляет людей кричать, что всем было и так понятно, что курс доллара вырастет или что произойдет какое-то другое событие, которое на самом деле просто было в «пространстве вариантов».
Или, когда какой-то новый проект или идея «взлетают», часто появляются люди, которые заявляют, что они над этой темой работали последние 30 лет и что это их достижение. И они, похоже, в этом искренне уверены.
Подобный эффект, конечно, есть и в кибербезопасности. Современные программно-аппаратные системы имеют колоссальную сложность и связность — посмотреть, например, на системы в автомобиле или на промышленном производстве. В результате возникает «комбинаторный взрыв» числа взаимодействий — как между системой и внешними по отношению к ней системами, так и между компонентами самой системы.
А как многие системы создаются? Разрабатывается изначально небезопасная система, а затем к ней применяются внешние средства защиты. Но, имея такое количество взаимодействий, обнести все их подобным «забором» становится все сложнее. Число способов развить атаку на систему, взломав один-единственный компонент, становится огромным. И взлом таких систем — это скорее вопрос времени, когда кибератака и/или человеческий фактор, подобно случаю с авиакатастрофами, станут той последней недостающей фишкой домино, которая приведет к нарушению работы системы.
Поэтому применение альтернативных подходов с созданием конструктивно безопасных систем (англ. Secure by Design) — это не про красивое будущее и неспешные размышления о том, что хорошо бы постепенно думать в этом направлении. Это то, куда нужно активно двигаться уже сейчас, чтобы поспевать за теми изменениями, которые уже произошли.
В расследованиях инцидентов — кибератак, аварий на промышленных предприятиях, авиакатастроф — по результатам часто фиксируется одна и та же причина: человеческий фактор. Хотя, если присмотреться, окажется, что реальная причина часто иная. А стремление приписывать всему человеческую ошибку связано с распространенным когнитивным искажением: знание задним числом.
Есть любопытное исследование, которое объясняет, как это работает.
Смысл в том, что у людей, расследующих инцидент, есть особенность: они знают итоговый результат. Поэтому они смотрят на то, что произошло, предвзято. У них возникает впечатление, что специалисты (сотрудники предприятия или пилот самолета) воспринимали события, которые к этому результату привели, как более значимые, чем то, как эти события выглядели в тот момент. Им кажется, что специалисты «должны были знать», что эти факторы «неизбежно» приведут к аварии.
Хотя на практике такие специалисты все время находятся в условиях, когда им нужно учитывать множество факторов и быстро принимать решения. И в моменте они не знают, что именно какой-то конкретный фактор приведет к катастрофе. Потому что катастрофа часто наступает в результате неудачного наложения ряда факторов друг на друга, которые сами по себе некритичны. Интересно, что в подтверждение этого факта даже есть реальная история с приземлением самолета на Гудзон. Можно ознакомиться по ссылке.
Поэтому, говорит упомянутое исследование, реальная причина подобных инцидентов — проблемы в дизайне и архитектуре систем, которые такие вещи не учитывают.
Например, при расследовании авиакатастрофы могут обвинить пилота в том, что он не заметил какую-то конкретную вещь — например, что тумблер находился в некорректном положении. В контексте настоящего мы знаем исход, поэтому выделяем это как самый важный фактор. Но в момент действия пилота он не знал, что это самое важное, и его внимание могло привлечь что-то другое. Положение тумблера могло ни к чему плохому не привести — и много раз так и было, — но при определенном неудачном стечении обстоятельств это привело к катастрофе.
Подобный эффект часто возникает и в жизни. Бывало ли у вас, что вы что-то поняли или сделали, и кажется — этот шаг же был просто очевиден? Вините себя: как же я не сделал / не понял этого раньше? У меня, например, часто такое бывает. Но факт в том, что это очевидно не было. Это было просто в «пространстве вариантов». Виной тому как раз когнитивное искажение — знание задним числом.
То же когнитивное искажение заставляет людей кричать, что всем было и так понятно, что курс доллара вырастет или что произойдет какое-то другое событие, которое на самом деле просто было в «пространстве вариантов».
Или, когда какой-то новый проект или идея «взлетают», часто появляются люди, которые заявляют, что они над этой темой работали последние 30 лет и что это их достижение. И они, похоже, в этом искренне уверены.
Подобный эффект, конечно, есть и в кибербезопасности. Современные программно-аппаратные системы имеют колоссальную сложность и связность — посмотреть, например, на системы в автомобиле или на промышленном производстве. В результате возникает «комбинаторный взрыв» числа взаимодействий — как между системой и внешними по отношению к ней системами, так и между компонентами самой системы.
А как многие системы создаются? Разрабатывается изначально небезопасная система, а затем к ней применяются внешние средства защиты. Но, имея такое количество взаимодействий, обнести все их подобным «забором» становится все сложнее. Число способов развить атаку на систему, взломав один-единственный компонент, становится огромным. И взлом таких систем — это скорее вопрос времени, когда кибератака и/или человеческий фактор, подобно случаю с авиакатастрофами, станут той последней недостающей фишкой домино, которая приведет к нарушению работы системы.
Поэтому применение альтернативных подходов с созданием конструктивно безопасных систем (англ. Secure by Design) — это не про красивое будущее и неспешные размышления о том, что хорошо бы постепенно думать в этом направлении. Это то, куда нужно активно двигаться уже сейчас, чтобы поспевать за теми изменениями, которые уже произошли.
