Ошибки в расследованиях инцидентов: почему
человеческий фактор не всегда виноват

Человеческий фактор часто называют причиной катастроф, киберинцидентов и аварий. Но это не всегда верно. Разбираемся, почему
Александр Винявский
Технологический евангелист

В расследованиях инцидентов — кибератак, аварий на промышленных предприятиях, авиакатастроф — по результатам часто фиксируется одна и та же причина: человеческий фактор. Хотя, если присмотреться, окажется, что реальная причина часто иная. А стремление приписывать всему человеческую ошибку связано с распространенным когнитивным искажением: знание задним числом. 

Есть любопытное исследование, которое объясняет, как это работает. 

Смысл в том, что у людей, расследующих инцидент, есть особенность: они знают итоговый результат. Поэтому они смотрят на то, что произошло, предвзято. У них возникает впечатление, что специалисты (сотрудники предприятия или пилот самолета) воспринимали события, которые к этому результату привели, как более значимые, чем то, как эти события выглядели в тот момент. Им кажется, что специалисты «должны были знать», что эти факторы «неизбежно» приведут к аварии. 

Хотя на практике такие специалисты все время находятся в условиях, когда им нужно учитывать множество факторов и быстро принимать решения. И в моменте они не знают, что именно какой-то конкретный фактор приведет к катастрофе. Потому что катастрофа часто наступает в результате неудачного наложения ряда факторов друг на друга, которые сами по себе некритичны. Интересно, что в подтверждение этого факта даже есть реальная история с приземлением самолета на Гудзон. Можно ознакомиться по ссылке.

Поэтому, говорит упомянутое исследование, реальная причина подобных инцидентов — проблемы в дизайне и архитектуре систем, которые такие вещи не учитывают. 

Например, при расследовании авиакатастрофы могут обвинить пилота в том, что он не заметил какую-то конкретную вещь — например, что тумблер находился в некорректном положении. В контексте настоящего мы знаем исход, поэтому выделяем это как самый важный фактор. Но в момент действия пилота он не знал, что это самое важное, и его внимание могло привлечь что-то другое. Положение тумблера могло ни к чему плохому не привести — и много раз так и было, — но при определенном неудачном стечении обстоятельств это привело к катастрофе.

«Знание задним числом» в жизни

Подобный эффект часто возникает и в жизни. Бывало ли у вас, что вы что-то поняли или сделали, и кажется — этот шаг же был просто очевиден? Вините себя: как же я не сделал / не понял этого раньше? У меня, например, часто такое бывает. Но факт в том, что это очевидно не было. Это было просто в «пространстве вариантов». Виной тому как раз когнитивное искажение — знание задним числом. 

То же когнитивное искажение заставляет людей кричать, что всем было и так понятно, что курс доллара вырастет или что произойдет какое-то другое событие, которое на самом деле просто было в «пространстве вариантов». 

Или, когда какой-то новый проект или идея «взлетают», часто появляются люди, которые заявляют, что они над этой темой работали последние 30 лет и что это их достижение. И они, похоже, в этом искренне уверены. 

При чем здесь кибербезопасность?

Подобный эффект, конечно, есть и в кибербезопасности. Современные программно-аппаратные системы имеют колоссальную сложность и связность — посмотреть, например, на системы в автомобиле или на промышленном производстве. В результате возникает «комбинаторный взрыв» числа взаимодействий — как между системой и внешними по отношению к ней системами, так и между компонентами самой системы. 

А как многие системы создаются? Разрабатывается изначально небезопасная система, а затем к ней применяются внешние средства защиты. Но, имея такое количество взаимодействий, обнести все их подобным «забором» становится все сложнее. Число способов развить атаку на систему, взломав один-единственный компонент, становится огромным. И взлом таких систем — это скорее вопрос времени, когда кибератака и/или человеческий фактор, подобно случаю с авиакатастрофами, станут той последней недостающей фишкой домино, которая приведет к нарушению работы системы. 

Поэтому применение альтернативных подходов с созданием конструктивно безопасных систем (англ. Secure by Design) — это не про красивое будущее и неспешные размышления о том, что хорошо бы постепенно думать в этом направлении. Это то, куда нужно активно двигаться уже сейчас, чтобы поспевать за теми изменениями, которые уже произошли. 

В расследованиях инцидентов — кибератак, аварий на промышленных предприятиях, авиакатастроф — по результатам часто фиксируется одна и та же причина: человеческий фактор. Хотя, если присмотреться, окажется, что реальная причина часто иная. А стремление приписывать всему человеческую ошибку связано с распространенным когнитивным искажением: знание задним числом. 

Есть любопытное исследование, которое объясняет, как это работает. 

Смысл в том, что у людей, расследующих инцидент, есть особенность: они знают итоговый результат. Поэтому они смотрят на то, что произошло, предвзято. У них возникает впечатление, что специалисты (сотрудники предприятия или пилот самолета) воспринимали события, которые к этому результату привели, как более значимые, чем то, как эти события выглядели в тот момент. Им кажется, что специалисты «должны были знать», что эти факторы «неизбежно» приведут к аварии. 

Хотя на практике такие специалисты все время находятся в условиях, когда им нужно учитывать множество факторов и быстро принимать решения. И в моменте они не знают, что именно какой-то конкретный фактор приведет к катастрофе. Потому что катастрофа часто наступает в результате неудачного наложения ряда факторов друг на друга, которые сами по себе некритичны. Интересно, что в подтверждение этого факта даже есть реальная история с приземлением самолета на Гудзон. Можно ознакомиться по ссылке.

Поэтому, говорит упомянутое исследование, реальная причина подобных инцидентов — проблемы в дизайне и архитектуре систем, которые такие вещи не учитывают. 

Например, при расследовании авиакатастрофы могут обвинить пилота в том, что он не заметил какую-то конкретную вещь — например, что тумблер находился в некорректном положении. В контексте настоящего мы знаем исход, поэтому выделяем это как самый важный фактор. Но в момент действия пилота он не знал, что это самое важное, и его внимание могло привлечь что-то другое. Положение тумблера могло ни к чему плохому не привести — и много раз так и было, — но при определенном неудачном стечении обстоятельств это привело к катастрофе.

«Знание задним числом» в жизни

Подобный эффект часто возникает и в жизни. Бывало ли у вас, что вы что-то поняли или сделали, и кажется — этот шаг же был просто очевиден? Вините себя: как же я не сделал / не понял этого раньше? У меня, например, часто такое бывает. Но факт в том, что это очевидно не было. Это было просто в «пространстве вариантов». Виной тому как раз когнитивное искажение — знание задним числом. 

То же когнитивное искажение заставляет людей кричать, что всем было и так понятно, что курс доллара вырастет или что произойдет какое-то другое событие, которое на самом деле просто было в «пространстве вариантов». 

Или, когда какой-то новый проект или идея «взлетают», часто появляются люди, которые заявляют, что они над этой темой работали последние 30 лет и что это их достижение. И они, похоже, в этом искренне уверены. 

При чем здесь кибербезопасность?

Подобный эффект, конечно, есть и в кибербезопасности. Современные программно-аппаратные системы имеют колоссальную сложность и связность — посмотреть, например, на системы в автомобиле или на промышленном производстве. В результате возникает «комбинаторный взрыв» числа взаимодействий — как между системой и внешними по отношению к ней системами, так и между компонентами самой системы. 

А как многие системы создаются? Разрабатывается изначально небезопасная система, а затем к ней применяются внешние средства защиты. Но, имея такое количество взаимодействий, обнести все их подобным «забором» становится все сложнее. Число способов развить атаку на систему, взломав один-единственный компонент, становится огромным. И взлом таких систем — это скорее вопрос времени, когда кибератака и/или человеческий фактор, подобно случаю с авиакатастрофами, станут той последней недостающей фишкой домино, которая приведет к нарушению работы системы. 

Поэтому применение альтернативных подходов с созданием конструктивно безопасных систем (англ. Secure by Design) — это не про красивое будущее и неспешные размышления о том, что хорошо бы постепенно думать в этом направлении. Это то, куда нужно активно двигаться уже сейчас, чтобы поспевать за теми изменениями, которые уже произошли. 

Консультация по решению

Остались вопросы или требуется дополнительная информация по решению? Оставьте заявку на консультацию, и мы с вами свяжемся!

Задать вопрос

Отвечаем на самые популярные вопросы о KasperskyOS и решениях на ее основе

Перейти в FAQ