«Слава роботам! Убить всех человеков!» — эта фраза из известного мультсериала «Футурама» стала афоризмом (или, как говорят в Интернете, мемом), отражающим угрозы, которые машины несут людям. Очередное свидетельство, насколько могут быть опасны творения рук человеческих, появилось в четверг, 21 июня, когда биржевой робот (программа для трейдинга) «сошел с ума» и за две минуты совершил сделок на 700 млн долларов. Как сообщают «Ведомости», покупки при этом проводились по завышенной цене, а продажи — по заниженной, в результате чего хозяин робота мог потерять около 4,3 млн долларов. Исходя из объема сделок, предполагается, что пострадавшим стал один из банков.

Конечно, это существенно меньше, чем проигранные Жеромом Кервелем 6,7 млрд евро, зато в полной мере отражает закон Мерфи «Компьютеры ненадежны, но люди еще ненадежнее». Однако прецедент существенный, тем более, что случай далеко не единственный. Наверняка все помнят случившийся несколько ранее коллапс на той же ММВБ-РТС, который был вызван ошибками ПО, возникшими в результате интеграции.

Понятно, что ненадежность и непредсказуемость систем — далеко не новость. На одной из конференций Денис Гузовский, заместитель директора департамента банковских и информационных технологий ВТБ24, заявил, что потери от рисков интеграции ПО, по оценкам банка, могут превышать стоимость самого ПО. Но ведь и ненадежность людей была известным фактором, однако дело Кервеля заставило существенно пересмотреть подходы к операционным рискам. Учитывает ли, например, Базель III возможность «сумасшествия» биржевого робота? Вряд ли. То есть банкам самим придется разрабатывать меры противодействия этому виду операционного риска.

Когда люди сходят с ума, компьютеры могут во много крат ухудшить последствия

Хорошо было бы научиться такие риски страховать. Однако это представляется чрезмерно сложной задачей: непонятно, в частности, как доказать, что страховой случай — это именно случай, а не преднамеренное мошенничество. Слишком уж сложны подобные программы. Поэтому меры сводятся к усилению уже известных: тщательный выбор ПО и партнеров, четкое определение ответственности поставщика ПО, тестирование, стандартизация и контроль.

Понятно, что даже если банк докажет ошибку поставщика ПО, то если это небольшая компания разработчиков — вряд ли она сможет выплатить 4 млн долларов. Получить команду в рабство, учитывая дефицит IT-специалистов, было бы неплохо, но законодательство не позволит. Поэтому случившееся — еще одно доказательство тезиса, что поставщика ПО нужно выбирать тщательно: он должен быть достаточно крупным, чтобы стало возможным описать в договоре и реализовать штрафные санкции. А уж весь «end user computing» — всякие «скриптики», макросы в Excel, да и вообще любые программы, не стандартизированные на уровне IT-службы всего банка, точно требуется искоренить (кстати, именно на них в банках часто считают риски).

Правоприменительная практика — что должно последовать за подобными случаями, можно ли отменить проведенные сделки и кто несет ответственность — тоже требует доработки.

Конечно, в связи с возможностью наступления кризиса все это кажется цветочками, однако практика показывает, что, когда люди сходят с ума, компьютеры могут во много крат ухудшить последствия. «Ошибаться человеку свойственно, но окончательно все запутать может только компьютер», — гласит еще один закон Мерфи.