Заключительный день II Международного конгресса по кибербезопасности (ICC-2019), организованного Сбербанком и проведенного в июле 2019 года, открылся панельной дискуссией «Применение искусственного интеллекта (AI) в кибербезопасности». Модератором сессии выступил Александр Ведяхин, первый заместитель председателя правления Сбербанка. В дискуссии приняли участие Михаил Мамонов, заместитель министра цифрового развития, связи и массовых коммуникаций РФ; Григорий Кабатянский, профессор, советник ректора по науке Сколковского института науки и технологий (СколТех); Сергей Гаричев, проректор по исследованиям и разработкам МФТИ; Игорь Ляпунов, вице-президент по информационной безопасности Ростелекома, генеральный директор компании «Ростелеком-Солар»; Алексей Натекин, основатель открытого сообщества исследователей данных России Open Data Science; доктор Лу Чу Кионг, заместитель директора Центра по инновациям Университета Малайя, а также Эйден У, генеральный директор Huawei в России.

Фото: Сбербанк

Epic fail или начало пути?

В этом году, по данным Сбербанка, каждые 14 секунд в мире происходят кибератаки. С увеличением числа кибератак возрастает и причиняемый ими ущерб. Если в прошлом году убытки компаний из различных секторов экономики составили 1,5 трлн долларов, то в 2019 году, по прогнозу Банка, они достигнут уже 2,5 трлн. К 2022 году, как подсчитали эксперты Всемирного экономического форума, сумма ущерба от кибератак может вырасти до 8 трлн долларов.

Ясно, что для защиты от атак киберкриминала, особенно от социальной инженерии, требуются все новые и новые инструменты. Поэтому эксперты не упускают из виду возможности AI. Но насколько полно эти потенциальные возможности находят практическое применение в финансовой сфере? Модератор предложил провести опрос среди присутствовавших в зале делегатов, причем дважды: перед началом сессии и по ее окончании.

Результат опроса обескуражил всех. Выяснилось, что AI еще далек от того, чтобы стать и «полезным инструментом», и «лучшим инструментом отражения угроз». Полезность AI в ИБ в начале сессии готовы были признать 60,52% участника, а в ее конце — 57,44%. В номинации «Лучший инструмент» ситуация оказалась аналогичной: 13,92 и 9,23% соответственно. Зато утверждение «AI — модное увлечение» резко набрало вес: с 12,94 до 18,15%. Что самое удручающее и поразительное, так это то, что искусственный интеллект сам по себе является дырой в безопасности и несет банку новые угрозы: рост с 12,62 до 15,18%.

Так что же сказали эксперты?

Практически все выступающие, говоря об AI как о наборе статистических и математических инструментов, ничего «божественного» в нем не увидели. Возможно, лет через 50 появится почва для обсуждения проблем социализации AI. Сегодня же речь идет о том, что элементы искусственного интеллекта могут быть с успехом применены в системах помощи при принятии решений человеком. Иногда эти решения могут приниматься AI с некоторой долей самостоятельности (например, при управлении беспилотными автомобилями).

И вот тут выяснилось, что AI имеет довольно серьезные отличия от прочих технологических и технический решений, которые сейчас принято называть «коммодити». Поэтому необходима проработка многих правовых вопросов — не того, кем жертвовать в случае ДТП: пассажиром или кем-то еще; необходимо научиться регулировать данные, которые являются «пищей» для AI.

«Электричество не решает за вас, когда ему течь и сколько ему выдавать напряжения. Баланс между делегированием задач и повышением уязвимости собственных систем — тот баланс, который мы должны научиться соблюдать. Данные — пища, которая питает мозг искусственного интеллекта. Пока на регуляторном уровне не будет решена проблема законодательства в области больших данных, задача использования элементов и продуктов искусственного интеллекта решена не будет. В ближайшем будущем интеллект не заменит человека, но использование его в стартапах может быть важным подспорьем для людей. Это разумный компромисс между человеком и техникой», — привел мнение правительства РФ Михаил Мамонов.

Фото: Сбербанк

Второй ключевой вопрос дискуссии: кто же будет нести ответственность за поступки искусственного интеллект? Игорь Ляпунов был категоричен: «В кибербезопасности ответ очень простой: ответственность — понятие неотторжимое, и ее несут специалист по ИБ и руководитель отдела кибербезопасности». А Алексей Натекин высказался максимально приближенно к реальному положению вещей: «Ответственность лежит на том, кто продал решение. AI хорош, но когда он сделан “правильными людьми”».

А вот с людьми у нас — главная проблема! AI часто рассматривается сейчас как средство минимизации человеческого фактора, но при этом в значительной части финансовых институтов, и не только, ощущается острый дефицит квалифицированных кадров, которые смогли бы использовать AI не просто как «полезный инструмент», но и как «лучший инструмент». Неудивительно, что опрос показал по этим номинациям падение рейтинга.

На пять—десять лет можно расслабиться

Однако если бы список проблем, связанных с новой технологией, этим и ограничился! Но нет! AI сам стал угрозой сразу по нескольким причинам.

По мнению Алексея Натекина, практически вся информация по популярным программным продуктам находится в открытом доступе, подобно всему остальному Open Source. Тысячи исследователей, программистов и просто энтузиастов без проблем могут изучить эти источники, например TensorFlow. Имеют они и доступ к открытым датасетам для обучения сетей. В итоге в руках у злоумышленников появляются данные о способах атак на сам AI. Уже есть примеры того, как заменой нескольких пикселей на изображении можно радикально изменить предсказательную способность нейронных сетей.

При этом никто не может запретить криминалу использовать тот же TensorFlow в своих целях. У регуляторов нет никаких средств противодействия использованию Open Source-продуктов в противоправной деятельности. Вопрос только в том, кто сумеет лучше обучить машину! «Нейросети можно научить узнавать кошку, показав тысячи фотографий с этим животным. Где взять тысячи кибератак, чтобы привести их в пример?» — задал риторический вопрос Игорь Ляпунов.

Тем не менее уже накоплен некоторый опыт практического применения искусственного интеллекта. Представитель Ростелекома так охарактеризовал его: «Сегодняшний прото-AI помогает искать следы преступников в даркнете и анализировать уже обнаруженные зловреды. Антифрод, противодействие отмыванию денег, отчасти выявление уязвимостей в коде — все это тоже можно делать автоматизированными средствами. Остальное же можно отнести к маркетинговым проектам разработчиков ПО, и в ближайшие пять — десять лет это не изменится».

«В результате эксперты стараются приблизить механику систем безопасности к работе человеческого мозга, чтобы защитные средства использовали интуицию вместе с эмпирическими методами. Технологии глубинного обучения позволяют таким системам эволюционировать самостоятельно на моделях кибератак. AI в моде, и это хорошо. На самом деле идти до него еще очень долго, и это еще лучше», — подвел финальные итоги Григорий Кабатянский.