По исследованию платформы по созданию ИИ-агентов Nodul, размещение банковского ИИ-агента на собственных серверах требует инвестиций от 19,2 до 23,6 млн рублей в первый год, включая 8,48 млн рублей на закупку оборудования и от 10 до 14,4 млн рублей на ежегодные операционные расходы. Это обусловлено требованиями 152-ФЗ о хранении персональных данных на российских серверах, что делает локальное развертывание предпочтительным для банков и страховых.

Облачное размещение на GPU-платформе обходится дешевле на старте, но итоговые годовые затраты составляют от 14,3 до 17,9 млн рублей.

Исследование анализирует сценарий работы ИИ-агента с 100 тыс. текстовых диалогов от трех сообщений в день. При этом использование Chat GPT 4o-mini обойдется в примерно 2,5 тыс. долларов в месяц.

Покупка собственного оборудования потребует около 106 тыс. долларов на шесть графических процессоров Nvidia A100 и две серверные платформы. Ежемесячные расходы на размещение оборудования в дата-центре и электроэнергию составят около 640 долларов, что в итоге дает около 3,5 тыс. долларов в месяц.

Локальная инфраструктура становится экономически выгодной при более 140 тыс. диалогов в день, а также обеспечивает защиту данных и независимость от вендоров. Дополнительные расходы связаны с установкой оркестраторов, стоимость которых начинается от 700 тыс. рублей, а на разработку сценариев работы агента может потребоваться до 500 тыс. рублей в месяц.

После запуска ИИ-агента компании несут расходы на обслуживание, которые при локальном размещении составляют 10-20% стоимости серверов, или 10–20 тыс. долларов в год. В облачных сценариях ответственность за контроль работы берет на себя провайдер, включая уровень SLA, который определяет скорость реакции на сбой; чем он выше, тем дороже обслуживание.

Источник: Nodul