Команда ученых Центра практического искусственного интеллекта Сбербанка опубликовала в открытом доступе библиотеку SIRIN (Semantic Inconsistency Recognition and Inspection Nexus, «Обнаружение и анализ семантических несоответствий»). Она помогает делать ИИ-агентов и языковые модели надежнее: находить в их ответах вымышленные или не подтвержденные исходными данными факты.

SIRIN объединяет разные методы проверки ответов. Разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант для своей задачи. Библиотека умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, показывая, где именно модель могла ошибиться. Кроме того, SIRIN может заранее определить, достаточно ли у ИИ-агента информации для ответа. Это позволяет не только находить ошибки, но и предотвращать их — например, попросить дополнительные данные или отказаться от неподтвержденного ответа.

В основе библиотеки лежат исследования Сбера в области детекции галлюцинаций. В частности, ученые из команды исполнительного директора по исследованию данных Центра практического ИИ Сбербанка Максима Макаренко разработали метамодели, которые позволяют повысить точность обнаружения ошибок почти на 30%, используя для обучения всего 250 примеров.

Сергей Рябов, старший управляющий директор, директор по AI-трансформации Сбербанка, отметил, что группа внедряет ИИ на системном уровне и уже обладает одной из самых сильных экспертиз на рынке. Банк принял решение открыть SIRIN для всех компаний, чтобы способствовать развитию рынка.

Любой разработчик может встроить SIRIN в своего ассистента за несколько минут. Инструмент будет полезен бизнесу, который внедряет большие языковые модели и хочет следить за качеством диалогов с пользователем. Также он пригодится исследователям и разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов.

Библиотека доступна на российской платформе GitVerse, а также на GitHub. На Hugging Face опубликовано веб-демо.

Источник: Сбербанк