К оценке чат-ботов с новыми критериями

Каждая компания-разработчик чат-ботов и диалоговых интерфейсов использует собственные внутренние подходы к оценке их качества. Зачастую это некие «тайные» знания, слабо формализованные и неотделимые от их носителей. Вместе с тем за годы использования сформировалась потребность в единых принципах оценки. Такие принципы требуются для определения влияния разных сценариев в поведении чат-ботов на лояльность клиентов. Они нужны, чтобы понимать, как улучшать и развивать функционал диалоговых пользовательских интерфейсов в будущем.

Поэтому в markswebb выбрали разработку единых принципов оценки в качестве одной из ключевых целей второго исследования Chatbot Rank 2022. Делали это аналитики в несколько этапов. Сначала было проанализировано более 55 открытых источников, содержащих рекомендации по разработке диалоговых пользовательских интефейсов и описание лучших практик, затем были проведены глубинные интервью с пользователями чат-ботов и с экспертами и наконец валидировали результаты с помощью количественного опроса.

Итогом этой работы стали девять принципов оценки диалогового интерфейса, или conversational user interface (CUI), и 47 правил, выполнение которых необходимо для их реализации. Дополненная таким образом система оценки была применена для построения рейтинга чат-ботов в мобильных приложениях банков.

В Chatbot Rank 2022 количество запросов для тестирования чат-ботов было увеличено до 50. Это были наиболее популярные запросы клиентов российских банков в мобильных приложениях.

К тому же банки с конца февраля 2022 года столкнулись с кратным ростом нагрузки на каналы дистанционного обслуживания: обеспокоенные граждане проверяли ДБО на прочность.

В этом году аналитики рейтинговали чат-боты из мобильных приложений 11 банков. При этом большой вес в оценке имели понимание и правильная обработка запросов пользователей. Помимо качества отработки пользовательских запросов учитывалось выполнение прошедших валидацию принципов и правил, которым должен соответствовать эффективный чат-бот. Поскольку они претендуют на роль стандарта для рынка, есть смысл поговорить о них подробнее.

Принципы и практики

В соответствии с первым принципом чат-бот должен выдавать клиенту оптимальный объем информации. Из всех вариантов ответа на запрос клиента он должен выбирать самый короткий. При этом текстовый помощник должен увидеть все запросы, содержащиеся в сообщении пользователя, и в идеале ответить на каждый из них в отдельном сообщении, что позволит структурировать информацию и облегчит пользователю понимание ответов. Как показало исследование, такой способностью обладают далеко не все чат-боты. Кое-кто из них реагирует на первую часть запроса и не замечает вторую. Образцом для подражания является чат-бот Альфа-Банка, который на вопрос: «Где можно оплатить за ЖКХ и за интернет?» дает два ответа со ссылками на соответствующие разделы.

Также клиенты в интервью рассказали о том, что их очень раздражает, что чат-бот во время общения предлагает им продукты, не относящиеся к теме разговора. На этот счет аналитики разработали специальное правило, согласно которому текстовый помощник не рекламирует продукты и сервисы банка, не упомянутые пользователем в запросе.

Второй принцип обязывает чат-бот подавать информацию просто. Текст его ответа должен быть максимально понятным и емким. Опрошенные аналитиками клиенты высказались в пользу краткости и против лишних слов. В этом смысле положительный пример — бот Тинькофф Банка: он коротко представляется и сразу переходит к запросу пользователя.

Для того чтобы помочь клиенту с навигацией в мобильном приложении или объяснить, какую последовательность шагов нужно совершить для получения желаемого результата, бот может использовать визуальные материалы. Так, бот Совкомбанка не только выдает в ответ на запрос клиента ссылки на те или иные разделы мобильного приложения, но и демонстрирует ему скриншот, на котором все нужные кнопки взяты в рамочку.

Также важно, чтобы клиент банка понимал, кто его собеседник — человек или бот. «Общение с ботом должно быть прозрачным», — гласит третий принцип.

Исследователи выявили случай, когда в одном из банков клиент просил соединить его с оператором и с удивлением узнал, что с ним он и говорит.

Ориентир для разработчиков таких программных продуктов — чат-бот Ак Барс Банка: он не только сообщает клиенту, что он бот, но и, соединяя клиента с оператором, называет ему точное время ожидания.

Четвертый принцип касается диалогового интерфейса. Он говорит о том, что диалоговый интерфейс должен быть многофункциональным. Это очень важно, поскольку от его удобства зависит, обратится ли пользователь к чат-боту в следующий раз. Все номера телефонов и все ссылки, которые бот показывает клиенту, должны быть кликабельными, а в диалоге о продукте все его ключевые параметры должны находиться в зоне доступа пользователя. Дополнительным преимуществом чат-бота в этом случае является функция приема голосовых сообщений, подобная той, которая реализована в Тинькофф Банке.

Бывает, что к помощи бота прибегает расстроенный или недовольный клиент. Тогда в дело вступает пятый принцип, согласно которому чат-бот должен уметь выделять негатив, распознавать его и эффективно, с учетом эмоционального состояния клиента, реагировать. Одним из наиболее эмпатичных оказался чат-бот Почта Банка: он может не только распознать, что клиент находится в плохом настроении, но и выразить ему свое сочувствие.

Как правило, обращаясь за помощью к чат-боту, пользователь рассчитывает на бесшовный переход из одного канала взаимодействия с банком в другой. В этой связи шестой принцип: «Бот должен быть интегрирован с другими каналами коммуникаций этой кредитной организации».

Седьмой принцип, требующий адаптировать чат-бот к запросам пользователей, пока решается на рынке не слишком активно. Между тем от реализации, к примеру, способности чат-бота понимать и обрабатывать пользовательские запросы с опечатками и ошибками во многом зависит впечатление, которое этот сервис произведет на пользователя.

Иногда в диалоге бота с клиентом возникают непонимание и как следствие необходимость вернуться на шаг или два назад. Такой сценарий предусмотрен в боте Совкомбанка. Ему можно сказать: «В начало», и он возвращается к той части беседы, где все еще понимали друг друга.

На создание здорового общения пользователя с чат-ботом ориентирован восьмой принцип, требующий, чтобы такой робот был вежливым, то есть умел соблюдать общепринятые у людей способы ведения диалога. Хорошим примером вежливого обращения с клиентом является бот Тинькофф Банка. Он прямо в чате уведомляет пользователя о выполнении его запроса, что для человека очень удобно.

Ну и, наконец, последний, девятый принцип гласит: «Чат-бот должен решать задачу клиента». Он обязывает текстового помощника провести пользователя коротким путем, не прибегая к помощи консультанта. При этом бот не должен повторять свой ответ на один и тот же вопрос, поскольку это очень раздражает пользователей. Среди банков — участников рейтинга с этой задачей лучше всего справился бот ВТБ. На повторение вопроса пользователем он отвечает, что уже ответил на него, а потом выдает дополнительную информацию по этому запросу.

Успехи и зоны роста

В ходе подготовки рейтинга выяснилось, что девять принципов реализованы в банках в разной степени. Так, самым часто и эффективно воплощаемым в чат-ботах кредитных организаций оказался принцип простоты подачи информации. Уровень его реализации составил 75,2%. А самое низкое значение этого показателя — 13,6% — у принципа, требующего от чат-бота реагировать на эмоциональное состояние собеседника.

Исследование показало положительную динамику развития чат-ботов в мобильных приложениях кредитных организаций по отношению к результатам рейтинга прошлого года. Во всех шести блоках, на которые подразделялись запросы (навигация, предоставление общей и персонализированной информации, подбор продукта, выполнение действий, прием жалоб), качество распознанных и корректно обработанных ботами обращений клиентов, заметно выросло.

Вместе с тем были выявлены блоки, в работе с которыми у многих чат-ботов, участвовавших в рейтинге, возникают трудности. Это прием и понимание жалоб, а также подбор продукта по запросу клиента. Последний блок очень важен для банков, поскольку его реализация в сервисе позволяет увеличить объем продаж финансовых услуг, с одной стороны, и оптимизировать нагрузку на операторов контакт-центра, с другой. Между тем только половина чат-ботов из мобильных приложений банков могла что-то ответить пользователям, спрашивающим о продуктах, остальные, распознав запрос, тут же переводили клиента на оператора.

Еще меньше текстовых помощников готовы должным образом реагировать на запрос клиентом общей и персонифицированной информации. Реализация этого блока в мобильных банковских приложениях — это зона роста, и осваивать ее необходимо, поскольку пользователи считают вопрос, к примеру, об условиях их договора с кредитной организацией простым и хотят получить ответ на него от чат-бота.

Чем различаются лидеры

Тестирование чат-ботов на умение обработать популярные запросы пользователей, а также проверка их соответствия девяти принципам позволили выявить как довольно развитые диалоговые пользовательские интерфейсы, так и роботизированные сервисы, нуждающиеся в совершенствовании.

Так, текстовые помощники банков, оказавшихся на последних строчках Chatbot Rank 2022, не всегда справляются с пониманием и обработкой клиентских запросов, не умеют возвращаться к отложенному пользователем диалогу и не имеют возможности вернуться на шаг назад в коммуникации с клиентом.

Чат-боты банков, занимающих в рейтинге срединное положение, демонстрируют более высокий уровень понимания запросов клиентов. В ходе исследования ни один из них не смог выполнить обращения пользователя — предложить карту с максимальным кешбэком. Так что развитие функционала блока подбора продуктов для клиентов — это зона роста. Еще одна проблема этих чат-ботов заключается в том, что они не соблюдают принцип предоставления оптимального объема информации.