Что стоит за цифрой 98,8 %

Мы пишем, что точность ответов агентов в реальных кейсах — 98,8 %. Эту цифру легко получить нечестно, поэтому разберём, что именно за ней стоит.

Почему бенчмарки нам не помогли

Публичные наборы вопросов измеряют знания модели, а не работу агента в бизнесе. Агент турфирмы ошибается не в географии. Он ошибается, когда клиент пишет «а на те же даты, но подешевле», а агент не понимает, какие именно даты имелись в виду.

Поэтому мы считаем точность только на живых диалогах клиента, и для каждого внедрения заново.

Что мы называем ошибкой

Мы выделили четыре класса, и считаем их отдельно, потому что стоят они по-разному.

• Фактическая ошибка: агент назвал цену, условие или срок, которых нет в базе знаний. Самый дорогой класс, допустимая доля — ноль.
• Потеря контекста: агент не понял отсылку к сказанному выше и задал вопрос, на который уже отвечали.
• Неверная маршрутизация: агент решил сам там, где должен был передать человеку, или наоборот.
• Неуместный тон: ответ формально верен, но в ситуации звучит неправильно. Самый спорный класс, оцениваем вручную.

Как считаем

Каждую неделю берём случайную выборку диалогов и размечаем её в два прохода. Сначала — отдельная модель с чек-листом по четырём классам. Затем человек из команды внедрения проверяет все случаи, где модель нашла ошибку, и ещё 10 % тех, где не нашла. Вторая часть нужна, чтобы ловить ошибки самой разметки.

Точность — доля диалогов без ошибок любого класса. Не доля правильных сообщений: один неверный ответ ломает весь диалог, и считать его как «одно сообщение из сорока» означает обманывать себя.

Единица измерения — диалог, а не сообщение. Клиент уходит не из-за сообщения, он уходит из-за разговора.

Что мы делаем с ошибками

Фактические ошибки почти всегда означают дыру в базе знаний, а не проблему модели. Агент сказал неправду, потому что правды ему не дали. Это лечится документом, а не промптом.

Потери контекста лечатся сужением задачи. Если агент путается в длинных переписках про подбор тура, мы выносим подбор в отдельный сценарий с явным состоянием, а не добавляем инструкций.

Неверная маршрутизация — самое полезное для бизнеса. Каждый такой случай показывает место, где границы ответственности описаны плохо. Обычно после разбора правится не агент, а регламент для людей.

Чего эта цифра не значит

98,8 % — это результат на внедрениях, которые прошли настройку и работают месяцами. В первую неделю у нового клиента точность ниже, и мы держим агента в режиме подсказок: он пишет ответ, менеджер подтверждает. На самостоятельную работу агент выходит по темам, а не целиком.