98,8 % санының артында не тұр
ЖИ-агенттің дәлдігін әдемі шығатындай өлшеу оңай. Оны өзімізде қалай санайтынымызды және неге бенчмарк алмайтынымызды айтамыз.
Нақты кейстердегі агент жауаптарының дәлдігі 98,8 % деп жазамыз. Бұл санды адал емес жолмен алу оңай, сондықтан артында нақты не тұрғанын талдайық.
Бенчмарктар неге көмектеспеді
Ашық сұрақ жинақтары модельдің білімін өлшейді, агенттің бизнестегі жұмысын емес. Турфирманың агенті географиядан қателеспейді. Ол клиент «сол күндерге, бірақ арзанырақ» деп жазғанда, қай күндер айтылғанын түсінбей қателеседі.
Сондықтан дәлдікті клиенттің тірі диалогтарында ғана және әр енгізу үшін қайтадан санаймыз.
Қатені неге санаймыз
Қателерді төрт сыныпқа бөліп, бөлек санаймыз, себебі олардың құны әр түрлі.
- Фактілік қате: агент білім базасында жоқ бағаны, шартты немесе мерзімді айтты. Ең қымбат сынып, жол берілетін үлесі — нөл.
- Контексттің жоғалуы: агент жоғарыда айтылғанға сілтемені түсінбей, жауап берілген сұрақты қайта қойды.
- Қате маршруттау: агент адамға беруі керек жерде өзі шешті немесе керісінше.
- Орынсыз реңк: жауап формальды дұрыс, бірақ жағдайда қате естіледі. Ең даулы сынып, қолмен бағалаймыз.
Қалай санаймыз
Апта сайын диалогтардың кездейсоқ таңдамасын алып, екі өтуде белгілейміз. Әуелі — төрт сынып бойынша чек-листі бар жеке модель. Содан кейін енгізу командасындағы адам модель қате тапқан барлық жағдайды және таппағандарының 10 %-ын тексереді. Екінші бөлік белгілеудің өз қателерін ұстау үшін керек.
Дәлдік — ешбір сыныпта қатесі жоқ диалогтардың үлесі. Дұрыс хабарламалардың үлесі емес: бір қате жауап бүкіл диалогты бұзады, оны «қырықтың бірі» деп санау өзін алдау болады.
Өлшем бірлігі — диалог, хабарлама емес. Клиент хабарламадан кетпейді, ол әңгімеден кетеді.
Қателермен не істейміз
Фактілік қателер әрдайым дерлік модельдің мәселесі емес, білім базасындағы тесікті білдіреді. Агент өтірік айтты, себебі оған шындық берілмеген. Бұл промптпен емес, құжатпен емделеді.
Контексттің жоғалуы тапсырманы тарылтумен емделеді. Агент тур таңдау туралы ұзақ хат-хабарда шатасса, біз таңдауды нұсқаулық қосудың орнына айқын күйі бар жеке сценарийге шығарамыз.
Қате маршруттау — бизнес үшін ең пайдалы сынып. Әр жағдай жауапкершілік шегі нашар сипатталған жерді көрсетеді. Әдетте талдаудан кейін агент емес, адамдарға арналған регламент түзетіледі.
Бұл сан нені білдірмейді
98,8 % — баптаудан өткен және айлап жұмыс істеп жүрген енгізулердегі нәтиже. Жаңа клиентте бірінші аптада дәлдік төменірек, сондықтан агентті кеңес режимінде ұстаймыз: ол жауапты жазады, менеджер растайды. Агент өз бетінше жұмысқа тұтас емес, тақырып бойынша шығады.