Порог уверенности
Порог уверенности — это число от 50% до 95%, которое определяет, насколько AI должен быть уверен в своём ответе, чтобы отправить его клиенту автоматически. Если уверенность ниже порога — диалог уходит оператору.
Как выбрать значение
Заголовок раздела «Как выбрать значение»| Порог | Поведение | Когда выбирать |
|---|---|---|
| 50–60% | AI отвечает почти всегда | Максимальная автоматизация, готовы простить редкие ошибки |
| 65–70% | Сбалансированный (по умолчанию) | Подходит большинству — AI закрывает 70–80% обращений |
| 75–85% | AI отвечает только когда «знает наверняка» | Регулируемая отрасль, дорогая ошибка (медицина, юристы, финансы) |
| 90–95% | Почти всё уходит оператору | На время теста или если AI постоянно ошибается — пересоберите базу знаний |
Что влияет на уверенность
Заголовок раздела «Что влияет на уверенность»- Релевантность фрагментов из базы знаний. Если похожих фрагментов не нашлось — уверенность низкая.
- Длина и однозначность вопроса. Короткое «А цена?» без контекста снижает уверенность.
- История диалога. Если AI уже несколько раз эскалировал в этом диалоге — следующий раз он сделает это охотнее.
- Качество ответа LLM. Эвристики: упоминает ли модель базу знаний, есть ли хеджи вроде «возможно, не уверен».
Если AI слишком часто эскалирует
Заголовок раздела «Если AI слишком часто эскалирует»Не всегда виноват порог. Сначала проверьте:
- База знаний покрывает реальные вопросы клиентов? Откройте 10–20 эскалированных диалогов и посмотрите — есть ли в базе ответы на эти темы.
- Документы хорошо структурированы? Маркетинговые тексты вместо конкретики снижают уверенность. См. База знаний.
- Промпт не запрещает AI отвечать? Фраза «всегда передавай оператору при сомнениях» фактически выключает AI.
Если всё хорошо — снижайте порог на 5–10% и наблюдайте.
Если AI отвечает чушь
Заголовок раздела «Если AI отвечает чушь»- Поднимите порог до 80% — снизит количество автоответов, но повысит качество.
- Сократите и переструктурируйте базу знаний — оставьте только конкретные факты (цены, услуги, расписание), уберите маркетинг.
- Добавьте в промпт: «Если в контексте нет точного ответа — честно скажи, что не знаешь, и передай менеджеру».
Что дальше
Заголовок раздела «Что дальше»- Эскалация оператору
- Промптинг — как заставить AI признавать незнание
- Производительность AI