AI 상담봇, 인계율을 낮추는 게 목표가 아닙니다

상담봇을 도입하면 가장 먼저 보게 되는 숫자가 있습니다. "몇 %를 봇이 처리했는가." 상담사에게 넘기지 않고 봇 혼자 끝낸 비율이죠. 도입 효과를 한 줄로 보여주기 좋아서 보고서에도 제안서에도 이 숫자가 먼저 올라갑니다.

그런데 저희가 실제 운영 대화를 채점해 보니, 이 숫자만 쫓으면 위험하다는 게 분명해졌습니다.

인계율을 낮추는 가장 쉬운 방법

인계율을 낮추는 건 사실 어렵지 않습니다. 봇이 모르는 것도 그냥 답하게 만들면 됩니다. "확인 후 회신드리겠습니다"라고 넘기는 대신 그럴듯한 문장을 만들어내면 자동 처리율은 바로 올라갑니다.

실제로 무엇이 문제였나

저희는 실제 상담 대화를 봇에게 다시 재생시켜, 봇의 답변과 상담사의 실제 답변을 나란히 놓고 채점합니다. 상담사 답변이 정답지 역할을 합니다.

그렇게 채점했을 때 가장 많이 나온 실패 유형은 "인계했어야 하는데 하지 않은 것"이었습니다. 반대로 "불필요하게 인계한 것"은 거의 없었습니다. 즉 저희 봇의 문제는 소심해서 자꾸 넘기는 게 아니라, 모르는 영역에서 과감하게 답해버리는 쪽이었습니다.

이 상태에서 자동 처리율을 올리는 작업을 했다면, 지표는 개선되고 서비스 품질은 나빠졌을 겁니다.

그래서 두 가지를 같이 봅니다

자동 처리율 하나만 보지 않고, 인계 판단이 옳았는지를 함께 봅니다.

• 넘겼어야 하는데 안 넘긴 경우 — 고객이 틀린 답을 받습니다. 가장 나쁩니다.
• 안 넘겨도 됐는데 넘긴 경우 — 상담사 손이 갑니다. 비효율이지만 사고는 아닙니다.

이 둘은 무게가 전혀 다릅니다. 앞의 것은 신뢰를 깎고, 뒤의 것은 비용을 씁니다. 그래서 개선 순서도 정답률을 먼저 올리고, 그다음에 커버리지를 넓히는 것이 맞습니다. 순서를 뒤집으면 틀린 답이 늘어납니다.

인계는 실패가 아닙니다

한 가지 더. 저희 데이터에서 인계된 대화를 살펴보니, 상담사가 남긴 답변은 대부분 짧았고 대화도 몇 번 오가면 끝났습니다. 인계됐다고 해서 상담사가 오래 붙잡고 있는 게 아니었습니다.

그리고 인계 사유의 상당수는 취소·환불·교환처럼 애초에 사람이 처리해야 하는 일이었습니다. 이런 건 봇이 아무리 똑똑해져도 넘기는 게 맞습니다. 넘기지 않는 게 오히려 사고죠.

그러니 인계율 100%를 0%로 만드는 게 목표가 될 수 없습니다. 넘길 것은 정확히 넘기고, 답할 수 있는 것은 정확히 답하는 것이 목표입니다.

도입을 검토하신다면

상담봇 도입을 검토 중이시라면, 공급사에 자동 처리율만 묻지 마시고 이걸 같이 물어보시길 권합니다.

• 봇이 모를 때 모른다고 말하고 넘기는지, 아니면 지어내는지
• 그 판단이 맞았는지를 어떻게 측정하는지
• 측정에 실제 상담사 답변을 쓰는지, 아니면 자체 기준인지

숫자는 만들기 쉽습니다. 그 숫자가 어떻게 나왔는지가 훨씬 중요합니다.

---