보이스 에이전트 품질은 어떻게 평가하나: 지표와 방법

보이스 에이전트의 품질은 하나의 점수로 잴 수 없습니다. 실무에서는 과업 완료(고객이 원한 일을 끝냈는가), 정확성(값을 맞게 받고 맞게 안내했는가), 대화 품질(자연스럽고 빠르게 주고받았는가), 준수(해서는 안 될 말과 행동을 하지 않았는가) 네 축으로 나눠 봅니다. 축마다 보는 지표와 측정 방법이 다르고, 한 축이 좋아지면 다른 축이 나빠지기도 하므로 함께 보는 것이 중요합니다.

이 글은 한국AI통신이 AI 전화 응대를 개선할 때 쓰는 평가 틀을 정리합니다. 특정 수치 목표보다, 무엇을 어떻게 재야 개선으로 이어지는지에 집중합니다.

평가의 네 축

과업 완료만 보면 AI가 무리하게 답해 해결 비율을 높이는 방향으로 기울 수 있고, 준수만 보면 AI가 모든 질문을 접수로 넘기는 방향으로 기울 수 있습니다. 두 축을 짝지어 보는 이유입니다.

과업 완료: 해결과 이관을 함께 본다

• AI 해결: 고객 용건이 AI 선에서 끝났는지. 예약 완료, 정보 안내 완료 등 결과 태그로 셉니다.
• 이관: 사람에게 연결되거나 콜백으로 넘어간 통화. 이관 자체는 실패가 아닙니다. 넘겨야 할 통화를 잘 넘겼는지가 중요합니다.
• 재통화: 같은 고객이 짧은 시간 안에 다시 전화했다면 첫 통화에서 해결되지 않았을 가능성이 큽니다.
• 중도 종료: 고객이 대화 중간에 끊은 통화. 답답함의 신호일 수 있습니다.

정확성: 업무에 필요한 값으로 잰다

음성 인식의 단어 오류율 같은 일반 지표보다, 업무에 필요한 값을 맞게 처리했는가가 실제 품질에 가깝습니다. 예약이라면 날짜, 시각, 인원, 이름, 연락처가 정답과 일치하는지를 항목별로 봅니다. 한 글자 틀린 이름보다 한 시간 틀린 예약이 훨씬 큰 문제이므로 항목마다 중요도를 다르게 둡니다.

정확성은 두 갈래로 나뉩니다.

1. 1받기 정확성: 고객이 말한 값을 맞게 받았는가. 한국어 숫자와 고유명사의 인식 문제는 한국어 전화 음성인식이 어려운 이유에서 다룹니다.
2. 2안내 정확성: 매장 정보와 조회 결과대로 안내했는가. 근거 없는 안내를 줄이는 방법은 보이스 AI 가드레일 설계를 참고하세요.

대화 품질: 녹음을 듣고 잰다

대화 품질은 텍스트만으로는 알 수 없습니다. 녹음에서 다음을 봅니다.

• 응답 공백: 고객 말이 끝나고 AI 첫 소리가 나오기까지. 평균보다 길게 늘어지는 통화를 찾습니다. 구간별 원인은 AI 전화 응답 지연 예산에서 다룹니다.
• 동시 발화와 끊김: 양쪽이 동시에 말한 구간, AI가 고객 말을 자른 횟수.
• 되묻기: 고객이 "네?", "다시요?"라고 한 횟수. 목소리나 말 속도의 문제일 수 있습니다.
• 반복: 고객이 같은 말을 두 번 이상 한 횟수. 인식이나 말 끝 판단의 문제일 수 있습니다.

출시 전: 시나리오 시험

시나리오 세트에는 세 종류를 섞습니다.

• 대표 용건: 실제 통화에서 가장 많은 용건 몇 가지
• 어려운 값: 긴 전화번호, 영문 상호, 오전·오후가 모호한 시각
• 예외 상황: 마감된 시간 요청, 범위 밖 질문, 화난 고객, 중간에 말을 바꾸는 고객

시험은 반드시 실제 전화로 합니다. 웹 데모에는 전화망 구간과 협대역 음질이 빠져 있습니다. 사람이 직접 거는 시험이 가장 정확하지만, 시나리오가 많아지면 다른 AI가 고객 역할을 맡는 시뮬레이션 통화로 범위를 넓히는 방법도 쓰입니다. 시뮬레이션은 실제 고객의 말투와 다를 수 있으므로 사람 시험을 대체하기보다 보완하는 용도로 씁니다.

운영 중: 샘플 검수와 추세

출시 뒤에는 모든 통화를 사람이 들을 수 없으므로 샘플링과 자동 검사를 섞습니다.

1. 1자동 표시: 받아쓰기와 요약에서 이관, 중도 종료, 반복, 특정 키워드가 있는 통화를 자동으로 골라냅니다.
2. 2샘플 청취: 골라낸 통화와 무작위 통화를 함께 정기적으로 듣고 축별로 채점합니다.
3. 3LLM 채점 보조: 받아쓰기를 다른 모델에게 기준표와 함께 주고 1차 채점을 맡기는 방식도 쓰입니다. 다만 채점 모델도 틀릴 수 있으므로 사람이 일부를 교차 확인합니다.
4. 4변경 기록과 함께 보기: 지시문, 매뉴얼, 모델을 바꾼 날짜를 지표 추세와 나란히 놓아야 무엇이 효과가 있었는지 압니다.

통화 기록과 요약을 한곳에서 보는 화면이 있으면 검수가 쉬워집니다. 한국AI통신의 제로콜은 통화마다 AI 응대 여부와 요약을 기록으로 남기고, KAT Cloud는 통화 기록과 받아쓰기·요약을 API와 웹훅으로 받아 자체 평가 도구에 넣을 수 있습니다. 두 서비스의 운영사는 한국에이아이통신(주)입니다.

평가를 개선으로 잇는 법

평가 결과는 원인별로 고칠 곳이 정해져 있어야 쓸모가 있습니다.

지시문 수정 순서는 전화 상담 AI 지시문 쓰는 법에 정리했습니다.

자주 묻는 질문

보이스 에이전트에서 가장 중요한 지표는 무엇인가요?

보이스 에이전트에서 하나만 고르기는 어렵지만, 업무 관점에서는 과업 완료와 정확성을 짝지어 보는 것이 가장 중요합니다. 해결 비율이 높아도 잘못 받은 예약이 섞여 있으면 오히려 손해이므로, 해결된 통화 가운데 핵심 값이 맞았는지를 함께 확인해야 합니다.

AI 해결 비율은 높을수록 좋은가요?

AI 해결 비율은 높을수록 좋아 보이지만, 사람에게 넘겨야 할 통화까지 AI가 붙잡고 있으면 고객 경험이 나빠집니다. 이관 이유를 함께 보고, 정책상 넘겨야 하는 통화를 잘 넘겼는지와 정보 부족으로 넘어간 통화를 줄였는지를 구분해서 평가하는 것이 좋습니다.

출시 전 시나리오는 몇 개나 준비해야 하나요?

정해진 개수보다 구성이 중요합니다. 실제 통화에서 많은 대표 용건, 인식이 어려운 값이 들어간 문장, 마감·범위 밖 질문 같은 예외 상황이 모두 포함되어야 합니다. 운영을 시작한 뒤에는 실패한 실제 통화를 시나리오 세트에 계속 추가해 다음 변경 때 다시 시험하는 방식을 권합니다.