전화 AI의 턴테이킹과 끼어들기, 어떻게 설계할까

전화 AI의 턴테이킹은 고객과 AI 중 누가 언제 말할지 정하는 규칙이고, 끼어들기(barge-in)는 AI가 말하는 도중 고객이 말을 시작했을 때 AI가 멈출지, 계속할지 정하는 처리입니다. 사람 상담원은 이 판단을 무의식적으로 하지만, AI는 "지금 들린 소리가 끼어들기인가, 맞장구인가, 잡음인가"를 매번 판단해야 합니다. 전화에서는 표정이나 손짓 같은 단서가 없고 에코와 잡음까지 섞이기 때문에 웹이나 앱의 음성 대화보다 이 판단이 더 어렵습니다.

이 글은 전화 환경에서 턴테이킹이 꼬이는 전형적인 장면과, 업무 단계마다 끼어들기 정책을 다르게 두는 설계 방법을 정리합니다. 한국AI통신이 AI 전화 응대를 운영하며 자주 보는 문제를 중심으로 썼습니다.

턴테이킹이 꼬이는 다섯 장면

이 가운데 한국어 전화에서 특히 잦은 것이 맞장구 문제입니다. 한국어 화자는 상대 말을 들으면서 "네", "네네", "아~" 같은 반응을 자주 끼워 넣습니다. 이것을 모두 끼어들기로 처리하면 AI는 설명 한 문장을 끝내지 못합니다. 반대로 모두 무시하면 진짜 정정("아니, 화요일 말고요")까지 놓칩니다.

끼어들기를 판단하는 세 단계

1. 1소리 감지: 발화 감지(VAD)가 고객 쪽 음성 신호를 감지합니다. 이 단계는 빠르지만 잡음과 목소리를 완벽히 구분하지 못합니다. 원리는 VAD와 발화 끝 감지에서 설명합니다.
2. 2목소리 확인: 에코 제거로 AI 자신의 음성을 걷어 내고, 일정 길이 이상 이어지는 사람 목소리인지 봅니다. 아주 짧은 소리는 이 단계에서 걸러집니다.
3. 3의미 판단: 인식된 말이 "네"처럼 이어 들어도 되는 반응인지, "잠깐만요", "아니요"처럼 멈춰야 하는 말인지 판단합니다. 실시간 음성 모델은 이 판단을 모델 안에서 하고, 캐스케이드 구조에서는 부분 인식 결과를 보고 규칙이나 모델로 판단합니다.

멈추기로 했다면 AI 음성을 즉시 끊어야 합니다. 이미 전화망으로 보낸 음성 버퍼까지 비워야 고객이 끊긴 뒤에도 AI 목소리가 잠시 이어지는 어색함이 없습니다. 또 AI가 어디까지 말했는지 기록해 두어야, 고객 말을 들은 뒤 "앞서 말씀드린 것처럼"을 엉뚱하게 쓰지 않습니다.

업무 단계마다 정책을 다르게

끼어들기를 하나의 스위치로 켜고 끄기보다, 통화 단계마다 다른 정책을 두는 것이 실용적입니다.

전화에서만 생기는 함정

스피커폰과 에코

고객이 스피커폰으로 통화하면 AI 목소리가 고객 휴대폰 마이크로 다시 들어옵니다. 휴대폰 자체의 에코 제거가 대부분 걸러 주지만 남은 메아리가 AI 쪽에 도착하면 AI는 자기 목소리를 고객 발화로 오인합니다. 음성 서버에서 한 번 더 에코를 제거하고, AI가 말하는 동안에는 끼어들기 판단 기준을 조금 엄격하게 두는 방식으로 대응합니다.

통화 중 대기음과 안내음

착신전환이나 내선 연결 과정의 안내음, 대기 음악이 AI 쪽으로 들어오면 발화로 잘못 인식될 수 있습니다. 상담원 연결 단계에서는 AI의 듣기를 멈추거나, 연결이 끝난 뒤 AI 세션을 정리하는 흐름을 미리 정해 둡니다. 상담원 이관은 AI 상담에서 상담원 연결까지에서 다룹니다.

망 지연과 겹침

통신 구간에 지연이 있으면 AI가 말을 시작한 사실이 고객에게 늦게 전달됩니다. 그 사이 고객이 다시 말을 시작하면 양쪽이 겹칩니다. 통신 구간을 짧게 유지하는 것 자체가 턴테이킹 품질에 영향을 준다는 뜻입니다. 구간별 시간 관리는 AI 전화 응답 지연 예산을 참고하세요.

실제 대화로 보면

첫 번째 끼어들기는 정정이므로 AI가 문장 중간에 멈추고 바뀐 값을 되읽습니다. 두 번째 "네네"는 확인 응답이므로 다음 단계로 넘어갑니다.

운영에서 점검할 것

• 통화 녹음을 들으며 겹침 구간과 AI가 문장을 끝내지 못한 횟수를 표시해 봅니다.
• 스피커폰, 차량, 시끄러운 매장처럼 환경을 바꿔 시험 통화를 합니다.
• 끼어들기 허용 설정이 있는 서비스라면 업종에 맞춰 조정합니다. 예를 들어 제로콜은 앱에서 고객 말 끼어들기 허용을 켜고 끌 수 있습니다.
• 개발사라면 KAT Cloud처럼 통신 인프라와 음성 모델을 분리해 둔 환경에서 모델별 턴테이킹 특성을 비교해 보는 것이 좋습니다. 한국AI통신은 두 서비스를 같은 전화망 위에서 운영하며, 운영사인 한국에이아이통신(주)가 기간통신사업자로서 번호와 교환기를 직접 관리합니다.

자주 묻는 질문

끼어들기는 항상 켜 두는 것이 좋은가요?

대부분의 문의 응대에서는 끼어들기를 켜 두는 것이 고객 만족에 유리합니다. 다만 녹음 고지처럼 끝까지 전달해야 하는 안내가 있거나 주변 소음이 큰 고객이 많다면 단계별로 제한하는 편이 낫습니다. 하나의 설정으로 정하기보다 통화 단계마다 다른 정책을 두는 것을 권합니다.

AI가 고객의 맞장구에 자꾸 말을 멈추면 어떻게 하나요?

짧은 소리를 끼어들기로 처리하지 않도록 최소 발화 길이 기준을 늘리거나, 인식된 내용이 "네", "음" 같은 반응일 때는 계속 말하도록 규칙을 둡니다. 실시간 음성 모델을 쓴다면 모델이나 설정을 바꿔 같은 시나리오로 비교해 보는 것이 빠릅니다.

턴테이킹 품질은 어떻게 측정하나요?

턴테이킹 품질은 통화 녹음에서 동시 발화 구간, 고객 말 끝에서 AI 첫 소리까지의 공백, AI가 고객 정정을 놓친 횟수, 고객이 같은 말을 반복한 횟수를 세어 측정할 수 있습니다. 수치보다 추세를 보며 설정 변경 전후를 비교하는 데 쓰면 유용합니다.