VAD와 발화 끝 감지: AI는 말이 끝난 걸 어떻게 알까

보이스 AI가 고객의 말이 끝났음을 아는 과정은 두 단계입니다. 먼저 VAD(Voice Activity Detection, 음성 활동 감지)가 들어오는 소리 가운데 사람의 말이 있는 구간을 가려내고, 이어서 발화 끝 감지(엔드포인팅)가 "이 사람이 이제 대답을 기다리고 있는가"를 판단합니다. VAD는 소리가 있는지를 보고, 엔드포인팅은 차례가 넘어왔는지를 봅니다. 이 판단이 늦으면 AI가 굼떠 보이고, 이르면 고객 말을 자르는 AI가 됩니다.

한국AI통신이 전화 AI를 운영하며 보면, 응답이 느리다는 불만과 말을 끊는다는 불만의 상당수가 모델이 아니라 이 단계에서 시작됩니다. 이 글은 두 기술의 원리와 한국어 전화에서 특히 주의할 점을 정리합니다.

VAD: 소리 중에서 말을 찾는다

VAD는 짧은 오디오 조각(보통 수십 밀리초 단위의 프레임)마다 "사람 말이 있음/없음"을 판정합니다. 방식은 크게 두 가지입니다.

전화 음성은 대역이 좁고 압축되어 있어 학습 때 들은 깨끗한 음성과 다릅니다. 그래서 웹 마이크에서 잘 동작하던 VAD 설정이 전화에서는 숨소리나 배경음을 말로 잡거나, 작게 말하는 고객을 놓치기도 합니다. 전화 음질의 특성은 전화 음질(8kHz)이 보이스 AI에 미치는 영향에서 설명합니다.

엔드포인팅: 말이 끝났는지 판단한다

VAD가 "지금은 조용하다"고 알려 줘도 그것이 말의 끝인지, 숨 고르는 쉼인지는 따로 판단해야 합니다.

침묵 기반은 정해 둔 시간 동안 VAD가 "말 없음"을 내면 끝으로 봅니다. 이 기다리는 시간이 고스란히 응답 지연이 되므로, 너무 길게 잡으면 매번 AI가 늦고 너무 짧게 잡으면 고객이 생각하는 사이에 끼어듭니다.

의미 기반은 지금까지 인식된 말의 내용이나 억양을 보고 "문장이 완결되었는가"를 판단합니다. "예약하고 싶어요"처럼 끝난 말에는 짧게 기다리고, "예약을 하려고 하는데"처럼 이어질 말에는 더 기다립니다. 최근 실시간 음성 모델과 음성 에이전트 프레임워크들은 이런 턴 감지 기능을 내장하는 경우가 많습니다.

한국어는 어미가 단서다

한국어 엔드포인팅에는 유리한 점이 하나 있습니다. 문장 끝에 오는 어미가 말이 끝났는지를 꽤 잘 알려 준다는 점입니다.

"내일 두 시에 예약했는데"에서 침묵이 오면 고객은 아직 용건을 말하지 않은 상태입니다. 이때 AI가 "네, 무엇을 도와드릴까요?"라고 끼어들면 고객은 같은 말을 다시 해야 합니다. 의미 기반 판단은 이런 연결 어미를 보고 기다리는 시간을 늘립니다.

업무 단계별로 기준을 바꾸기

하나의 기준값으로 모든 대화를 처리하기보다, 지금 무엇을 묻고 있는지에 따라 기다리는 시간을 바꾸는 것이 효과적입니다.

• 예/아니요 확인: 답이 짧고 분명하므로 짧게 기다립니다.
• 전화번호·주소 받기: 고객이 숫자를 끊어 말하거나 메모를 찾느라 쉬므로 길게 기다립니다. "010에… 1234에…"처럼 중간 쉼이 깁니다.
• 용건 첫 설명: 고객이 생각을 정리하며 말하므로 연결 어미와 간투사에 특히 관대하게 둡니다.
• 고령 고객이 많은 업종: 말 사이 쉼이 긴 경향을 고려해 전체적으로 여유를 둡니다.

엔드포인팅 기준은 응답 지연과 직접 맞바꾸는 값이므로, 바꿀 때마다 체감 속도를 함께 확인해야 합니다. 구간별 시간 관리는 AI 전화 응답 지연 예산을 참고하세요.

엔드포인팅 실패를 줄이는 대화 설계

기술 설정만으로 해결하기 어려운 부분은 질문 방식으로 보완합니다.

1. 1답의 형태를 정해 주는 질문: "날짜를 말씀해 주세요"보다 "몇 월 며칠로 해 드릴까요?"가 더 짧고 분명한 답을 이끕니다.
2. 2긴 정보는 나눠 받기: 주소는 동까지 먼저, 상세 주소는 다음 질문으로 받습니다.
3. 3키패드 입력 병행: 전화번호, 생년월일처럼 숫자가 긴 정보는 키패드(DTMF)로 받으면 엔드포인팅 문제가 사라집니다. 입력 끝은 # 같은 키로 명확히 정합니다.
4. 4잘린 것 같으면 되묻기: 마지막 인식 결과가 연결 어미로 끝났다면 "네, 이어서 말씀해 주세요"처럼 차례를 돌려줍니다.

턴테이킹 전체와 끼어들기 처리는 전화 AI의 턴테이킹과 끼어들기에서 이어서 다룹니다.

플랫폼을 쓸 때 확인할 것

직접 음성 서버를 만들지 않고 플랫폼의 AI 상담원을 쓴다면 VAD와 엔드포인팅은 보통 선택한 음성 모델이나 플랫폼이 처리합니다. 이때는 설정 값보다 결과를 확인하는 편이 현실적입니다. 실제 전화로 숫자 불러 주기, 생각하며 말하기, 시끄러운 곳에서 말하기를 시험해 보고, 모델마다 차이가 크다면 모델을 바꿔 비교합니다. 한국AI통신의 KAT Cloud는 같은 번호와 같은 통화 경로에서 실시간 음성 모델을 바꿔 가며 시험할 수 있어 이런 비교에 맞습니다. 자체 음성 서버를 SIP로 연결한다면 VAD와 엔드포인팅을 직접 조정할 수 있습니다. 서비스 운영사는 기간통신사업자인 한국에이아이통신(주)입니다.

자주 묻는 질문

VAD와 엔드포인팅은 같은 기능인가요?

VAD와 엔드포인팅은 서로 다른 기능입니다. VAD는 지금 이 순간의 소리가 사람의 말인지 판정하고, 엔드포인팅은 VAD 결과와 말의 내용을 종합해 고객이 말을 마치고 대답을 기다리는지 판단합니다. 엔드포인팅이 VAD의 결과를 입력으로 쓰는 관계입니다.

AI가 제 말을 자꾸 중간에 자르는 이유는 무엇인가요?

AI가 말을 중간에 자르는 가장 흔한 이유는 엔드포인팅의 침묵 기준이 짧게 설정되어 숨 고르는 쉼을 말의 끝으로 판단하기 때문입니다. 연결 어미로 끝난 말에서 더 기다리는 의미 기반 판단을 쓰거나, 전화번호처럼 쉼이 긴 질문에서는 기다리는 시간을 늘리면 줄일 수 있습니다.

엔드포인팅 기준을 길게 잡으면 어떤 문제가 있나요?

엔드포인팅 기준을 길게 잡으면 고객 말이 끝난 뒤 AI가 대답을 시작하기까지 매번 공백이 생겨 응답이 느리다고 느껴집니다. 공백이 길면 고객이 같은 말을 반복하거나 "여보세요?"라고 되물어 대화가 꼬이기도 하므로, 업무 단계별로 다른 기준을 두는 것이 좋습니다.