AI 전화 응답 지연은 어디서 생기나: 지연 예산 나누기

AI 전화의 응답 지연은 한 군데에서 생기지 않습니다. 고객 목소리가 전화망을 지나 AI에 닿는 시간, AI가 "말이 끝났다"고 판단하기까지 기다리는 시간, 모델이 답을 정하는 시간, 예약 시스템 같은 외부 조회 시간, 첫 음성을 합성하는 시간, 그 음성이 다시 고객에게 가는 시간이 모두 더해집니다. 그래서 "AI가 느리다"는 문제를 풀려면 전체 시간을 구간으로 쪼개고, 구간마다 누가 책임지고 얼마까지 써도 되는지 정하는 지연 예산이 필요합니다.

이 글은 지연 예산을 실제 프로젝트에서 어떻게 나누고 관리하는지, 기간통신사업자로서 전화망 구간을 직접 운용하는 한국AI통신의 시각에서 정리합니다. 구간별로 정확한 밀리초 값을 제시하기보다, 예산을 세우고 지키는 방법에 집중합니다.

지연 예산이란 무엇인가

지연 예산은 고객이 말을 마친 시점부터 AI의 첫 소리가 들리는 시점까지의 목표 시간을 먼저 정하고, 그 시간을 구간별로 나눠 배정하는 방식입니다. 돈 예산처럼 한 구간이 초과하면 다른 구간에서 줄여야 전체 목표를 지킬 수 있습니다.

기준점으로 삼을 만한 공개 자료로는 ITU-T G.114 권고가 있습니다. 사람끼리 통화할 때 편도 전송 지연을 150ms 이내로 두는 것이 대부분의 대화에 바람직하다고 봅니다. AI 전화는 여기에 AI 처리 시간이 추가로 붙으므로, 통신 구간에서 아낀 시간이 곧 AI가 생각할 수 있는 시간이 됩니다.

구간을 책임 주체별로 나누기

지연 예산을 세울 때 가장 먼저 할 일은 구간마다 누가 고칠 수 있는가를 표시하는 것입니다. 고칠 수 없는 구간에 시간을 쓰고 있다면 다른 구간에서 줄여야 합니다.

통신 구간은 도입 기업이 직접 손대기 어려운 부분이지만 영향은 큽니다. 음성이 해외 데이터센터를 돌아오거나 여러 사업자의 장비를 거치면 편도마다 시간이 붙고, 그 시간이 왕복으로 두 번 들어갑니다. 국내에서 번호를 발급하고 교환기를 운용하는 사업자를 통해 국내 경로로 연결하는 것이 예산을 아끼는 첫걸음인 이유입니다. 경로 비교는 해외 CPaaS vs 국내 통신사업자 인프라에서 다룹니다.

예산표를 만드는 순서

1. 1목표를 업무 단계별로 정합니다. 인사, 단순 확인, 정보 안내, 외부 조회가 필요한 답변처럼 단계를 나누고 각각 허용할 체감 시간을 "즉답", "짧은 생각", "확인 후 답변" 정도로 구분합니다.
2. 2현재 값을 잽니다. 실제 전화로 걸어 구간 경계마다 시각을 기록합니다. 자체 음성 서버라면 마지막 음성 수신, 말 끝 판정, 첫 토큰, 첫 오디오 송신 시각을 남깁니다.
3. 3차이가 큰 구간부터 주인을 찾습니다. 표의 책임 주체에게 개선을 요청하거나 설정을 바꿉니다.
4. 4분위수로 관리합니다. 평균은 좋아도 가끔 길게 늘어지는 응답이 고객 불만을 만듭니다. 중앙값과 상위 구간을 함께 봅니다.
5. 5바꿀 때마다 다시 잽니다. 모델 교체, 지시문 수정, 조회 API 변경 모두 예산을 흔듭니다.

말 끝 판단이 왜 큰 비중을 차지하는지는 VAD와 발화 끝 감지에서 따로 설명합니다.

예산을 넘을 때: 대화 설계로 체감 줄이기

모든 구간을 줄여도 외부 조회처럼 줄이기 어려운 시간이 남습니다. 이때는 실제 시간보다 고객이 느끼는 공백을 줄이는 설계가 효과적입니다.

• 먼저 말하고 조회하기: "예약 가능한 시간 확인해 볼게요"라고 말하는 동안 조회를 시작합니다. 같은 시간이라도 침묵보다 짧게 느껴집니다.
• 첫 문장 짧게: 답변 첫 문장을 짧게 쓰도록 지시하면 음성 합성의 첫 조각이 빨리 나옵니다. 긴 설명은 그 뒤에 이어 붙입니다.
• 조회를 미리 하기: 발신번호로 기존 예약을 찾는 것처럼 통화 시작과 동시에 할 수 있는 조회는 인사하는 동안 끝냅니다.
• 한 번에 묻기: 날짜와 인원을 따로 묻는 대신 함께 물으면 왕복 횟수 자체가 줄어듭니다.
• 기다림을 예고하기: 몇 초 이상 걸리는 처리는 "잠시만요, 금방 확인해 드릴게요"처럼 예고해 고객이 같은 말을 반복하지 않게 합니다.

구조 선택과 예산의 관계

STT·LLM·TTS를 잇는 캐스케이드는 구간이 많아 예산표 칸이 늘어나지만, 단계별로 측정하고 고칠 수 있습니다. 실시간 음성 모델은 칸이 적은 대신 "말 끝부터 첫 음성까지"가 한 덩어리라 내부를 나눠 볼 수 없습니다. 어느 쪽이든 통신 구간과 발화 감지, 외부 조회는 똑같이 남습니다. 두 구조의 차이는 실시간 음성 모델 vs 캐스케이드를 참고하세요.

한국AI통신의 KAT Cloud는 070 번호와 SIP 교환기를 직접 운용하면서 실시간 음성 AI 연결을 함께 제공하므로, 번호는 그대로 두고 모델만 바꿔 같은 시나리오의 체감 지연을 비교해 볼 수 있습니다. 운영사인 한국에이아이통신(주)는 기간통신사업자로 등록되어 있어, 통신 구간의 경로를 외부에 맡기지 않고 직접 관리합니다.

자주 묻는 질문

AI 전화 응답 지연의 목표는 몇 초로 잡아야 하나요?

AI 전화 응답 지연의 목표는 업무 단계마다 다르게 잡는 것이 현실적입니다. 짧은 확인 응답은 사람 대화처럼 거의 바로 이어져야 자연스럽고, 외부 조회가 필요한 답변은 짧은 안내 멘트와 함께라면 조금 더 걸려도 괜찮습니다. 숫자 하나를 정하기보다 실제 통화를 녹음해 들어 보고 어색한 공백이 있는 구간을 줄여 가는 방식을 권합니다.

통신 구간의 지연은 도입 기업이 줄일 수 있나요?

통신 구간은 도입 기업이 직접 고치기 어렵지만 어떤 인프라를 고르느냐로 크게 달라집니다. 음성이 해외를 경유하는지, 몇 번 중계되는지, 코덱 변환이 몇 번 일어나는지 확인하고, 가능하면 국내에서 번호와 교환기를 직접 운용하는 사업자를 통해 연결하는 것이 좋습니다.

외부 시스템 조회가 느릴 때 가장 먼저 할 일은 무엇인가요?

외부 조회가 느리면 먼저 조회 API 자체의 응답 시간을 따로 재서 보이스 AI 문제인지 시스템 문제인지 구분합니다. 그다음 통화 시작 시점에 미리 조회하기, 조회 결과를 짧게 돌려주기, 조회하는 동안 안내 멘트 넣기 순서로 개선하면 효과를 보기 쉽습니다.