보이스 AI는 어떻게 작동하나: STT·LLM·TTS 파이프라인

보이스 AI는 사람의 말을 글자로 바꾸는 STT(음성 인식), 그 글을 읽고 다음 할 말을 정하는 LLM(대형 언어 모델), 정해진 답을 다시 목소리로 바꾸는 TTS(음성 합성) 세 부품을 이어 붙여 대화합니다. 다만 전화에서 쓰는 보이스 AI는 이 세 부품만으로 완성되지 않습니다. 앞에는 전화망에서 음성을 받아 오는 통신 구간과 "말이 끝났는지"를 판단하는 발화 감지가 있고, 뒤에는 다시 전화망으로 소리를 돌려보내는 구간이 있습니다. 070 번호와 SIP 교환기를 직접 운용하는 한국AI통신이 매일 다루는 부분이 바로 이 앞뒤 구간입니다.

이 글은 고객이 전화를 걸어 한 문장을 말한 순간부터 AI의 대답이 고객 귀에 들릴 때까지 무슨 일이 일어나는지, 단계마다 무엇이 품질을 좌우하는지 정리합니다.

한 문장이 대답이 되기까지 일곱 단계

세 부품을 스트리밍으로 겹쳐 돌린다는 점이 중요합니다. STT는 고객이 말하는 동안 부분 결과를 계속 내고, LLM은 첫 문장이 정해지는 대로 TTS에 넘기고, TTS는 첫 조각이 만들어지면 바로 전화로 흘려보냅니다. 앞 단계가 다 끝나기를 기다리면 단계 수만큼 지연이 쌓이기 때문입니다. 구간별 지연은 AI 전화 응답 지연 예산 나누기에서 따로 다룹니다.

귀: STT는 소리를 글자로 바꿉니다

STT(Speech-to-Text)는 음성 파형을 받아 문장으로 바꾸는 모델입니다. 전화용 STT에서 어려운 점은 크게 세 가지입니다.

• 협대역 음질: 전화 음성은 대개 8kHz로 샘플링되어 높은 주파수가 잘려 있습니다. ㅅ·ㅆ·ㅈ처럼 높은 대역에 특징이 있는 소리가 뭉개집니다. 자세한 내용은 전화 음질(8kHz)이 보이스 AI에 미치는 영향에 정리했습니다.
• 한국어의 형태 변화: 조사와 어미가 붙어 같은 단어도 모양이 다양하고, 숫자를 읽는 방식도 여러 가지입니다.
• 업무 어휘: 상품명, 지점명, 시술명처럼 일반 학습 데이터에 드문 단어가 많습니다.

STT는 보통 말하는 도중에 바뀔 수 있는 부분 결과와, 말이 끝난 뒤 확정되는 최종 결과를 따로 냅니다. 부분 결과는 빠른 반응에, 최종 결과는 정확한 처리에 씁니다.

두뇌: LLM은 할 말과 할 일을 정합니다

LLM은 STT가 넘긴 텍스트, 지금까지의 대화, 운영자가 써 둔 지시문을 함께 읽고 다음 행동을 정합니다. 전화 상담에서 LLM의 출력은 두 종류입니다.

1. 1말: 고객에게 들려줄 답변 문장
2. 2행동: 예약 조회, 주문 접수, 상담원 연결 같은 도구 호출

두뇌 단계에서 품질을 가르는 것은 모델 자체보다 무엇을 근거로 답하게 하느냐인 경우가 많습니다. 매장 운영시간이나 가격처럼 모델이 모르는 사실은 지시문과 조회 결과로만 답하게 해야 환각을 줄일 수 있습니다. 지시문 작성은 전화 상담 AI 지시문 쓰는 법, 도구 연결은 보이스 에이전트의 도구 호출에서 이어 설명합니다.

입: TTS는 답을 목소리로 바꿉니다

TTS(Text-to-Speech)는 LLM이 만든 문장을 사람 목소리로 합성합니다. 요즘 TTS는 자연스러움 자체보다 전화에서 또렷하게 들리는가, 숫자와 고유명사를 정확히 읽는가가 더 자주 문제가 됩니다. "10:30"을 "열 시 삼십 분"으로 읽을지, "1,500원"을 "천오백 원"으로 읽을지는 TTS 앞단에서 텍스트를 정규화하거나 LLM이 처음부터 읽을 형태로 쓰게 해야 합니다. 목소리를 고르는 기준은 한국어 TTS 목소리 고르는 기준에서 다룹니다.

세 부품을 하나로 합친 실시간 음성 모델

최근에는 STT·LLM·TTS를 나누지 않고 음성을 듣고 곧바로 음성으로 답하는 실시간 음성 모델(Speech-to-Speech)도 널리 쓰입니다. 중간에 텍스트로 바꾸는 과정이 없어 억양 같은 정보를 함께 다루고 구성이 단순하지만, 단계별로 결과를 들여다보거나 부품을 따로 바꾸기는 어렵습니다. 어떤 상담에 어떤 구조가 맞는지는 실시간 음성 모델 vs 캐스케이드 구조 비교에서 비교합니다.

어느 구조든 전화망 구간과 발화 감지는 공통입니다. 모델을 바꿔도 번호, SIP 연결, 코덱, 말 끝 판단의 품질은 그대로 따라옵니다.

통화가 끝난 뒤의 파이프라인

실시간 대화와 별개로, 통화가 끝나면 두 번째 파이프라인이 돕니다. 녹음 파일을 다시 STT로 받아쓰고, LLM이 용건과 후속 조치를 요약하고, 그 결과를 CRM이나 메신저로 보냅니다. 실시간 대화는 빠름이 우선이고 사후 처리는 정확함이 우선이므로 같은 STT라도 다른 설정이나 다른 모델을 쓰는 경우가 많습니다. 흐름은 통화 녹음 요약 AI에서 자세히 설명합니다.

각 단계는 누가 맡을까

보이스 AI를 도입하는 기업이 모든 단계를 직접 만들 필요는 없습니다. 보통은 아래처럼 나눕니다.

한국에이아이통신(주)는 기간통신사업자로서 맨 아래 통신 층을 직접 운용하고, 그 위에 개발사용 인프라인 KAT Cloud와 사업자가 앱으로 바로 쓰는 제로콜을 얹었습니다. 전체 구조는 플랫폼 소개에서 볼 수 있습니다.

자주 묻는 질문

보이스 AI와 AI 보이스봇은 같은 말인가요?

보이스 AI는 음성을 듣고 말하는 AI 기술 전반을 가리키고, AI 보이스봇은 그 기술로 전화 응대 같은 특정 업무를 하는 프로그램을 가리키는 경우가 많습니다. 실무에서는 보이스 에이전트, AI 상담원, AI 전화 응대도 비슷한 뜻으로 섞어 쓰며, 핵심 구조는 모두 음성 인식, 판단, 음성 합성을 잇는 파이프라인입니다.

STT·LLM·TTS 중 품질에 가장 큰 영향을 주는 것은 무엇인가요?

전화 보이스 AI에서는 어느 한 부품보다 가장 약한 고리가 체감 품질을 정합니다. 다만 실제 문제는 STT의 숫자·고유명사 오인식과 LLM의 근거 없는 답변에서 자주 시작되므로, 이 두 곳을 먼저 시험 통화로 점검하는 것이 효율적입니다.

보이스 AI를 쓰려면 STT·LLM·TTS를 각각 계약해야 하나요?

반드시 그렇지는 않습니다. 실시간 음성 모델 하나로 세 역할을 대신할 수도 있고, 번호와 음성 모델 연결을 함께 제공하는 플랫폼을 쓸 수도 있습니다. 한국AI통신의 KAT Cloud는 번호, 통화, 실시간 음성 AI 연결을 함께 제공하며, 자체 음성 서버가 있다면 SIP로 연결하는 방법도 있습니다. 요금은 각 서비스 사이트에서 확인하세요.