한국어 전화 음성인식이 어려운 이유와 대응법

한국어 전화 음성인식이 어려운 이유는 두 겹입니다. 바깥쪽은 전화라는 환경입니다. 좁은 대역으로 압축된 음성, 차 안이나 매장의 소음, 스피커폰의 울림이 소리 자체를 흐립니다. 안쪽은 한국어라는 언어입니다. 조사와 어미가 붙어 단어 모양이 계속 바뀌고, 숫자를 읽는 방법이 두 가지이며, 받침이 다음 말에 이어져 소리가 달라집니다. 이 두 겹이 동시에 작용하기 때문에 같은 음성인식 모델이라도 영어 웹 데모와 한국어 전화 상담의 결과가 크게 다를 수 있습니다.

070 번호로 매일 전화를 주고받는 한국AI통신의 운영 경험에서 보면, 인식 오류를 모델 성능만으로 없애기는 어렵습니다. 대신 어떤 오류가 왜 생기는지 알고 대화 설계로 흡수하는 쪽이 현실적입니다. 이 글은 언어적 원인에 초점을 둡니다.

원인 1: 같은 말이 여러 모양으로

한국어는 단어 뒤에 조사와 어미가 붙는 교착어입니다. "예약"이라는 단어 하나도 "예약은", "예약을", "예약했는데", "예약하려고요"처럼 형태가 바뀝니다. 음성인식은 이 변형을 모두 다뤄야 하고, 경계가 흐린 전화 음성에서는 "예약 했는데"와 "예약했는데"처럼 띄어쓰기나 형태 분석이 흔들립니다.

다행히 LLM이 뒤에서 의미를 해석하는 보이스 AI에서는 이런 형태 차이 대부분이 큰 문제가 되지 않습니다. 문제는 의미가 바뀌는 오인식입니다. "취소"와 "치소", "변경"과 "병경"처럼 비슷한 소리가 다른 뜻의 단어로 바뀌면 AI가 엉뚱한 행동을 할 수 있습니다.

원인 2: 숫자를 읽는 두 가지 체계

한국어 전화에서 가장 자주 문제가 되는 것은 숫자입니다.

특히 "이"(2)와 "일"(1), "삼"(3)과 "사"(4)처럼 짧고 비슷한 소리는 좁은 전화 대역에서 더 헷갈립니다. 전화번호 열한 자리 가운데 한 자리만 틀려도 쓸 수 없는 값이 됩니다.

원인 3: 소리가 이어지고 바뀐다

한국어는 받침이 다음 음절로 넘어가는 연음, 소리가 서로 닮는 동화가 흔합니다. "신라"는 [실라], "국물"은 [궁물]로 소리 납니다. 사람은 문맥으로 자연스럽게 알아듣지만, 음성인식 모델은 처음 보는 고유명사에서 이 변화를 되돌리지 못하는 경우가 있습니다. 매장명, 지점명, 사람 이름처럼 학습 데이터에 드문 고유명사에서 오류가 집중되는 이유입니다.

원인 4: 외래어, 영문, 사투리

• 외래어·영문 상품명: "아메리카노 라지", "SPF 50", "VIP 패키지"처럼 한글 발음과 영문 표기가 섞입니다. 인식 결과가 "브이아이피"로 나올지 "VIP"로 나올지 일정하지 않습니다.
• 업계 전문 용어: 시술명, 의료 용어, 부품명은 일반 모델이 잘 모르는 단어입니다.
• 방언과 억양: 지역 억양과 어휘, 고령 고객의 발화 속도 차이도 인식률에 영향을 줍니다.

원인 5: 전화 환경이 모든 문제를 키운다

위 네 가지 원인은 깨끗한 녹음에서도 존재하지만, 전화에서는 더 커집니다. 전화 음성은 대개 8kHz로 샘플링되어 약 4kHz 이상의 높은 소리가 잘리고, 그 대역에 특징이 있는 ㅅ·ㅆ·ㅊ·ㅎ 같은 소리가 구별하기 어려워집니다. 여기에 소음, 패킷 손실, 코덱 변환이 더해집니다. 전화 대역의 영향은 전화 음질(8kHz)이 보이스 AI에 미치는 영향에서 자세히 다룹니다.

오류를 대화 설계로 흡수하는 법

인식 오류를 0으로 만들 수는 없으므로, 틀려도 바로잡히는 대화를 설계합니다.

1. 1질문을 좁힙니다. "언제 오시겠어요?"보다 "이번 주 토요일과 일요일 중 언제가 좋으세요?"가 인식해야 할 답의 범위를 줄입니다.
2. 2중요한 값은 되읽습니다. 금액, 날짜, 시각, 전화번호, 주소는 AI가 다시 읽어 주고 "맞으실까요?"로 확인받습니다. 되읽을 때는 "공일공, 일이삼사"처럼 자리를 끊어 읽게 합니다.
3. 3두 번 실패하면 수단을 바꿉니다. 같은 질문이 두 번 실패하면 선택지를 불러 주거나, 숫자는 키패드 입력으로 받거나, 문자 링크로 넘기거나, 사람에게 연결합니다.
4. 4이미 아는 정보는 묻지 않습니다. 발신번호가 표시되는 통화라면 "지금 거신 번호로 연락드려도 될까요?"로 전화번호 받아쓰기 자체를 없앨 수 있습니다.
5. 5업무 어휘를 알려 줍니다. 모델이나 플랫폼이 사용자 사전, 키워드 강조 기능을 지원한다면 상품명과 지점명을 등록합니다. 지시문에 자주 쓰는 고유명사 목록을 넣는 것도 도움이 됩니다.

모델을 비교할 때 볼 것

음성인식 모델이나 실시간 음성 모델을 고를 때는 공개된 벤치마크보다 우리 고객의 실제 발화로 비교해야 합니다.

• 숫자가 들어간 시나리오(전화번호, 금액, 날짜)를 반드시 포함합니다.
• 업종의 고유명사를 넣은 문장을 준비합니다.
• 조용한 곳, 차 안, 스피커폰처럼 환경을 나눠 실제 전화로 녹음합니다.
• 단어 오류율 같은 전체 지표보다 업무에 필요한 값을 맞게 받았는가를 기준으로 채점합니다.

평가 방법 전반은 보이스 에이전트 품질 평가를 참고하세요. 한국AI통신의 KAT Cloud에서는 번호와 통화 경로를 그대로 둔 채 음성 모델을 바꿔 같은 시나리오로 시험할 수 있습니다. KAT Cloud를 운영하는 한국에이아이통신(주)는 070 번호를 직접 발급하는 기간통신사업자입니다.

자주 묻는 질문

한국어 음성인식에서 가장 자주 틀리는 것은 무엇인가요?

한국어 전화 음성인식에서는 숫자와 고유명사가 가장 자주 틀립니다. 숫자는 고유어와 한자어 두 체계가 섞이고 0을 공·영으로 읽는 등 표현이 다양하며, 매장명이나 사람 이름 같은 고유명사는 학습 데이터에 드물어 오류가 집중됩니다. 이런 값은 반드시 되읽어 확인받는 대화로 설계하는 것이 좋습니다.

전화번호는 음성으로 받는 것이 좋은가요, 키패드로 받는 것이 좋은가요?

정확도가 중요하다면 전화번호는 키패드 입력이 확실합니다. 다만 키패드로 전환하면 대화 흐름이 끊기므로, 발신번호를 그대로 쓸지 먼저 묻고, 다른 번호가 필요할 때 음성으로 받되 되읽어 확인하고, 두 번 틀리면 키패드로 바꾸는 순서가 무난합니다.

음성인식 모델을 바꾸면 인식 문제가 해결되나요?

모델을 바꾸면 인식률이 달라질 수 있지만 전화 대역과 한국어 특성에서 오는 문제는 어느 모델에나 남습니다. 모델 비교와 함께 질문 좁히기, 되읽기, 입력 수단 전환 같은 대화 설계를 함께 적용해야 실제 업무 오류가 줄어듭니다.