보이스 AI 환각을 줄이는 가드레일 설계 6단계

보이스 AI의 환각, 즉 그럴듯하지만 사실이 아닌 답을 줄이는 방법은 모델 하나를 잘 고르는 것이 아니라 여러 겹의 가드레일을 쌓는 것입니다. 답할 수 있는 근거의 범위를 좁히고, 사실은 조회 결과로만 말하게 하고, 데이터를 바꾸기 전에 반드시 확인받고, 민감한 구간은 AI 밖으로 빼고, 애매하면 사람에게 넘기고, 통화가 끝난 뒤 다시 검수합니다. 한 겹이 놓친 오류를 다음 겹이 잡는 구조입니다.

전화의 환각은 채팅보다 위험합니다. 채팅은 고객이 화면을 다시 읽어 볼 수 있지만, 전화로 들은 "내일은 영업합니다"는 기록 없이 고객 기억에만 남고, 고객은 그 말을 믿고 행동합니다. 이 글은 한국AI통신이 AI 전화 응대를 운영하며 쌓아 온 가드레일 설계를 여섯 단계로 정리합니다.

전화 상담에서 생기는 환각의 유형

마지막 유형이 특히 위험합니다. AI가 도구를 부르지 않았거나 호출이 실패했는데도 대화 흐름상 "완료됐습니다"라고 말할 수 있기 때문입니다.

여섯 겹의 가드레일

1단계: 근거 범위를 제한한다

AI가 답할 수 있는 근거를 명시적으로 정합니다. "매장 정보, 켜져 있는 응답 매뉴얼, 도구 조회 결과에 있는 내용만 사실로 말한다. 없으면 추측하지 않고 확인 후 연락드린다고 하고 접수한다." 모델의 일반 지식이 아니라 사업자가 준 자료를 보고 답하게 하는 것이 출발점입니다. 지시문 작성법은 전화 상담 AI 지시문 쓰는 법에서 다룹니다.

2단계: 사실은 도구 결과로만 말하게 한다

예약 가능 시간, 재고, 주문 상태, 금액처럼 바뀌는 사실은 지시문에 적지 말고 그때그때 조회하게 합니다. 그리고 완료 여부는 도구 응답으로만 말하게 합니다. "예약 도구가 성공을 돌려준 경우에만 예약이 완료되었다고 말한다"는 규칙이 행동 착각을 막습니다. 금액 계산도 서버가 하고 AI는 결과를 읽게 합니다.

3단계: 바꾸기 전에 확인받는다

예약 생성, 변경, 취소, 주문 접수처럼 데이터를 바꾸는 행동은 AI가 내용을 되읽고 고객이 "네"라고 답한 뒤에만 실행합니다. 인식 오류와 판단 오류가 실제 데이터로 넘어가기 직전의 마지막 관문입니다. 도구 설계는 보이스 에이전트의 도구 호출을 참고하세요.

4단계: 민감한 구간은 AI 밖으로 뺀다

카드번호, 비밀번호, 주민등록번호처럼 민감한 값은 애초에 AI가 듣지 않게 하는 것이 가장 확실한 가드레일입니다. 키패드 입력으로 받고, 그 구간에서는 녹음과 음성 인식을 멈추는 방식이 대표적입니다. 한국에이아이통신(주)의 콜페이는 카드 정보를 누르는 동안 녹음과 음성 인식을 멈춰 입력값이 AI·녹음·요약에 남지 않게 했습니다.

5단계: 애매하면 사람에게 넘긴다

AI가 답하지 않기로 한 주제, 같은 질문이 반복해서 해결되지 않는 상황, 고객이 화가 난 상황에서는 사람에게 넘기거나 내용을 접수해 콜백으로 처리합니다. 넘길 때는 그때까지의 대화 요약을 함께 전달해 고객이 처음부터 다시 말하지 않게 합니다. 이관 설계는 AI 상담에서 상담원 연결까지에서 다룹니다.

6단계: 통화가 끝나면 검수한다

통화 중 가드레일이 놓친 오류는 통화 기록에서 찾습니다. 받아쓰기와 요약을 훑어 근거 없는 안내, 지키지 못할 약속, 완료되지 않은 처리를 표시하고, 원인에 따라 매뉴얼이나 지시문을 고칩니다. 녹음 요약의 흐름은 통화 녹음 요약 AI를 참고하세요.

출력 단계의 추가 장치

구조에 따라 말하기 직전에 한 번 더 거르는 장치를 둘 수 있습니다.

• 캐스케이드 구조: LLM의 답변 텍스트가 TTS로 가기 전에 금지어, 금액 표현, 약속 표현을 검사해 걸리면 정해 둔 문장으로 바꿀 수 있습니다.
• 실시간 음성 모델: 출력이 바로 음성이라 말하기 전 검사는 어렵습니다. 대신 1~5단계의 비중을 높이고, 함께 생성되는 받아쓰기를 실시간으로 모니터링하는 방법이 있습니다.

두 구조의 통제 차이는 실시간 음성 모델 vs 캐스케이드에서 비교했습니다.

의료·금융·법률처럼 민감한 업종

판단을 요구하는 질문이 들어오는 업종은 AI의 역할을 처음부터 안내와 접수로 한정하는 것이 안전합니다. 병원이라면 증상에 대한 판단은 하지 않고 진료 예약과 일반 안내만, 금융이라면 상품 추천 없이 영업시간과 서류 안내만 맡기는 식입니다.

자주 묻는 질문

더 좋은 모델을 쓰면 환각이 사라지나요?

더 좋은 모델은 환각을 줄일 수 있지만 사라지게 하지는 못합니다. 특히 매장의 휴무일이나 예약 가능 시간처럼 모델이 원래 알 수 없는 개별 사실은 어떤 모델이든 근거 자료나 조회 결과 없이는 맞힐 수 없습니다. 모델 선택과 함께 근거 범위 제한, 도구 결과로 말하기, 변경 전 확인 같은 가드레일을 겹쳐야 합니다.

AI가 모른다고 너무 자주 말하면 어떻게 하나요?

AI가 모른다고 자주 말한다면 가드레일이 제대로 작동하고 있지만 근거 자료가 부족하다는 뜻일 가능성이 큽니다. 통화 기록에서 접수로 넘어간 질문을 모아 자주 나오는 것부터 매뉴얼이나 조회 도구에 추가하면, 정확성을 지키면서 해결 비율을 높일 수 있습니다.

한국AI통신 서비스에는 어떤 가드레일이 있나요?

한국AI통신의 서비스는 용도에 따라 가드레일이 다릅니다. 제로콜 AI는 매장 기본 정보와 켜져 있는 응답 매뉴얼을 근거로 답하고, KAT Cloud AI 상담원은 데이터를 바꾸는 도구를 손님에게 되읽고 확인받은 뒤에만 부르며, 콜페이는 카드 입력 구간에서 녹음과 음성 인식을 멈춥니다. 자세한 내용은 각 서비스 사이트에서 확인하세요.