'상담매뉴얼 대신 AI' SKT, 통신 특화 LLM 6월 론칭

SK텔레콤 에릭 데이비스(왼쪽) 테크 컬래버레이션담당과 정민영 AI플랫폼 담당이 30일 서울 을지로 SK T타워에서 열린 텔코 LLM 기자설명회에서 질문에 답하고 있다. SKT 제공

SK텔레콤은 통신 서비스에 특화한 '텔코 LLM(거대언어모델)'을 이르면 오는 6월 선보인다고 30일 밝혔다.

텔코 LLM은 GPT, 클로드와 같은 범용 LLM이 아닌 통신업을 위한 LLM이다.

SK텔레콤은 오픈 AI, 앤트로픽 등과 협력해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집해 통신 서비스를 위한 LLM을 만들고 있다.

에릭 데이비스 SK텔레콤 AI 테크 컬래버레이션담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하기는 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세 조정(파인 튜닝)과 모델 평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티 LLM 전략"이라고 말했다.

통신사들이 AI 고객센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화한 LLM을 가져다 쓸 수 있게 하는 것이 멀티(다중) LLM 전략이라는 설명이다.

범용 LLM은 통신사의 번호 이동 방법이나 절차 등 전문 지식을 제대로 학습하지 않아 요금제 추천과 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코 LLM의 파인 튜닝이다.

이렇게 파인 튜닝을 한 텔코 LLM은 휴먼 피드백 기반의 강화 학습(RLHF) 과정을 거친다.

답변한 내용의 품질, 만족도 등을 상담사들이 평가한다. 고객의 문의에 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등을 채점한다. 마지막으로 텔코 LLM의 언어 능력, 추론 능력, 통신 특화 과제 수행 능력 등을 모델 평가(벤치마킹)를 한다.

예를 들어, 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축한다. 이 과정을 주기적으로 반복해 텔코 LLM은 더 똑똑해진다.

현재 고객센터에서 상담 전화 한 건을 처리할 때 고객 상담에 약 3분, 상담 후 업무 처리하는 데 30초 이상이 소요된다.

텔코 LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 내용을 요약하는 등 상담 후 처리까지 소요되는 시간을 크게 단축시킬 것으로 회사는 기대하고 있다.

기존에 상담사가 고객 문의 내용을 정리하고 필요한 문서를 검색·요약해 답한 뒤 상담 내용을 기록하는 전 과정을 텔코 LLM이 대신하는 셈이다. 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스도 정확하게 파악한다.

텔코 LLM은 통신사의 네트워크 인프라 운용에도 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코 LLM에 질문을 입력해 해결법을 받아볼 수 있다.

정민영 SK텔레콤 AI플랫폼 담당은 "고객센터, 인프라뿐만 아니라 마케팅과 유통망 등 고객 접점이나 법무, HR(인사)과 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코 LLM을 활용한 사례를 늘려갈 계획"이라고 말했다.

SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 일종의 기업용 AI 개발·운용 패키지다.

SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 AI 개인비서 '에이닷' 등에 적용 중이며, 활용 사례를 확대할 예정이다.