“생성형 AI로 HR 업무 생산성 UP” 메가존클라우드가 전하는 실전 활용 노하우

생성형 AI가 그렇게 ‘핫’하다는 데, 어디서부터 어떻게 시작해야 할까? 구축이 나을까, 구매가 나을까? 환각 현상, 데이터 유출 등의 문제를 고려했을 때 기업용으로 신뢰할 수 있을까? 비용 대비 효과가 있을까? 최근 많은 기업이 던지는 질문이자 직면하고 있는 과제다. 

ITWorld와 CIO Korea가 주최한 ‘Future of AI & Data 2023’ 컨퍼런스에서 메가존클라우드 AI & 데이터분석센터 공성배 센터장은 생성형 AI를 어디서부터 어떻게 시작해야 할지 막막한 기업을 위해 지난 6월 말부터 진행 중인 내부 생성형 AI 프로젝트 사례를 상세히 공유했다. 
 

 

생성형 AI 도입 시 고려해야 할 6가지

메가존클라우드에 따르면 현시점에서 기업이 생성형 AI를 도입하기 전에 고려해야 할 6가지가 있다. ▲초기 단계 ▲‘구축 또는 구매’ 결정 ▲적용할 업무 선정 ▲신뢰성 ▲데이터 보호 ▲효과적인 비용 투자다. 

구체적으로 살펴보면, 생성형 AI가 아직 초기 단계에 있기 때문에 다양한 AI 모델을 평가해 사용 목적에 맞는 모델을 식별해야 한다고 공성배 센터장은 강조했다. 기업의 요구사항 및 환경에 따라 적합한 LLM 모델을 선택해야 한다는 것. 예를 들어 온프레미스 환경에서 경량형 언어 모델(sLLM)을 적용해야 하는 경우도 있고, 정교한 서비스를 제공하기 위해 대규모 언어 모델(LLM)과 다양한 클라우드 서비스를 기반으로 한 아키텍처를 구성할 수도 있다.

메가존클라우드도 프로젝트에 적합한 대규모 언어 모델(LLM)을 파악하기 위해 앤트로픽의 ‘클로드 2(Claude 2)’부터 오픈AI의 ‘GPT-3.5 터보’, 고려대학교의 한국어 특화 대규모 언어 모델 ‘구름(KULLM)’까지 3가지 모델의 성능/특징 비교 테스트를 진행했다.

또한 기업 내부의 생성형 AI 요구 사항이 다양하기 때문에 기술, 보안, 거버넌스 등에 따라 직접 개발할지, 구매할지 여부를 전략적으로 결정해야 한다. 비용 문제도 있다. 직접 개발한다면 AI 모델을 실행할 GPU가 필요하다. 이때 GPU 구매 및 운영 비용이 만만치 않다. 반대로 특정 생성형 AI의 API를 사용하면 토큰당 비용이 청구된다. 예를 들어 질문은 토큰당 50원, 답변은 토큰당 100원이 든다. 토큰이 많아지면 비용도 증가하기 마련이다. 사용 목적과 방식, 예산 등을 고려해 효율적인 접근을 해야 한다.  

아울러 하나의 LLM이 모든 해법을 제공할 수는 없다. 생성형 AI를 적용할 대상 업무를 명확하게 정하고, 노하우가 쌓이면 적용 분야를 단계적으로 확장해 나가는 것이 좋다. 공성배 센터장은 “이 밖에 AI를 통해 생성된 정보를 신뢰할 수 있어야 하고, 기업의 데이터는 보호돼야 하며, 적합한 모델 선택을 통해 신뢰할 수 있는 투자 비용이 전제돼야 한다”라고 덧붙였다. 
 

생성형 AI로 HR 업무 생산성을 향상시키다

메가존클라우드클라우드는 내부 시스템인 메가원 에스크(Megaone Ask)를 통해 HR 관련 문의를 받는다. 예를 들어 한 직원이 메가원 에스크에 '출산 휴가 규정이 궁금합니다'라고 문의 사항을 등록하면, HR 담당자가 해당 규정을 찾아 확인한 후 2시간 이내에 답변을 전달한다. 단순하고 반복적이지만, 많은 시간을 할애해야 하는 업무였다. 연말 정산, 인사 평가 등 문의가 폭증하는 시기에는 업무 고충이 컸다. 

공성배 센터장은 “HR 담당자가 몇백 장에 이르는 각종 규정과 정책을 찾는 시간을 10초가량으로 줄일 수 있다고 봤다. HR 업무 생산성을 향상시키는 한편 HR 담당자는 물론 임직원의 직원 경험을 모두 개선하는 것이 목표였다”라고 밝혔다. 

첫 번째 단계는 데이터 준비였다. 회사의 HR 규정과 관련 정책을 기반으로 답변을 생성해야 하기 때문이다. 지능형 검색 엔진 솔루션 아마존 켄드라(Amazon Kendra)와 RAG(Retrieval Augmented Generation)라고 하는 지식 베이스를 활용해 회사 규정 데이터를 인덱싱했다. 지식 베이스용 데이터로는 HR 문서(예 : 원천징수의무자를 위한 연말정산 신고안내, 취업 규칙, 개인경비가이드라인 등)를 사용했다. 

그다음 지식 베이스를 LLM과 연계하고, 파인튜닝 및 프롬프트 엔지니어링을 진행했다. 파인튜닝은 언어 모델이 특정 산업 및 맥락의 언어와 개념을 이해할 뿐만 아니라 생성할 수 있도록 미세 조정하는 과정을 일컫는다. 파인튜닝을 위한 데이터로는 국세청 연말정산 Q&A 데이터, 메가원 에스크 데이터 등을 사용했다. 

공성배 센터장은 “프롬프트 엔지니어링에서는 챗봇의 목적, 기능, 사용자와의 상호작용 단계 등을 설정했다. 이를테면 질문에 대답할 때 ▲반드시 문서 내에서 답을 찾아 답변할 것 ▲중복 없이 답할 것 ▲한국어로 답할 것 ▲짧고 간결하게 답할 것을 명령해 원하는 결과를 출력할 수 있도록 했다”라면서, “그 결과 기업 사용에 특화된 LLM을 구축할 수 있었다”라고 전했다. 
 

기본적인 프로세스는 다음과 같다. 해당 시스템에 ‘월별 파견지 교통비 한도가 어떻게 되는가?’라고 질문하면 지식 베이스에서 연관 정보를 검색하고 추출한다. 이때 연관 정보 데이터가 관련된 전체 내용까지 모두 담고 있으므로 LLM이 질문과 연관 정보를 결합해 ‘월별 파견지 교통비 한도는 몇 십만 원이고, 초과 시에는 정산이 불가합니다’라는 적합한 답변을 생성하게 된다.

공성배 센터장은 “첫 질문에 대한 답변 정확도는 평균 75% 이상이었으며, 이후 질문 수정 및 추가 질문을 통해 답변 정확도가 90% 이상으로 향상됐다. HR 질의 응답과 관련된 단순·저효율 업무가 실제로 감소되는 성과를 체감할 수 있었다”라고 언급했다.
 

파일럿 프로젝트에서 배운 교훈 

기존에는 HR 담당자가 메가원 에스크에서 문의 확인, 규정 확인, 답변 작성, 전송까지 모두 처리했다. 이제는 생성형 AI 시스템이 문의와 규정을 검토해 답변을 작성하고, HR 담당자는 답변 확인만 하면 된다. 총 4단계가 걸렸던 작업을 한 번으로 간소화한 것이다. 아울러 직무 교육부터 재택근무, 휴가 정책, 급여 일정, 복지비 지원, 인센티브 구조, 연말 정산, 출산/육아 휴가, 인사 평가까지 메가존클라우드에 특화된 다양한 HR 관련 문의를 처리할 수 있다.
 

물론 시행착오도 있었다. 처음 프로젝트에 착수했을 당시 한국어를 지원하는 AI 모델이 많지 않았고, 데이터 준비 과정에서도 이미지를 텍스트로 전환하거나 개인정보를 제거하는 등의 수작업이 필요했다. 시간적, 비용적, 기능적 제약도 있었다. 공성배 센터장은 “이런 문제를 계속 해결하고 보완해 나가고 있다”라면서, “생성형 AI 기술의 성숙도는 아직 초기 단계인만큼 해당 기술에만 의지해 서비스를 제공하는 것은 경계해야 할 필요가 있고, 담당자의 모니터링이 필수적”이라고 덧붙였다. 

앞으로의 계획은 LLM 모델 다양화, 지식 베이스(RAG) 전략 세분화, 챗봇 프로세스 개선, LLM옵스 표준화다. 이를 통해 해당 서비스를 계속 발전시켜 나갈 뿐만 아니라 HR 외의 다른 영역에도 생성형 AI를 적용할 수 있는 발판을 마련할 계획이다. 
 

또한 메가존클라우드는 2023년 9월 ‘GenAI360’ 오퍼링을 출시했다. ‘GenAI360’은 생성형 AI를 도입하고자 하는 기업을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드투엔드 서비스로, LLM을 통한 비즈니스적 가치를 고객에게 명확하게 제공한다는 계획이다.

마지막으로 공성배 센터장은 ‘내가 그의 이름을 불러 주었을 때 그는 나에게로 와서 꽃이 되었다’라는 김춘수 시인의 ‘꽃’ 한 구절을 언급했다. “AI도 마찬가지이기 때문이다. AI에 어떤 페르소나를 부여하고 어떻게 학습을 시키느냐가 핵심이다. 그래야 기업 혹은 업무에 특화된 생성형 모델과 서비스를 구축하고, 유용하게 활용하며, 지속적으로 운영할 수 있다. 즉, 명확한 AI 전략이 그 어느 때보다 중요하다”라고 강조했다.
editor@itworld.co.kr