생성형 AI 기반 디지털 전환을 계획한다면··· 현직 IT 리더의 5가지 조언

다가오는 2024년에 대비해 CIO는 생성형 AI의 가능성과 위험을 염두에 두고 디지털 전환 아젠다를 재구성해야 한다. 다음은 LLM의 파괴적 잠재력에 대응하는 5가지 방법이다.
 

디지털 전환은 조직의 핵심 역량이 되어야 한다. CIO와 IT 리더는 이를 늘 명심하고 있어야 한다. 이때 디지털 전환의 우선순위는 시기에 따라 바뀐다. 가령 2018년의 성장, 2020년의 팬데믹과 원격 근무, 2022년의 하이브리드 근무와 예산 부족에 이르기까지 거의 2년마다 전략적 우선순위가 크게 변화한다.

챗GPT 및 기타 대형 언어 모델(LLM)을 포함한 생성형 AI의 영향은 2024년 중요한 혁신의 원동력이 될 것이다.

많은 CIO가 2024년 예산과 디지털 전환 우선순위를 준비하면서 비즈니스 모델을 발전시킬 기회를 찾고, 단기적인 운영상 영향을 목표 대상으로 삼고, 직원이 실험해야 할 우선순위를 정하고, AI 관련 위험 완화 계획을 정의하는 전략을 개발하는 것이 필수적이다.

하지만 흥분과 과장 광고로 인해 직원들은 기밀 데이터를 손상시키는 AI 툴에 시간을 투자하거나 관리자가 보안, 데이터 거버넌스 및 기타 공급업체 의무 준수 검토를 거치지 않은 그림자 AI 툴을 선택하기 쉽다. 여기서 더 신경 써야 하는 것은 현실적인 전략을 정의하는 것이다. 가끔 IT 임원에는 ‘달을 가져오라’라는 식의 불가능한 일을 요청하는 몽상가 있다. 그런 임원조차 설득할 방안을 개발해야 하는 것이다. 

타타 컨설팅 서비스(Tata Consultancy Services)의 CIO인 아부히지트 마줌더는 “전환의 우선 순위는 근본적으로 비즈니스 우선 순위와 각 조직이 달성하려고 하는 것과 연결되어야 한다. 대부분의 기업에서 리더십은 성장과 운영 효율성에 동일하게 집중하면서도 회복력, 사이버 보안 및 기술 부채 제거 프로그램의 우선 순위를 매기는 것을 잊지 않는다”라고 말했다. 

다음은 CIO가 디지털 전환 우선 순위를 책정할 때 고려해야 할 생성형 AI 관련 요소다.

판도를 바꾸는 LLM 전략 정의
‘디지털 선구자들과의 커피 모임’라는 행사에서 여러 IT 리더는 생성형 AI와 LLM이 모든 산업에 어떤 영향을 미칠지 논의했다. 다음과 같은 예시들은 생성형 AI가 얼마나 영향을 미칠 것인가를 포함하고 있다.

• 비정형 데이터에서 추가된 인텔리전스를 사용하여 제약 신약 발견 가속화
• 일선 제조 조립 작업자가 보다 빠르고 안정적으로 문제를 해결할 수 있도록 권한 부여
• 의료 공급업체가 환자의 건강 관련 질문에 맞춤화된 답변을 제공할 수 있도록 지원
• 고객 대화를 기반으로 새로운 보험, 뱅킹 및 기타 금융서비스 상품 개발 지원
• 교사가 학생들의 창의적 사고, 협업 및 문제 해결 능력을 향상시킬 수 있는 새로운 방법을 제공하여 교육을 혁신

스냅로직(SnapLogic)의 CTO인 제레미아 스톤은 “경쟁업체들이 자체 전환 프로젝트를 지연하거나 축소할 가능성이 높은 지금이야말로 CIO와 CTO가 창의력을 발휘하여 더 적은 노력으로 더 많은 성과를 창출할 뿐만 아니라 계산된 투자로 경쟁에서 앞서 나가야 할 때이다”라며 “새로운 수익원을 창출하거나, 기술을 대중화하거나, 기술 부채를 줄일 수 있는 혁신 이니셔티브에 우선순위를 두어야 하며, 특히 생성형 AI 기회를 고려할 때 더욱 그렇다”라고 설명했다.

CIO는 아마도 이러한 규모의 전환 프로그램이 LLM 기능을 평가하고 실험하며 최소한으로 실행 가능하고 적절하게 안전한 고객 제품을 찾아야 하는 다년간의 프로그램이라는 것을 인식하게 될 것이다. 그러나 전략을 갖추지 않으면 중단이 초래될 수 있다. 특히 IT 리더가 이사회에 참석할 때 생성형 AI와 같은 세계를 변화시키는 새로운 기술에 대한 계획을 갖지 않으면 큰 문제가 발생할 수 있을 것이다. 

프라이빗 LLM에 대한 데이터 정리 및 준비
생성형 AI 기능은 학습 관리 시스템에 저장된 문서, 비디오 및 콘텐츠를 포함하여 기업의 비정형 데이터의 중요성과 가치를 증가시킬 것이다. 기업이 생성형 AI가 어떻게 산업과 비즈니스를 중단시킬 수 있는지 고려할 준비가 되지 않은 경우에도 사전 예방적 전환 리더는 LLM에서 사용하기 위해 비정형 데이터를 중앙 집중화, 정리 및 준비하는 조치를 취할 것이다.

도미노의 데이터 과학 전략 및 전도 책임자인 크젤 칼슨은 “조직 전체의 사용자가 일상 활동의 일부로 생성형 AI 기능을 활용해야 한다고 주장하는 상황에서 CIO, CTO 및 CDO의 최우선 과제는 점점 더 다양해지는 생성형 AI 모델에 안전하고 확장 가능한 액세스를 가능하게 하고 데이터과학팀이 조직의 데이터 및 사용 사례에 맞게 맞춤화되고 미세 조정된 LLM을 개발하고 운영할 수 있도록 하는 것이다”라고 말했다.

이미 챗GPT외에도 업계에서 주목하는 LLM은 14개가 넘는다. 대규모 데이터 세트가 있는 경우 데이터브릭스 돌리, 메타 라마 및 오픈AI와 같은 플랫폼을 사용하여 독점 LLM을 사용자 지정하거나 아니면 처음부터 자체 LLM을 구축할 수 있다.

LLM을 사용자 지정하고 개발하려면 강력한 비즈니스 사례, 기술 전문성, 자금이 필요하다. 뉴렐릭(New Relic)의 최고 설계 및 전략 책임자인 피터 페자리스는 “대형 언어 모델을 학습하는 데는 비용이 많이 들고 결과물이 완벽하지 않을 수 있으므로, 리더들은 사용 비용을 모니터링하고 쿼리 결과의 품질을 개선하는 데 도움이 되는 솔루션에 우선적으로 투자해야 한다”라고 말했다.

고객 지원을 개선하여 효율성 추구 
맥킨지는 고객 지원이라는 중요한 기회에 대해 2020년에 AI가 매년 1조 달러의 가치를 창출할 수 있을 것으로 예상했다. 이러한 기회는 오늘날 생성형 AI로 인해 더욱 커지고 있으며, 특히 CIO가 LLM에서 비정형 데이터를 중앙 집중화하고 서비스 에이전트가 고객의 질문에 묻고 답할 수 있도록 지원할 때 더욱 그러하다. 

SPR의 부사장인 저스틴 로덴보스텔은 “특히 업무 자동화 및 대량의 비정형 데이터 분석과 관련하여 고객 지원과 같은 활동을 최적화하기 위해 GPT-4와 LLM을 활용할 수 있는 기회를 모색하라”라고 조언했다. 

고객 지원을 개선하는 것은 LLM과 AI 검색 기능을 통해 단기간에 ROI를 달성할 수 있는 지름길이다. LLM을 구현하려면 CRM, 파일 시스템 및 기타 사스 툴에 내장된 데이터를 포함한 기업의 비정형 데이터를 중앙 집중화해야 한다. IT 부서가 이러한 데이터를 중앙 집중화하고 사설 LLM을 구현하면 영업 리드 전환 및 HR 온보딩 프로세스를 개선하는 등의 다른 기회도 생겨난다.

겟K3(GetK3)의 사장 겸 CEO인 고든 앨로트는 “기업들은 수십 년 동안 셰어포인트 및 기타 시스템에 데이터를 채워 넣었다. 이를 정리하고 LLM을 사용하면 실제로 가치가 있을 수 있다”고 말한다.

LLM 거버넌스 모델 커뮤니케이션을 통한 위험 완화
생성형 AI 환경에는 테스트, 이미지, 비디오, 코드, 음성 및 기타 카테고리를 포괄하는 100개 이상의 툴이 있다. 직원들이 툴을 사용하면서 독점 정보나 기타 기밀 정보를 프롬프트에 붙여 넣는 것을 막는 이유는 무엇인가?

로덴보스텔은 “리더는 허용 가능한 사용 정책을 조사하고 작성하여 팀이 승인된 적절한 방식으로만 이러한 툴을 사용하도록 해야 한다”라고 설명했다.

CIO가 CHRO 및 CISO와 협력하여 정책을 전달하고 스마트 실험을 지원하는 거버넌스 모델을 구축해야 하는 부서가 3개 있다. 첫째, CIO는 챗GPT 및 기타 생성형 AI가 코딩과 소프트웨어 개발에 어떤 영향을 미치는지 평가해야 한다. IT 부서는 실험할 위치와 방법, 툴이나 독점 데이터 세트를 사용하지 말아야 할 시점에 대해 모범을 제시해야 한다.

집중해야 할 두 번째 분야는 마케팅으로 마케터가 콘텐츠 제작, 리드 생성, 이메일 마케팅 및 10가지 이상의 일반적인 마케팅 관행에 챗GPT 및 기타 생성형 AI를 사용할 수 있다. 현재 11,000개 이상의 마케팅 기술 솔루션을 사용할 수 있으므로 새로운 LLM 기능으로 사스를 테스트할 때 실험하면서 의도치 않은 실수를 저지를 기회가 많다.

선도적인 조직의 CIO는 새로운 생성형 AI 사용 사례를 적용하고, 방법론을 검토하는 프로세스를 정의하고, AI 실험의 영향을 중앙 집중식으로 파악하기 위해 레지스트리를 만들고 있다.

의사 결정 프로세스 및 권한 재평가
IT 리더는 생성형 AI가 의사 결정 프로세스와 업무의 미래에 어떤 영향을 미칠 것인가에 대해서도 꼭 생각해봐야 한다. 

지난 10년 동안 많은 기업이 데이터에 대한 액세스를 대중화하고, 더 많은 사업가들에게 시민 데이터 과학을 교육하고, 사전 예방적인 데이터 거버넌스 관행을 심어줌으로써 데이터 기반 조직이 되는 것을 목표로 해왔다. 생성형 AI는 새로운 역량을 발휘하여 리더가 신속하게 답을 얻을 수 있도록 지원하지만, 적시성, 정확성, 편향성은 많은 LLM에서 핵심 문제이다.

아펜(Appen)의 엔터프라이즈 솔루션 부문 부사장인 에릭 보이트는 “인간을 AI의 중심에 두고 데이터 사용과 모델 해석 가능성을 위한 강력한 프레임워크를 구축하면 모델 내 편견을 완화하고 모든 AI 결과물의 윤리적 책임성을 보장하는 데 큰 도움이 될 것이다. AI 모델은 중요한 의사 결정에 있어 인간을 대체할 수 없으며, 이러한 프로세스를 완전히 대체하는 것이 아니라 보완하는 데 사용되어야 하는 것이 현실이다”고 말한다.

CIO는 거버넌스를 정의하고 단기적인 효율성을 확인하며 장기적인 전환 기회를 모색하는 것을 포함하여 생성형 AI 이니셔티브의 우선 순위를 정하는 균형 있는 접근을 찾아야 한다.
ciokr@idg.co.kr