컬럼 | 생성형 AI를 준비할 때 CIO가 던져야 하는 8가지 질문

생성형 AI는 빠른 속도로 전 세계 기업의 관심을 사로잡으며 비즈니스 운영, 모델, 제품 및 서비스에 중대한 영향을 미치고 있다. 비즈니스 리더라면 생성형 AI를 도입하기 전에 다음 8가지 질문에 대한 답을 준비해 두면 좋다.
 

많은 기업이 현재 생성형 AI의 잠재력을 활용하기 위해 데이터, 인력, 프로세스를 준비하며 필요한 일이 무엇인지 파악하는 데 분주하다. 최근 액센츄어의 조사에 따르면, 거의 모든(99%) 임원이 생성형 AI 투자를 강화할 계획이라고 말했다. 지금이야말로 리더는 업무 처리 방식에 새로운 변화를 주어야 한다. CIO는 조직이 생성형 AI를 도입하는 과정에서 적극적인 역할을 맡을 수 있다. CIO는 비즈니스 프로세스에 대한 교차 기능적 관점을 지니고 있으며 기술을 활용하여 운영을 혁신하고 가치를 제공하는 방법을 잘 이해하고 있기 때문이다.

하지만 생성형 AI를 도입하는 과정은 쉬운 일이 아니다. 실제로 액센츄어 스트래터지(Accenture Strategy) 보고서에 따르면, 고위 기술 리더 중 67%가 직원의 기술 전문성 부재로 인해 전략 개발 과정에서 기술을 통합하기 어렵다고 답했다. 결국 생성형 AI를 순조롭게 도입하려면 기본적으로 생성형 AI와 혁신을 제대로 이해하고 이를 기업 내 의미 있는 성과로 연결할 줄 아는 능력이 필요하다. 

AI를 비즈니스에 효과적으로 통합하려면 우선 비즈니스 가치를 정의하는 명확한 목표를 설정하고 AI 전략을 해당 비즈니스 목표에 맞추는 것부터 시작해야 한다. 기업 내부 디지털 어젠더를 이끄는 CIO는 이미 생성형 AI를 전면에 내세우고 AI 솔루션을 활용하기 시작했다.

많은 CIO는 강력한 기반 아키텍처를 구성하는 것이 조직의 AI 준비 여정을 위한 중요한 첫 번째 단계라고 보고 있다. 이런 단계로 기업이 높은 효율성과 효과성을 추구하며 생성형 AI를 기업 전반에 걸쳐 성공적으로 확장할 것이라고 여기는 것이다. 이미 전 세계 임원 중 98%는 AI 파운데이션 모델이 향후 3~5년 동안 조직의 전략에 있어서 중요한 역할을 할 것으로 보고 있다는 조사 결과도 있다. 

그렇다면 CIO는 이제 무엇을 할 수 있을까? 고객의 AI 여정을 돕는 도구이자 기업을 위한 AI 안내자(Navigator)를 설계하는 과정에서 일단 생성형 AI에 대비되어 있는지 확인해야 한다. CIO라면 다음 8가지 질문을 집중적으로 살펴보면 좋다.

질문 1. 우리는 어떤 파운데이션 모델을 활용해야 하는가? 
위 질문은 ‘모델 결과값의 관련성, 신뢰성, 사용성을 확보하기 위해 어떤 아키텍처가 가장 적합한가’라는 의미를 가진다. 생성형 AI 모델과 관련 기술 제공업체 수는 끊임없이 증가하고 있다. 조직의 필요 및 요청 사항에 적합한지 확인하기 위해 신중하게 선택해야 한다.

질문 2. 어떻게 하면 이런 모델의 접근성을 높일 수 있을까? 
기업이 모델을 도입하기 위해 고려해야 하는 접근방식은 크게 2가지다. 각각 장단점이 있다. 먼저 자체 퍼블릭 클라우드에서 기업이 스스로 모델에 접근하는 ‘완전 제어’ 옵션이 필요한지 알아봐야 한다. 두 번째 속도와 간결성을 위해 제어권을 조금 포기하고 외부 제공업체가 제공하는 관리형 클라우드 서비스를 이용할지 고민해야 한다. 

질문 3. 활용을 위해 데이터에 모델을 어떻게 적용할 것인가? 
AI를 데이터와 함께 활용해야 탄탄한 디지털 코어를 만들 수 있다. 데이터와 AI는 오늘날 기업의 경쟁 우위의 원천이 되고 있다. 생성형 AI의 가치를 극대화하기 위해서는 기업 내부 데이터를 활용하여 정확도, 성능, 활용도를 높여야 한다. 조직과 인력에 적합한 사용자 정의 도구를 생성하기 위해 자체 데이터에 사전 훈련 모델을 적용할 수 있는 다양한 방법을 고려하자.

질문 4. 기업의 전반적인 준비 상황은 어떠한가? 
일단 기업 내에서 사용하는 기술이 통합 용이성 및 호환성이 높은지 파악하야 한다. 파운데이션 모델은 사용하기에 안전한지도 알아봐야 한다. 생성형 AI를 도입하려면 일단 모든 기업이 탄탄하고 책임감 있는 AI 컴플라이언스 프로그램을 신속하게 마련해야 한다. 설계 단계에서 생성형 AI 사용 사례의 잠재적인 위험을 평가하기 위한 관리 통제책으로서 탄탄한 AI 기반을 구축하기 위해 법률, 규정, 윤리적 기준 준수는 필요하다.

질문 5. 우리 기업의 탄소 발자국은 어떠한가? 
파운데이션 모델은 사전 학습된 AI 기술이지만, 이를 적용하고 미세 조정하는 과정에서는 상당한 에너지를 소비할 수 있다. 에너지 소비량의 규모와 영향력은 파운데이션 모델을 구매, 강화 또는 구축하는 과정에 따라 달라진다. 미리 이런 부분을 확인하지 않을 경우, 환경에 심각한 영향을 끼칠 수 있다. 따라서 기업 및 환경에 모두 옳은 선택을 하기 위해 초기에 지속 가능한 고려 사항을 따져보는 것이 중요하다.  

질문 6. 생성형 AI 앱 개발을 구체화할 방법은 무엇인가? 
파운데이션 모델을 선택하여 배포한 후 다음 단계는 개발한 애플리케이션을 더 많은 사용자에게 폭넓고 빠르게 확대하는 것이다. 이때 어떤 프레임워크가 필요할지 고려해야 하며 특히 프롬프트(Prompt) 엔지니어링 기법을 잘 활용하는 것이 중요하다. 특정 비즈니스 기능 또는 영역에 적합한 효율적이고 잘 설계된 다수의 프롬프트와 템플릿을 구축할 수 있는 셈이다.

질문 7. 생성형 AI를 대규모로 운영하기 위해 무엇이 필요한가? 
기존의 프로세스를 뒤집고 새로운 기술을 활용하는 방식을 고안할 때면 ‘복잡성’이라는 문제를 마주하게 된다. 하지만 CIO라면 대규모로 AI가 생성하는 가치를 활용하는 방법을 찾아야 한다. AI는 혁신을 이끄는 비옥한 토지 같은 것이다. CIO는 기업 네트워크 전반에 걸쳐 잘 연결되어 있다. CIO가 교차 기능 협업의 기회를 찾으면 조직 내에서 그리고 산업 전반에 걸쳐 개방적인 혁신을 촉진할 수 있을 것이다. 또한 새로운 인사이트와 정보에 기초한 의사 결정을 이끌고 새로운 성장 기회를 찾아낼 수 있다.

질문 8. 목표를 설정하기 위해 어디에서 시작하고 어떻게 진행해야 할까? 
기업 상당수는 생성형 AI로 ‘생산성’을 높이는 것을 목표로 삼을 것이다. 여기서 소프트웨어 개발 부분을 주목해볼 수 있다. 소프트웨어 개발 영역은 CIO가 역량을 잘 발휘할 수 있는 분야이기 때문이다. 파일럿 프로젝트로 일단 가시적인 결과를 통해 팀의 실제 경험을 입증할 수 있는 사용 사례를 공유하자. 

예를 들어, 액센츄어 내부에서는 지난해 생성형 AI가 소프트웨어 개발 생산성을 높일 수 있는지 살펴보았다. 당시 액센츄어 개발팀은 아마존 코드위스퍼러(Amazon CodeWhisperer) 등의 AI 코딩 도구를 사용했으며 이를 통해 개발자 생산성 및 코드 품질이 크게 높아졌다는 것을 확인했다. 또한 전반적인 릴리즈 사이클이 빨라졌으며, 새로운 AWS 벨로시티(Velocity) 플랫폼을 더 신속하게 제공하는 데도 도움이 되었다.

이런 의미 있는 자체 사례를 발견하면서 액센츄어는 생성형 AI의 가능성과 실현 방안을 조직 내부에 공유했다. 그리고 다른 분야에서도 신속하게 생성형 AI를 실험하고 테스트하고 활용도를 확장하도록 안내했다. 이런 식으로 이해 관계자에게 기술의 발전 방향, 이동 속도, 조직이 기대할 수 있는 결과에 대해 안내할 수 있는 역량을 갖출 수 있다.

새로운 변곡점
생성형 AI 덕에 기술은 더 많은 산업에서 더욱 강력한 성장, 추가적인 민첩성, 뛰어난 탄력성을 달성하는 데 중요한 역할로 자리잡을 것이다. 기술이 일과 생활을 근본적으로 바꾸는 것이다. 액센츄어 조사에 따르면 전체 근로 시간 중 40%가 LLM(Large Language Model)로부터 영향을 받을 수 있다. 특히 IT와 기술 역할에서 근무 시간의 73%를 생성형 AI가 바꿔 놓을 수 있다. 결국 안전하고 책임감 있고 비용 효율적이며 실질적인 비즈니스 가치를 제공하는 방식으로 생성형 AI를 활용하고 이를 위한 기반을 만드는 것에 더욱 집중해야 한다.

CIO는 오늘날 빠르게 변화하는 디지털 환경의 복잡성을 비즈니스가 헤쳐 나갈 수 있게 도울 수 있다. 가령 AI의 획기적인 발전과 기업 전반을 고려한 총체적인 성능 접근 방식을 통해 새로운 AI 성능의 경계를 설정할 수 있다. 또한 자신과 기업이 속한 산업을 재정의하기 위해 AI를 활용하는 방안을 제시할 수 있다. 

이 모든 것이 기업의 준비성에서 시작되며, CIO가 미래에 대비하는 조직을 구성하기 위한 가치를 발현할 열쇠를 쥐고 있다.

*이 글은 액션츄어의 다이애나 버슨(Diana Bersohn)과 란 구안(Lan Guan)이 공동으로 작성하였다. 다이애나 버슨은 액센츄어의 전략-기술 부문의 상무이사다. 그녀는 전략 및 혁신 분야의 리더로서 글로벌 IT 운영 모델과 대규모 비즈니스 및 기술 혁신을 전문적으로 담당하고 있다.

란 구안은 액센츄어의 최고 AI 책임자(Chief AI Officer)로서 다양한 산업 및 지역의 기업과 긴밀히 협력하여 가치와 성장을 주도하는 데이터 및 AI 전략을 개발하고 있다. 또한 구안은 글로벌 경영 위원회의 위원이며, 기업이 AI 투자를 통해 가치를 창출할 수 있도록 지원하는 액센츄어 고급 AI 센터를 이끌고 있다. 이전에는 액센츄어 클라우드 퍼스트의 데이터 및 AI 글로벌 리더직을 맡기도 했다. 
ciokr@idg.co.kr