AI 최우선?··· 새롭게 대두되는 ‘IT 근간’의 중요성

CIO가 집중해야 할 대상은 AI에 국한되지 않는다. 기존의 IT 필수 요소에 지속적으로 투자할 때 두 마리 토끼를 모두 잡을 수 있다.

비즈니스 리더의 3분의 2가 이미 내부에 생성형 AI 도구를 배포했다고 해리스 폴(Harris Poll)에 응답했다. IDC는 2024년에 생성형 AI에 대한 지출이 두 배 이상 증가할 것으로 예측했다. 생성형 AI가 많은 조직의 IT 프로젝트에서 높은 우선순위를 가진 요즘이다.

하지만 IT 부서의 여타 우선순위 목록 상당 부분은 예전과 같. 보안, 비용 관리, ID 관리, 컨테이너 확장, 데이터 관리, 하드웨어 교체와 같은 기본 사항들은 여전히 CIO가 처리해야 할 핵심 전략 영역이다. 그리고 IT 조직이 연결, 권한, 구성 관리와 같은 기본 사항을 잘 뒷받침할 때 AI를 비롯한 여타 혁신 프로젝트가 제대로 성과를 낼 수 있다.

"민첩한 멀티 클라우드 기반, 강력한 사이버 보안, 효과적인 데이터 프라이버시 및 IP 제어, 그리고 앱 사일로 전반에 걸쳐 강력한 개방형 데이터 기반을 구축하는 등의 중요한 IT의 기본을 탄탄히 해야 한다. 배를 띄우는 데 필요한 널빤지와 못이라고 할 수 있다"라고 콘스텔레이션 리서치의 부사장 겸 수석 애널리스트인 디온 힌치클리프는 말했다. 

그는 이어 "이러한 IT 기본 요소를 '채소 섭취'에 비유할 수 있다. 화려하지는 않지만 장기적인 건강과 IT의 힘을 위해 반드시 필요한 요소다. 균형 잡힌 식단이 신체를 강화하는 것처럼, 견고하고 현대적인 IT 인프라는 AI 및 기타 첨단 기술이 번창할 수 있는 토대를 마련한다"라고 강조했다.

독립 리서치 분석가인 세이지블(Sageable)의 설립자 앤디 만은 이에 동의하며, 많은 내부 운영과 IT 인프라의 기본 기능이 AI 골드러시를 뒷받침하는 '근간'이라고 전했다. "AI 워크로드가 체계적이고 위생적인 방식으로 잘 실행되도록 하기 위해서는 CIO들이 다양한 작업을 해야 한다"라고 말했다.
 

데이터 실사
만에 따르면 생성형 AI는 특히 데이터 보안과 깊은 관련성을 가진다. "AI에게 이 모든 데이터를 빨아들여 재사용하라고 지시할 때 데이터 손실 방지를 어떻게 달성할 수 있을까?"라고 그는 반문했다.

CIO는 생성형 AI가 어떤 데이터에 액세스할 수 있는지 신중하게 관리해야 한다. 보안, 규정 준수, 효율성 등과 같은 다양한 이유 때문이다. 예를 들어, 검색 증강 생성(RAG)은 자체 데이터로 작업하는 데 핵심 기술로 떠오르고 있지만, 모든 데이터를 입력할 수는 없다. 대용량 데이터 세트를 준비하려면 전문 지식이 필요하고 모델에 가르치는 내용도 달라지기 때문이다. 또 전체 슬랙 또는 팀즈 기록을 다짜고짜 입력하면 "내일 작업하겠습니다"와 같은 응답이 나올 수 있다. 인간 직원에게서는 나올 수 있는 대답이지만, 생성형 AI 시스템에서는 아니다.

마이크로소프트 MVP이자 렌코어 파트너 관리 책임자인 크리스찬 버클리는 코파일럿과 같은 AI 도구가 데이터 및 메타데이터 구조화, 정보 아키텍처, 정리 및 이해, 많은 조직이 권한 관리와 데이터 정리 등과 관련해 정보 관리에 대한 조직의 접근 방식에 결함을 드러낼 것이라고 경고했다.

그에 따르면 데이터 스토리지 비용이 낮아지면서 많은 조직에서 불필요한 데이터를 보관하고 있다. 마이그레이션 또는 조직 개편 후 오래되거나 더 이상 유용하지 않은 데이터도 쌓아두고 있는 것이다. "비용이 낮기 때문에 정리하지 않고 있다"라고 버클리는 지적하며, 데이터 위생을 고려하지 않고 생성형 AI 기능을 도입하면, 환멸을 느끼기 십상이라고 그는 덧붙였다.

마이크로소프트가 2015년 데블(Delve)를 출시했을 때, 그리고 그 이전인 2010년에 FAST 통합 이후 셰어포인트에 강력한 검색 기능을 도입했을 때에도 동일한 문제가 드러났던 바 있다는 설명이다. 버클리는 "셰어포인트에서 검색이 작동하기 시작했을 때 사람들은 검색이 제대로 작동하지 않는다고 불평했다. 하지만 실제로 작동한 결과였다. 이 기능을 통해 데이터에 대한 거버넌스 부족이 드러났을 뿐이다”라고 말했다.

그는 이어 “권한이 침범당하고 있다는 불평도 있었다. 그러나 실상은 구멍이 있는 부분이 드러나는 것이었다. 데이터에서 AI를 통해 훨씬 더 강력한 검색 기능을 갖고 싶을 수 있겠지만, 데이터를 어떻게 구성했는지에 대해 확신할 수 있는가?"라고 말했다.

또 다른 문제는 메타데이터 태깅과 민감도 레이블이 데이터에 올바르게 적용되지 않기에 생성형 AI 도구와 사용자가 포함해야 할 정보를 보지 못하는 경우다.

제대로 관리되지 않은 데이터는 내부용 정보를 외부 파트너가 생성형 AI 도구에 액세스할 때 노출하는 등 규정 준수 및 기밀성 문제를 일으킬 수 있다. 결국, 외부 사용자가 참여하는 프로젝트에서는 어떤 정보에 액세스하는지, 그리고 외부 액세스가 여전히 적절한지 면밀히 검토해야 한다. 예를 들어 특정 다국적 기업에서 프랑스에 있는 직원이 호주의 연금 또는 육아휴직 정책에 기반한 정보를 HR 봇으로부터 얻어 사용한다면 혼란을 야기할 수 있다.

버클리는 "어떤 콘텐츠가 있는지, 어디에 있는지, 내부와 외부에서 누가 액세스할 수 있는지, 무엇이 공유되고 있는지, 어떻게 레이블이 지정되어 있는지 모른다면 어떻게 AI 거버넌스가 준비되었다고 말할 수 있을까? 거버넌스 관점에서 사람들이 무엇을 하고 있는지, 어디서 무엇을 하는지, 어떻게 하는지 지속적으로 추적해야 한다"라고 말했다.

컨테이너 및 인증서
권한 관리는 지속적인 주의가 필요한 또 다른 영역인 ID 관리와 맞닿아 있다. 컨테이너 에코시스템이 발전함에 따라 쿠버네티스의 채택이 증가했다. 이로 인해 많은 CIO들은 가상화와는 상당한 차이가 있는 컨테이너화된 애플리케이션의 환경을 관리하는 데 매진하고 있다. 브로드컴의 VM웨어 인수 이후 더욱 복잡해진 방정식이기도 하다. 

IAM 플랫폼 제공업체 앱뷰X(AppViewX)의 최고 솔루션 책임자 머랄리 팔라니사미는 관리해야 할 머신 ID가 훨씬 더 많아졌다고 지적했다. 그는 "디지털 트랜스포메이션으로 인해 전체적으로 연결된 기기, 클라우드 서비스, 네이티브 클라우드 및 컨테이너화된 애플리케이션의 사용이 크게 증가했다. 이러한 모든 추가 머신, 워크로드 및 서비스에는 신뢰할 수 있는 ID가 필요하며, 이로 인해 머신 ID 관리의 필요성이 증폭되고 있다"라고 말했다.

그에 따르면 IoT, 소프트웨어 공급망 보안(특히 코드 서명을 통해 이를 완화해야 할 필요성), 생성형 AI에 데이터를 사용하면서 보안 액세스가 의존하는 TLS 인증서와 개인 키의 사용이 증가하고 있다. 팔라니사미는 "애플리케이션이나 기계가 서로 통신할 때마다 대다수의 기계는 신뢰를 구축하고, 서로를 시스템에 식별하며, 통신을 안전하게 인증하고 암호화하기 위해 TLS 인증서를 사용한다"라고 설명했다.

이러한 기계 ID를 보호하는 것은 매우 중요하며, 이를 관리하는 것은 더 이상 임시적인 수동 프로세스로 해결될 수 없다는 주장이다. 특히 TLS 인증서 유효 기간을 398일에서 90일로 단축하려는 구글의 제안으로 인해 훨씬 더 빠른 전환이 필요하게 된 실정이다. 

이 밖에도 2023년 12월부터 시행되는 미국의 새로운 SEC 사이버 보안 규정, EU의 확대된 네트워크 및 정보 시스템 지침(NIS2), PCI 4.0으로 업데이트되는 PCI-DSS(결제 카드 산업 데이터 보안 표준)처럼 보안 표준을 규범이 아닌 위험 기반으로 전환하는 일반적인 변화 등 다른 규제 변화도 주목해야 한다.

팔라니사미는 자동화, 자동 등록, 프로비저닝 해제에 의존하여 개인 및 민감한 데이터에 대한 액세스를 제어하는 머신 ID 관리도 핵심 보안 초점 영역이 되어야 한다고 덧붙였다. 그는 "전송 중인 데이터를 보호해야 할 때 머신 ID는 중요한 역할을 한다. AI 프로젝트가 증가함에 따라 신뢰를 보장하고 안전한 인증 및 암호화를 통해 올바른 데이터에 대한 올바른 액세스만 관리 및 제어하여 민감한 개인 데이터를 안전하게 보호하려면 머신 ID 관리가 필수적이다"라고 말했다.

그는 이와 함께 클라우드 프로젝트를 반짝이는 새로운 AI 이니셔티브보다 우선순위가 낮다고 생각하기 쉽지만, 사실 클라우드 프로젝트가 기본이라고 강조했다. "AI 프로젝트가 성공하려면 속도와 민첩성이 필요하므로 처음부터 AI 프로젝트의 기본 클라우드 인프라에 보안을 구축해야 한다"라고 그는 덧붙였다.

비용 관리
오늘날 생성형 AI의 상당 부분이 클라우드 AI 서비스와 API에 의존하고 있다. 따라서 CIO는 특히 AI 개발 및 실험을 위한 예산에 유의해야 한다.

만은 "100명의 직원이 AI 실험을 하고 있는데 단 한 명이라도 인스턴스 프로비저닝을 해제하는 것을 잊어버리면 청구서가 날아올 것이다. 코파일럿 관리는 단순히 권한 관리만이 아니다. 돈을 지불한 라이선스가 제대로 사용되고 있는지 알아야 한다”라고 말했다.

아울러 다른 클라우드 워크로드가 조직에 제공하는 가치에 따라 라이선스 및 API 호출 비용을 정당화해야 하는 것처럼, 생성형 AI 프로젝트도 실제로 약속한 생산성 향상과 혁신을 제공하는지 여부를 평가해야 한다.

만은 "AI를 너무 빨리, 너무 오래 실행하도록 내버려 두었다가 해고당하는 첫 번째 CIO가 곧 나타날 수도 있다. 내 포트폴리오가 무엇인지, 무엇이 가치 있는지, 지출은 얼마인지, 돌아오는 것은 무엇인지, 그리고 이러한 워크로드의 활용도와 품질을 관리하는 것은 CIO가 기본적으로 차단하고 해결해야 할 분야다. 새로운 워크로드에는 이러한 수준의 규율이 반드시 필요하기 때문에 ITSM, ITIL 스타일의 규율과 포트폴리오 관리가 다시 돌아올 것이다"라고 말했다.

하드웨어 교체 가속화
윈도우 10의 수명이 2025년에 종료됨에 따라 CIO들은 향후 18개월 동안 윈도우 11로 이전하려는 움직임을 보일 전망이다, 약속된 보안 개선 사항을 기본적으로 적용하려면 성능 저하 없이 보안 기능을 지원하는 올바른 지침을 갖춘 최신 세대의 CPU가 탑재된 새 PC에 투자해야 한다.

이러한 디바이스에는 실시간 영상 통화 편집이나 윈도우 11 코파일러 실행 등 온디바이스 AI 워크로드 속도를 높이기 위해 신경 처리 장치(NPU) 또는 이와 유사한 전용 하드웨어가 더욱 많이 담길 것이다. 그러나 하드웨어의 빠른 발전은 CIO가 최신 상태를 유지하기 위해 향후 하드웨어 교체 주기를 훨씬 더 짧게 설정해야 한다는 것을 의미할 수 있다. 어떤 직원이 적합한 PC 하드웨어를 보유하고 있는지 추적하는 자산 관리는 AI가 약속한 생산성 향상을 달성하는 데 핵심이 될 수 있다.

데이터센터 하드웨어 측면에서는 더 많은 비용이 요구될 수 있다. 단순히 GPU의 비용 문제만이 아니다. 대부분의 LLM은 클라우드에서 실행되고 API를 통해 액세스할 수 있지만, 생성형 AI 도구를 비즈니스에 유용하게 사용하려면 자체 데이터 소스에 연결해야 한다. 5G, 와이파이 6 및 7, 새로운 위성 연결 등 지연 시간을 줄이고 더 나은 연결을 안전하게 제공하기 위해 네트워크 아키텍처를 발전시켜야 할 가능성이 높다. 

또한 가격 하락으로 인해 데이터베이스 분야가 올플래시 오브젝트 스토리지 시스템으로 전환되고 있다. 이는 빠른 처리량과 확장성을 필요로 하는 AI 워크로드에 필수적인 대규모 데이터 세트를 처리하는 데 도움이 될 뿐만 아니라 AI 기반 운영의 무한한 데이터 욕구와 빠른 액세스 요구도 충족시킬 것이라고 데이터 관리 소프트웨어 회사 데이터도비의 제품 부사장 스티브 리퍼는 말했다. 

그에 따르면 CIO들은 일반적으로 AI 처리를 위한 스토리지의 양과 등급, 상호 연결 네트워크, GPU 팜 등 AI 처리 파이프라인을 위한 하드웨어 인프라를 고려해야 한다. 또한 데이터 처리: 적합한 데이터 세트를 식별하고, 처리 파이프라인의 지점 간에 데이터를 빠르고 정확하게 재배치하여 조용한 데이터 손상을 방지하며, AI 처리 결과가 적절한 위치와 등급의 스토리지로 재배치되도록 보장해야 한다.

리퍼는 단 생성형 AI용 데이터 세트가 항상 방대하지는 않을 것이라고 말했다. "크고 작은 데이터 세트가 섞여 있을 터다. 이러한 데이터 세트 중 일부는 조직의 거버넌스 정책에 따라 온프레미스 리소스를 사용하여 처리해야 하는 중요한 데이터를 포함한다"라고 그는 말했다.

이러한 데이터 세트에 대한 AI 액세스 관리는 CIO가 매우 익숙한 전통적인 IT 인프라 관리와 큰 관련성을 가진다. 따라서 올해에는 이러한 데이터 세트에 대한 투자를 우선순위로 삼는 것이 두 가지 모두에 좋은 결과를 가져올 가능성이 높다는 진단이다.

만은 이러한 데이터 관리, 연결 문제가 방치되어 왔던 경향이 있었던 것이 사실이라고 지적하며, 그러나 이제 상황이 개선될 조짐이 나타나고 있다고 말했다. 그에 따르면 2023년 초, 가트너는 데이터를 분류하고 최적화하는 데이터 스토리지 관리 솔루션을 이미 보유한 조직이 15%에 불과하다고 보고했다. 하지만 2027년에는 그 비율이 최소 40%까지 증가할 것으로 예상된다. ciokr@idg.co.kr