기술 부채 줄이면서 생성형 AI 활용하려면··· 현직 IT 리더들의 조언

생성형 AI는 아직 초기 단계에 있지만, 이미 조직을 혁신하고 IT 전략에 큰 영향을 미치고 있다. 대규모 언어 모델(LLM)이 엔지니어링 민첩성을 가속화한다는 점은 잘 알려져 있다. 하지만 한편으론 전례 없는 기술 부채 누적을 야기할 가능성도 있다. 분석 기업 레드몽크의 수석 애널리스트이자 공동 설립자인 스테판 오그래디는 "생성 시스템은 생성되는 코드의 양을 가속화하기 때문에 그 자체만으로도 기술 부채를 증가시킬 수 있다"라고 말했다.

세일즈포스의 부사장 겸 CIO인 후안 페레즈는 그렇다고 해서 CIO가 AI를 탐색하고 구현하는 데 주저해서는 안 된다고 조언했다. 그는 AI를 적절한 거버넌스, 보안 제어, 유지 관리 및 지원, 수명 주기 관리가 필요한 애플리케이션으로 보고 있다. 또한 AI 제품군이 증가하고 있기 때문에 적합한 모델과 기초 데이터를 선택하는 작업이 AI 여정을 지원하는 데 중요할 것이라고 진단했다.

생성형 AI를 올바르게 구현하면 더 낮은 비용으로 더 높은 품질의 제품을 생산할 수 있다. 월그린 부츠 얼라이언스의 CIO 닐 샘플은 "AI가 전체 비즈니스에 긍정적인 영향을 미칠 것인가의 문제가 아니라 얼마나 많이, 얼마나 빨리 영향을 미치는가의 문제"라고 언급했다. 그는 책임감 있는 AI 개발을 실현하려면 정부 규제와 기업 거버넌스가 모두 필요하다고 했다.

IT 전략의 핵심이 되는 생성형 AI
머신러닝 모델은 IT의 반복 작업을 더 빠르게 실행할 잠재력을 갖고 있다. 코드 테스트 플랫폼 소나(Sonar)의 CIO 안드레아 말라고디는 AI로 최소한 일상적이고 반복적인 작업의 부담을 자동화해 소프트웨어 개발자가 보다 창의적이고 높은 수준의 작업에 집중할 여유를 확보할 수 있다고 말했다. 그는 "IT팀을 지원하기 위해 생성형 AI 도구에 투자하는 것은 팀의 성장, 생산성 및 전반적인 만족도를 위한 투자"라고 언급했다.

팔로알토 네트웍스의 CIO 미라 라자벨은 생성형 AI가 개발, 특히 자바, 파이썬, C++ 등 잘 알려진 프로그래밍 언어의 코드 생성을 획기적으로 향상시킬 것이라고 봤다. 또 다른 잠재력도 있다. 그녀는 AI가 소프트웨어 개발 주기 초기에 단위 테스트, 디버깅, 잘못된 구성을 식별하는 코드 테스트를 대체하는 데 중요한 역할을 할 것이라고 말했다. 라자벨은 "CIO로서 성공을 위한 최적의 도구를 개발자에게 제공하는 일은 업무의 핵심 요소다. AI는 의심할 여지 없이 효율성을 향상시킬 것"이라고 설명했다.

AI는 또한 부서 전반의 운영을 크게 발전시킬 가능성도 있다. 노 코드 자동화 플랫폼 기업인 워카토의 CIO 카터 부세는 올해 IT 전략에서 AI를 핵심에 두고 있다. AI의 이점은 IT 영역을 넘어 고객 지원, 생산성 향상, 팀 간 혁신 추진 같은 영역으로 확장되고 있다. 그는 "CIO는 비즈니스를 효율적으로 성장시킬 임무가 있다. 앞으로 AI를 통해 이를 달성할 수 있을 것"이라고 자신했다.

최신 AI의 혜택을 누릴 업무 분야는 코드 생성뿐만이 아니다. 스노우플레이크의 CIO 겸 CDO인 서니 베디는 가장 큰 영향을 받을 분야로 직원 생산성을 꼽았다. 그는 미래에 모든 직원이 AI 코파일럿과 긴민히 협력해 신입 사원의 온보딩 경험을 개인화하고, 사내 커뮤니케이션을 조정하고, 혁신적인 아이디어를 시제품으로 만드는 등의 작업을 처리할 것이라고 말했다. 또한 LLM의 즉시 사용 가능한 기능을 활용하면 검색, 문서 추출, 콘텐츠 제작 및 검토, 챗봇과 같은 작업에서 타사 의존도를 줄일 수 있다고 덧붙였다.

AI가 기술 부채에 영향을 미치는 방식
향후 IT 부채를 발생시킬 가장 큰 요인이 생성형 AI 모델 자체가 아니라 이를 실제로 적용하는 방식에 있다는 의견도 제시됐다. 샘플은 "기술 부채가 발생하지 않도록 조직에서 AI를 구현하는 위치와 방법을 신중하게 고려해야 한다"라며, 기존 스택을 사용하면서 연결성을 변경하고 생성형 AI 모델을 통합하는 등 기존 기술 생태계에 AI 모델을 적용할 때 부채가 누적될 위험이 더 높다고 지적했다.

반면에 생성형 AI를 적절하게 사용하면 레거시 애플리케이션을 재정비하고 백로그 작업을 자동화해 오래된 기술 부채를 제거하는 데 도움이 될 수 있다. 하지만 CIO는 적절한 클라우드 환경과 전략 없이 섣불리 뛰어들어선 안 된다. 엔터프라이즈 관리 소프트웨어 제품군인 온베이스(OnBase)를 개발한 하이랜드(Hyland)의 CIO 스티브 와트는 "조직에서 생성형 AI를 조기에 구현하면 기존 기술 부채가 계속 증가하거나 어쩌면 만성화될 수 있다"라고 경고했다. 따라서 새로운 AI 기반 이니셔티브가 무너지지 않도록 기존 기술 부채를 해결할 계획을 세워야 한다고 그는 조언했다.

처음에는 기업이 AI와 LLM을 실험하는 과정에서 IT 부채가 증가할 수 있다. 하지만 부세는 장기적으로 LLM이 이를 줄일 수 있다고 언급하면서, 변화하는 요구 사항에 동적으로 대응하는 AI의 역량에 달려 있다고 말했다. 그는 "비즈니스 프로세스에 AI가 탑재돼 있으면 변화에 더 빠르게 적응할 수 있기에 기술 부채도 줄일 수 있다"라고 했다.

AI가 만든 코드의 품질 평가
최근 AI 페어 어시스턴트의 등장 이후 코드 이탈과 코드 재사용이 늘었다는 보고서가 발표되는 등 AI가 생성한 코드의 품질에 대해 의문이 제기되고 있다. 레드몽크의 오그래디에 따르면 AI가 생성하는 코드의 품질은 배포된 모델, 사용 사례, 개발자의 역량 등 여러 요인에 따라 달라질 수 있다. 그는 "인간 개발자와 마찬가지로 인공 시스템도 결함이 있는 코드를 출력할 수 있다. 앞으로도 그럴 터다"라고 말했다.

말라고디는 마이크로소프트 리서치가 22개 모델을 평가한 최근 연구 결과를 언급했다. 벤치마크에서 테스트했을 때 모델은 일반적으로 불안정했으며, 이는 학습 설정에 근본적인 사각지대가 있음을 시사한다. 인공 비서가 기능적인 코드를 생성할 수는 있지만, 코드 규칙의 준수는 물론 효율성, 보안, 유지 보수성 같은 다른 맥락을 고려하지 않는 경우가 많다고 보고서는 설명했다.

말라고디는 아직 개선의 여지가 많다면서 "생성형 AI는 더 많은 코드 라인을 더 빨리 생성할 수 있지만, 품질이 좋지 않으면 시간이 많이 걸리는 골칫거리가 될 수 있다"라고 말했다. 그는 AI가 생성한 코드가 깔끔한지 확인하기 위해 CIO와 CTO가 필요한 조치를 취해야 한다며 "이는 일관성 있고 의도적이며, 적응 가능하고, 책임감 있는 소프트웨어로 이어진다. 다시 말해 안전하고 유지 관리가 가능하며, 신뢰할 수 있는 소프트웨어를 만들어야 한다는 의미"라고 설명했다.

모델의 근본적인 품질 문제는 코드 출력에 악영향을 미칠 수 있다. 클라우드 기술 인텔리전스 플랫폼 스노우 소프트웨어의 CIO 알라스테어 풀리는 생성형 AI가 우수한 기술 아티팩트를 생성할 잠재력을 갖고 있지만 데이터의 품질, 모델 아키텍처, 학습 절차가 모두 수준 이하인 결과를 초래할 수도 있다고 지적했다. 그는 "부적절하게 학습된 모델이나 예기치 못한 엣지 케이스는 품질이 낮은 결과물로 이어져 운영 위험을 초래하고 시스템 안정성을 떨어뜨릴 수 있다"라고 말했다. 따라서 결과물과 품질에 대한 지속적인 검토와 검증이 필요하다.

팔로알토의 라자벨은 AI도 다른 도구와 마찬가지로 어떤 도구를 어떻게 사용하느냐에 따라 결과가 달라진다고 말했다. 적절한 AI 거버넌스가 마련돼 있지 않으면 선택한 모델이 제품의 아키텍처와 의도한 결과에 부합하지 않는 저품질 아티팩트를 생성할 수 있다는 의미다. 라자벨은 현재 만능 모델이 없기 때문에 업무에 어떤 AI를 선택하느냐가 중요하다고 덧붙였다.

잠재적인 AI 위험 요소
IT 부채와 코드 품질 외에도 생성형 AI를 배포할 때 고려해야 할 잠재적 부작용이 있다. 풀리에 따르면 데이터 프라이버시 및 보안, 알고리즘의 편향성, 일자리 대체, AI 생성 콘텐츠의 윤리적 문제 등이 이에 해당한다.

악의를 가진 개인이 생성형 AI를 어떻게 활용할 수 있을지도 우려되는 사항이다. 라자벨은 사이버 범죄자들이 이미 이 기술을 활용해 대규모 공격을 실행하고, 그럴듯한 피싱 캠페인을 만들어 허위 정보를 퍼뜨리고 있다고 지적했다. 또한 공격자는 생성형 AI 도구와 모델 자체를 표적으로 삼아 데이터 유출이나 결과물 오염을 일으킬 수 있다.

오그래디는 "생성 시스템이 공격자의 공격 속도를 가속화하고 가능하게 할 수 있다. 또한 많은 기업이 폐쇄적인 벤더 시스템에서 개인 데이터가 유출되는 상황을 우려하고 있다"라고 말했다.

AI 기술은 매우 설득력 있는 결과를 만들 수 있지만 이는 부정확성으로 가득 차 있을 수 있다. 모델 내 버그 외에도 고려해야 할 비용 측면도 있는데, 잘못된 모델을 사용하거나 소비 비용을 파악하지 못하거나 효과적으로 사용하지 않는 등 무의식적으로 또는 불필요하게 생성형 AI에 많은 비용을 지출하는 경우가 빈번히 일어날 수 있다.

페레즈는 "위험 요소 없는 AI는 없다. 기본적인 사용자부터 숙련된 엔지니어까지 누구나 그 결과를 신뢰할 수 있도록 처음부터 사람이 제어할 수 있는 수준으로 구축해야 한다"라고 말했다. 그가 해결하지 못한 또 다른 문제는 AI 개발 및 유지 보수에 대한 책임 문제다. 많은 IT 직원이 AI 모델과 알고리즘을 구현하고 학습할 시간이 부족한 상황에서 IT팀이 혁신의 수요를 따라잡아야 한다는 압박은 가중되고 있기 때문이다.