'물밀듯이 추가되는 AI 비서'… 생성형 AI 코파일럿의 결과를 이끌어내는 법

하루가 멀다 하고 출시되는 플랫폼 코파일럿 앞에서 IT 리더는 무엇이 효과적이고 확장 가능한지 분류해야 한다. IT 리더가 발견한 효과와 주의점을 소개한다.
 

깃허브는 2021년에 코파일럿을 처음 출시했으며, 마이크로소프트는 몇 달 전 마이크로소프트365(M365) 코파일럿을 정식 출시했다. 코파일럿은 워크플로우 도구에 내장된 생성형 AI 비서를 일컫는데, 생성형 AI 기능이 작업 수행과 정보 탐색을 보조하는 방식을 드러내고자 이 용어를 자주 사용하고 있다. 

용어가 인기를 끌면서 많은 플랫폼이 내장형 AI 비서 기능을 코파일럿으로 추가하고 있다. 대표적으로 애피언(Appian) AI 코파일럿, 체크포인트 인피니티 AI 코파일럿, 크리에이티오 코파일럿, 익스트림클라우드 IQ 코파일럿, 프레쉬서비스 프레디 AI, 오픈텍스트 ALM 코파일럿, 페이저듀티 코파일럿, 플랜뷰 코파일럿, 세일즈포스 아인슈타인 코파일럿, SAP 쥴 및 태블로 등이 있다. 또한 코베오(Coveo)의 상대적 생성 답변, 퀵베이스 AI, 런치다클리의 프로덕트 익스페리멘테이션 같은 플랫폼은 코파일럿으로 브랜드화하지 않았지만 가상 비서 기능을 지원하고 있다.

많은 직원이 마이크소프트 코파일럿과 같은 AI 비서를 실험해 보길 원하지만, IT 리더는 디지털 트랜스포메이션 우선순위를 재조정하고 생성형 AI 기능으로 비즈니스 가치를 제공해야 한다는 CEO의 압박을 받는다. CIO는 또한 CISO, 법무, 인사, 비즈니스 리더와 협력해 정책에 대한 인식을 높이고 생성형 AI 위험 관리 전략을 개발해야 한다.

조직에서 어떤 코파일럿을 테스트할지, 누구에게 액세스 권한을 줄지, 실험이 비즈니스 가치를 제공하는지에 대한 판단은 IT 리더의 몫이다. 기술 플랫폼이 코파일럿 기능을 얼마나 빠르게 출시하는지 고려했을 때, 현재 작동하면서 확장 가능한 기능과 제한된 기능, 그리고 과장된 기능을 분류하는 데는 많은 시간이 걸릴 수 있다.

생산성 향상을 보여주는 코파일럿 벤치마크 결과
벤치마크에 따르면 코파일럿을 사용하는 사람들은 생산성이 향상됐으며, 절약된 시간을 더 높은 수준의 기능에 집중하는 데 사용하는 것으로 나타났다.

깃허브 설문조사 결과에 따르면 생산성이 향상됐다고 답한 개발자는 88%에 달했다. 74%는 더 만족스러운 작업에 집중하고 있다고 했으며, 87% 이상이 작업을 더 빨리 완료한다고 답했다. 한 벤치마크에서는 개발자에게 자바스크립트로 HTTP 서버를 작성하도록 요청했는데, 코파일럿을 사용한 개발자가 그렇지 않은 개발자보다 2배 이상 빠르게 작업을 완료했다고 밝혔다.

마이크로소프트의 벤치마크에서도 코파일럿 사용자의 70%가 생산성이 향상됐다고 답했다. 68%는 업무의 질이 향상됐다고 했으며, 67%는 절약한 시간을 더 중요한 업무에 집중하는 데 사용한다고 언급했다.

이 데이터가 코파일럿의 비즈니스 잠재력을 보여주긴 하지만, 사람들이 실제로 이를 어떻게 사용하는지, 어떤 기능이 비즈니스 가치를 제공하는지는 더 자세히 살펴볼 필요가 있다.

회의, 전자 메일 및 문서 요약
M365는 내장 AI 비서 기능의 도입 속도와 플랫폼의 폭넓은 사용자 기반을 고려해 코파일럿 기능을 벤치마크했을 것이다. 그렇다면 오늘날 생산성을 향상시키는 요소는 무엇일까? M365 제품군 전체에서 제공되는 요약 및 콘텐츠 변환 기능을 언급할 만하다.

드폴대학교 임원인 로만 두미악은 “마이크로소프트 팀즈에서 회의 메모, 요약, 복습을 할 수 있고, 회의 내용을 질문할 수도 있다”라고 말했다.

미션베터리너리 파트너스의 최고 디지털 및 정보 책임자인 데이비드 클라인만은 “어떤 사람들은 긴 이메일 체인으로 5단락에 달하는 내용을 보낸다. 20분 동안 이를 읽을 것인가, 아니면 요약본을 읽을 것인가? 마이크로소프트 아웃룩은 이메일 요약 기능을 꽤 잘 수행하지만, 이를 사용하려면 웹 버전이나 아웃룩 데스크톱의 베타 버전을 사용해야 한다”라고 언급했다.

한편 다이내믹 솔루션 컨설팅의 수석 솔루션 아키텍트인 키바 폴크는 “마이크로소프트 코파일럿은 팀즈 회의를 위한 요약 생성에 탁월하고 효율적인 이메일 구성을 지원하며 MS 워드 파일을 프레젠테이션으로 변환해 준다. 또한 사용자가 데이터에서 시각화 및 예측 모델을 만들 수 있어 엑셀 데이터 분석을 간소화할 수 있다”라고 설명했다.

두미악은 “엑셀에서 마이크로소프트 코파일럿에게 표 요약과 차트 제작을 요청하면 명령 생성 순서를 배울 필요 없이 갑자기 피벗 테이블이 만들어진다”라고 말했다. 하지만 엑셀용 코파일럿이 작동하려면 데이터가 테이블에 있어야 한다는 등의 몇몇 제한도 있다. 이런 한계로 온전한 기능이 아직 제공되지 않는다는 의견도 제시됐다.

클라인만은 “마이크로소프트는 M365 코파일럿이 정식 버전이라고 했지만, 웹사이트에서 광고하는 기능은 베타 버전인 듯 보이며, 실제로 아직 제공하지 않는 기능도 있다. 사용자가 회의를 팔로우하면 코파일럿이 참여해 메모를 작성해 준다는 광고 속 기능이 대표적이다”라고 말했다.

클라인만은 추가된 워크플로우 기능을 통해 사람들이 요약하고 싶은 회의에 가상으로 더 쉽게 참석할 수 있기를 경영진도 바랄 것이라고 언급했다. 다만 현재 작동하는 기능과 어떤 사용자에게 이점이 있는지가 모호하기 때문에 일부 CIO는 M365에 코파일럿 라이선스 추가가 그만한 가치가 있는지 의문을 제기하기도 했다.

마이크로소프트는 이제 AI 기능과 워크플로우 통합에 막대한 투자를 하고 있다. 따라서 IT 리더는 향상된 기능을 기대하고 계획해야 한다. IT 리더가 답해야 할 중요한 질문은 코파일럿이 워크플로우에 미치는 영향을 어디에서 실험하고 학습할 수 있는가다. CIO는 M365 사용이 잦은 부서와 직원을 찾아 코파일럿의 기능과 이점에 대해 학습하고, 사용하고, 보고할 기회를 마련해야 한다.

소프트웨어 개발 코파일럿의 이점을 누리는 대상
M365 코파일럿 사용의 이점으로는 현실적인 기대치를 설정할 수 있다는 점, 그 결과 생산성이 향상되는지 평가할 수 있다는 점 등이 꼽힌다. 하지만 스프트웨어 개발자에게 코파일럿 및 기타 생성형 AI 기능의 이점은 다를 수 있다. 이들은 누가 코파일럿을 사용하는지 알 수 있다는 점이나 코드 결과를 검증하는 비용 대비 편익을 이점으로 꼽을 가능성이 높다. 

IT 리더는 여러 세대의 AI 도구가 소프트웨어 개발 수명주기를 어떻게 변화시키는지 탐구하고 있다. 소프트웨어 개발이 제조 공정에 가까워지고 있기 때문에 많은 이들이 AI 에이전트로서의 개발자의 새 역할을 준비하고 있다. 오늘날 결과를 제공하는 주요 AI 비서 기능에는 코드 생성, 테스트 사례 및 문서 생성이 있다.

깃허브는 연구를 통해 코파일럿이 제안하는 코드를 수락하는 사용자가 약 30%이며 경험이 적은 개발자가 AI를 사용하면 더 큰 이점을 얻을 수 있다고 밝혔다. 연구에 따르면 개발자는 코파일럿을 사용할 때 더 빠르고 만족스러운 작업을 수행할 수 있다.

줌인포 CTO인 알리 다스단은 “불과 3개월 만에 거의 모든 개인 개발자가 깃허브 코파일럿에 참여했다. 코파일럿이 제안한 수만 줄의 코드가 26% 이상 수용되면서 매우 빠른 성공을 거뒀다”라고 설명했다.

깃허브 코파일럿 외에도 생성형 AI 코딩 도구로는 아마존 클라우드위스퍼러, 식(Seek), 탭나인(Tabnine) 등이 있다.

앤서로켓의 공동 창립자이자 CTO인 마이크 핀리는 생성형 AI 사용의 매력을 언급하는 한편 여전히 코드를 검토해야 하는 현실을 언급했다. 그는 “개발자 20명으로 구성된 팀을 이끌며 정기적으로 생성형 AI를 코딩 코파일럿으로 활용하고 있는데, 각 팀의 생산성이 적게는 20%에서 많게는 100%까지 향상됐다. 다음 몇 줄에 무엇을 할지 코멘트를 남기면 AI가 이를 채워주는 식이다”라고 말했다. 

CI&T의 엔지니어링 및 디지털 솔루션 책임자인 루이스 리베이로는 “많은 양의 코드를 생산하고 있기 때문에 효율성을 높이고 솔루션 개발 속도를 개선하는 방법을 찾는 게 매우 중요하다. 우리 개발자들은 탭나인 도구의 한 줄 코딩 제안 중 90%를 수용해 프로젝트 전반의 생산성을 약 11% 향상했다”라고 설명했다.

하지만 일부 CIO는 코파일럿 코드를 프롬프트하고 검증하는 데 기술이 필요하기 때문에 주니어 개발자에게 액세스 권한을 부여할 만한 가치가 적다고 말했다. 그 뿐만 아니라 IT 리더는 각 애플리케이션의 사용, 보안 및 위험을 고려해 어떤 개발팀이 AI 코파일럿을 실험할지 결정해야 할 수도 있다.

컨트랙트팟AI의 사장 겸 CTO인 아누라그 말릭은 “CTO가 생성형 AI 코파일럿 도구를 제대로 사용하려면 최적의 결과를 위해 AI 지원을 활용하는 것과 인간의 감독 및 제어 사이에서 적절한 균형을 찾아야 한다”라고 언급했다.

코파일럿으로 성과를 내려면 IT 리더는 누가 실험해야 할지를 비롯해 어떤 비즈니스 기능, 어떤 규정 준수 고려 사항, 어떤 AI 세대 도구를 활용해야 할지 검토해야 한다. 코파일럿 기술 역량이 빠르게 변화하고 있기 때문에 리더는 자주 지표를 파악하고 전략을 평가해야 한다.

* Isaac Sacolick는 애자일, 데브옵스, 데이터 과학을 다룬 ‘Driving Digital: The Leader’s Guide to Business Transformation through Technology’의 저자다. ciokr@idg.co.kr