Offcanvas

AI / CIO / 개발자 / 통신|네트워크

일문일답 | “네트워크 업계도 생성형 AI로 변화 중··· 모든 제품에 AI 넣는다” 시스코 CIO 플레처 프레빈

2023.11.06 Lucas Mearian  |  Computerworld
오픈AI의 챗GPT가 공개된 지 1년도 안 된 상황에서 시스코 시스템스(Cisco Systems, 시스코)SMS 전 제품 포트폴리오와 내부 백엔드 시스템에 생성형 AI 결합하는 프로세스에 착수했다. 네트워크 기능 자동화, 보안 모니터링, 새로운 소프트웨어 제품 개발에 이르기까지 비즈니스의 거의 모든 영역에서 생성형 AI를 활용한다는 계획이다. 시스코가 어떤 고민을 거치며 AI를 개발 및 도입하고 있는지 시스코 CIO 플레처 프레빈(Fletcher Previn)에게 들어보았다.
 
플레처 프레빈 ⓒ 시스코

플레처 프레빈은 2022년 4월 시스코의 CIO로 취임했다. 이전에는 IBM에서 15년 동안 근무했으며, 그중 마지막 4년은 CIO로 근무했다. 그가 시스코의 CIO로 합류한 뒤 업계에서는 마침 생성형 AI 열풍이 불기 시작했다. 시스코도 자연스레 생성형 AI 전략을 준비해야 했고, 프레빈은 도메인별 AI 애플리케이션을 위한 대규모 언어 모델(LLM) 플랫폼을 만들고 있다. 동시에 이와 관련된 부족한 IT 인력을 관리하는 문제를 마주쳤다. 다음 인터뷰를 통해 시스코의 성과와 방향성을 살펴보자.

Q. 현재 시스코는 생성형 AI를 어떻게 활용하고 있으며 어떤 도전 과제를 마주했는가? 
A. 지금은 흥미로운 시기다. 챗GPT가 업계에 본격 등장한 지 10~11개월이 지난 지금도 많은 사람이 여전히 놀라움과 두려움을 동시에 느끼고 있다. 이런 시기에 IT 업계에 종사하는 것이 매우 흥미롭다. 

현재 우리는 시스코 자신, 제품, 고객 이렇게 세 가지 범주로 나눠 AI를 어떻게 활용할 것인가 고민하고 있다. 시스코 자신을 위해 AI를 활용하는 방법에는 많은 것이 있다. 나는 이제 시스코에 입사한 지 1년 정도 되었으며 IT로 문화를 변화하는 방법을 줄곧 생각해 왔다. 또 직원 역량을 강화하는 도구를 IT를 바라보고 있다. AI는 이런 영역에서 도움을 줄 것이다.

시스코의 핵심 비즈니스인 네트워크 기술에 대해 생각해 보자면, 데이터와 정보가 쏟아져 나오는데 이를 적시에 파악하고, 이해하고, 이를 기반으로 조치를 취할 때 AI가 유용하게 활용될 수 있다. 

네트워크 모니터링에 대해 생각해 보면, AI 알고리즘을 사용하여 실시간으로 방대한 양의 데이터를 분석하여 이상 징후를 감지하고 성능 문제를 감지하거나 문제를 예측할 수 있다. 예측 유지 관리와 AI를 사용하여 네트워크 장애 또는 성능 문제가 발생할 시점을 감지하고 이를 방지하기 위한 예방적 유지 관리를 수행하는 것, 그리고 구성 관리, 디바이스 프로비저닝, 정책 시행과 같은 일상적인 네트워크 관리 작업을 자동화하여 일반적으로 수작업을 줄일 수 있다. 이는 엄청난 능력이다.

Q. AI와 관련하여 특별히 신경쓰는 요소는 무엇인가?
A. 모든 과정에서 사람이 검토하려고 노력한다. 머신러닝이 느리고 어려웠던 이유는 데이터 세트를 가져와서 큐레이션 한 다음 그 데이터를 학습시켜야 하고, 질문에 대한 답이 데이터에 존재해야 했기 때문이다. 하지만 데이터를 추론할 수 있다면 상황이 달라진다. 즉 인간의 읽기 및 쓰기 방식을 구현할 수 있으면 이전에 답이 없던 질문에 답할 수 있다.

하지만 이러한 답이 정확하고 우리의 가치와 비즈니스 모델에 부합하는지 확인하기 위해서는 사람이 개입해야 한다. 따라서 책임감 있고 윤리적인 비즈니스 정책이 필요하다.

Q. 지금까지 개발한 제품 중 생성형 AI가 내장된 시스코 제품은 몇 개나 되나?
A. 현재 시스코 이사회에 제출할 보고서를 작성 중인데 벌써 10페이지가 넘는다. 다시 말해 시스코 제품 전체에 AI가 탑재될 예정이란 뜻이다. 이미 그 작업이 진행되고 있다.

시스코 전체 포트폴리오에 걸쳐 AI가 도입되고 있다. 오히려 어떤 제품에 AI를 사용하지 않는지 답하는 게 더 쉬울 것 같다. 협업 공간, 보안 공간, 네트워킹, 라우팅 및 스위칭 공간 등 모든 제품에 AI가 적용되고 있다. 보안 포트폴리오의 경우 AI로 업무 간소화, 속도 향상, 작업 자동화 등을 경험할 것이다. 

물론 쉽지 않은 작업이긴 하다. 현재 시스코 솔루션 중에서 사우전드아이즈(ThousandEyes), 엄블렐라(Umbrella), 듀오 보안 액세스 서비스 에지(Duo SASE) SD-WAN 같은 솔루션에 AI를 적용하기 좋다고 본다. 트래픽은 어떻게 이동하는지? 트래픽이 라우팅되는 방식에 어떤 결정이 내려지고 있는지? 어떤 이상 징후가 나타나고 있는지? 어디에서 문제가 발생하고 있는지? 악의적인 트래픽은 어디에 있는지? 여기서 변경을 하면 다른 모든 곳으로 전파되어 원하는 결과를 얻기 위해 다른 여러 도구에 로그인할 필요가 없는지? 같은 질문의 대답을 AI로 얻어낼 수 있다. 

그 외에도 시스코 포트폴리오의 모든 영역에 매우 빠르게 적용되고 있다.

Q. 보안은 어떤가? 네트워크 보안에 AI가 유용하다고 생각하는가? 
A. 보안은 위협 탐지, 네트워크 패턴 분석, 비정상적인 행동 식별 및 강조 표시, 보안 위협의 실시간 탐지 등 흥미로운 방식으로 AI를 활용할 수 있는 분야다.

시스코 같은 조직에서 특히 AI를 사용하여 트래픽 흐름을 최적화하고 트래픽 경로를 동적으로 조정할 수 있다. 또한 지연 시간을 줄이고 성능을 개선할 수도 있다. AI 기반 네트워크 관리는 이러한 IT 시스템과 네트워크 오케스트레이션 시스템을 통합하여 AI의 인텔리전스로 강화된 원활하고 통합된 환경을 만들 수 있다.

그런 다음 사우전드아이즈(ThousandEyes) 플랫폼, 시스코 보안 네트워크 분석, 카탈리스트 스마트 센터 알림(Catalyst Smart Center Alerts), 넥서스 대시보드(Nexus Dashboards) 등 일부 제품도 AI와 결합될 수 있다. 모든 원격 분석을 한데 모아 분석하고, 이해하고, 실시간으로 조치를 취하고, 향후 이러한 조치 중 일부를 자동화하는 식이다. 이것이 바로 AI 기반 네트워크 관리의 궁극적 목표다.

Q. AI는 직원들에게 어떤 효율성을 가져다주었나? 
A. 대규모 조직에서 업무를 수행하는 과정에서 많은 비효율성이 발생한다. 이때 AI를 이용해 특정 작업을 자동화하고, 가치가 높은 정보를 빠르게 파악 및 요약하며 업무 효율성을 높일 수 있다. 

웹엑스(Webex) 플랫폼은 이미 AI를 활용하고 있다. 예를 들어, AI는 회의를 요약하고, 회의에서 중요한 순간을 강조 표시하고, 말과 글뿐만 아니라 바디랭귀지를 분석하고 있다. 덕분에 회의에서 일어나는 전반적인 상황을 파악할 수 있다. 회의에서 어떤 참석자가 일어나서 나갔는지, 회의에 참석하지 못한 경우 회의에서 무슨 일이 일어났고 어떤 결정이 내려졌는지에 대한 간략한 요약을 AI가 보낼 수도 있다.

LLM은 이미 많이 있다. 이제 RMM(Real-time Media Model, 실시간 미디어 모델)이 필요한 때다. 그래서 시스코는 RMM 기반으로 신체 언어와 비언어적 신호를 이해하고 요약하는 기술에 투자하고 있다.

재택근무 문화가 존재하는 곳에서 영상 회의가 필요하다. 하지만 영상 회의 경험은 아직 개선돼야 할 여지가 많다. 대면 회의보다 부족한 부분이 있다. 시스코는 재택 근무자가 사무실에 없어도 불이익받지 않는 기술 및 혁신을 연구하고 있다. 영상 회의 관련 기술에서도 AI가 더 활용될 것으로 보고 있다. 

소음 제거와 가상 배경과 같은 이미 익숙한 기능은 물론 시스코는 회의 요약, 의사 결정 및 실행 항목, 비언어적 바디랭귀지 인식 기술을 위해 AI 기술을 활용하고 있다. 

Q. 소프트웨어 개발에는 AI를 어떻게 활용하고 있나? 
A. 소프트웨어 개발의 경우, AI에 큰 영향이 없을 것으로 생각했다. 전통적으로 알고리즘을 빠르게 만드는 방법은 찾기 어려웠고 소프트웨어 개발 시간은 단축할 수 없다는 의견이 많았기 때문이다. 하지만 최근의 생성형 AI 기술은 소프트웨어 개발에 정말 광범위하게 사용된다. 그래서 흥미롭다. 

과거에는 테스트 및 릴리스 자동화에 AI 기술이 많이 도입됐다. 하지만 깃허브 코파일럿 기술이 등장한 이후 개발자와 협업하듯이 AI가 코드를 직접 작성해 주는 경우가 늘고 있다. 

올해 말에는 깃허브 코파일럿을 통해 읽는 코드의 40~60%가 어떤 식으로든 AI의 도움을 받게 될 것으로 예상된다. 앞으로 소프트웨어 개발 파이프라인에 어떤 영향이 미칠지, AI의 도움을 받은 부분을 어떻게 적절하고 책임감 있고 윤리적으로 문서화할 수 있을지 논의해야 할 것 같다. 

Q. AI로 코드를 제작할 때 특정 오류나 편견, 심지어 멀웨어가 유입될 수 있다는 우려가 있다. 향후 코드 개발의 상당 부분이 AI로 보강될 때 어떤 위험이 있다고 보고 있는가?
A. 나는 그 두 가지가 사실이라고 생각하지 않는다. 깃허브 코파일럿을 거친 코드는 제어되지 않은 채로 최적화 없이 보강될 수 있다. 따라서 코드가 게시되기 전에 두 명의 사람이 코드를 검토하거나, AI가 생성한 코드에 주석을 달고 태그를 지정하도록 하는 등 AI가 생성한 코드와 소프트웨어 개발을 책임지기 위한 조치를 취할 수 있다. 시스코는 실제로 그러한 일을 하고 있다.

Q. 생성형 AI가 대규모 언어 모델을 학습하기 위해 지적 재산을 훔치다 적발된 사실은 어떻게 생각하는가? 바이든 대통령은 최근 행정명령을 발표하고 AI가 만든 콘텐츠에 구분하는 시스템 개발을 촉구하기도 했다. 이와 관련된 문제에 직면한 적이 있는가? 있다면 어떻게 대처했나? 
A. 인터넷 전체 정보를 가져와 대규모 언어 모델을 만드는 곳에서는 즉각적인 문제가 생길 수 있다. 가령 인터넷 정보를 무작위로 가져오는 과정에서 특정 예술가의 지적재산권이 보상받을 수 있는가에 대한 문제가 제기될 수 있다. 이 경우 원 저작자가 보상받아야 할까? 아니면 AI를 사용하여 원본 콘텐츠를 기반으로 새로운 것을 만들어 낸 사람이 보상받아야 할까? 이러한 질문에 대한 답은 아직 명확하지 않다. 따라서 어떤 면에서는 미지의 영역이다. 어느 지점에서 어떤 것이 독창적인 창작물이 되고 어느 지점에서 다른 사람의 예술을 재사용하는 것이 될지 향후 더 논의해야 할 것 같다. 

다시 말해 이 문제는 우리 사회가 함께 고민해야 한다. 가령 현실에선 특정 음악을 샘플로 사용하는 문제가 발생하는데, 법원에서 늘 같은 판단을 내려주지 않았다. 다른 사람의 노래에서 무언가를 샘플링하여 새로운 노래를 만든 경우, 그 새로운 노래의 주제가 도용이 되려면 얼마나 많은 부분이 새로운 것으로 간주되어야 할까? AI에서도 비슷한 상황이 벌어질 것이다.

대규모 언어 모델은 언어를 숙달하고, 요약하고, 글을 잘 쓰는 데 매우 유용하며, 사용자가 쓴 단어를 보고 다음 단어가 무엇인지 예측할 수 있다. 하지만 산업이나 기업 정보를 활용하고 싶을 때는 그다지 유용하지 않다.

예를 들어, 헬프데스크 문서와 기술 지원 문서, 제품 회로도, 내부 사항 등 시스코 제품에 대한 모든 것을 아는 AI 기술을 만들자고 치자. 이러한 틈새시장의 질문에 답하기 위한 자체적인 소규모 모델을 만들 수 있다. 그래서 많은 사람들이 이러한 모델을 만들기 위해 자체 AI 클러스터를 구축하려고 하고 있다.

시스코 IT 부서에서는 시스코의 이더넷 패브릭을 사용하여 모든 것을 연결하는 자체 GPU-AI 클러스터를 구축하는 작업을 하고 있다. 이것이 바로 우리가 가야 할 길이라고 생각한다. AI 클러스터를 구축하려면 두 가지가 필요하다. GPU와 지연 시간이 짧은 고속 연결 환경이다. 시스코의 이더넷 프로젝트는 이 두 가지를 모두 사용한다. 

Q. 도메인별 LLM은 어느 정도 진행되었나? 
A. LLM 자체는 학습시킬 수는 없지만 데이터 풀을 조사하고 요약하도록 할 수는 있다. 따라서 인트라넷이나 헬프데스크 문서의 최적화와 같은 작업에 사용할 수 있으며, 오픈AI 모델이 작성한 문서를 조사하여 사람들이 가장 많이 물어볼 만한 질문을 제시하고 그 결과를 바탕으로 검색을 최적화하도록 할 수 있다.

예를 들어 헬프데스크 문서를 보고 '이 문서가 답할 가능성이 높은 질문은 다음과 같습니다'라고 말한 다음 검색 엔진을 조정하여 누군가 이러한 질문을 하면 해당 답변이 표시되도록 만들 수 있다. 업계에서 자주 활용하는 사례다.

매우 기술 관련 질문도 처리할 수 있다. 이를테면 여러 시스코 카탈리스트(Cisco Catalyst)의 PoE(Power-Over-Ethernet) 중 가격은 어떻게 다른지, 그리고 이를 내부 제품, 헬프 데스크 및 고객 서비스 데이터에 연결하여 자연어로 질문하고 답변을 받게 처리하는 것이다. 이러한 작업은 자체 클러스터 구축과 마찬가지로 이미 진행되고 있다. 

Q. LLM을 만들고 훈련하는 데는 비용이 많이 든다. 5백만 달러넘는 비용이 투입되는 이야기도 있다. LLM 개발에 가치가 있는가?
A. 가치가 충분히 있다. 보안 때문에 개발하기도 했다. 모델을 학습시키는 데 필요한 비용과 에너지는 상당하다. 하지만 학습이 끝나면 그 결과물은 우리 자체 인프라에 들어간다. 따라서 외부 공격자와 격리할 수 있는 환경을 구축할 수 있다. 격리된 데이터는 보호해야 할 기업의 핵심 데이터가 될 것이다. 공격자 입장에서는 ‘기업은 6개월이 넘는 시간을 투자하고 수백만 달러를 들여 자체 클러스터를 구축하고 훈련하고 모델을 만들지 않을 것’이라고 생각할 것이다. ‘그냥 훔치면 된다’라고 여길 수 있다. 

데이터가 엄청나게 많은 것은 아니다. 50GB 정도다. 에너지 사용량 측면에서 보면, 예전에는 고밀도 데이터 센터를 구축할 때 랙 하나에 10kw 정도만 사용했고, 하이엔드급 고밀도 컴퓨팅 클러스터의 경우 30~40kw를 사용하기도 했다. AI 클러스터는 랙당 100kw 정도가 필요하다. 어쨌든 이러한 클러스터를 구축하려면 상당한 전력과 인프라가 필요하다.

Q. RAG(Retrieval Augmentation Generation)란 무엇인가? 중요한 개념인가? 
A. RAG는 미리 학습된 LLM(대규모 언어 모델) 및 자체 데이터를 사용하여 응답을 생성하는 패턴이다. 콜센터에서 주제 검색 기능을 탑재하겠다고 가정해 보자. 콜센터에서 주고받는 자연어를 이해하는 LLM에 직원이 아는 특정 제품 정보가 결합된다면 업무에 충분히 도움을 줄 것이다. 

Q. LLM, 프롬프트 엔지니어링 및 AI에 대한 일반적인 지식을 교육하기 위한 AI 모델 생성 관련 인재가 부족하다. 시스코는 인력 교육을 어떻게 진행하고 있나?
모든 직원은 책임 있는 AI 교육을 의무적으로 이수해야 한다. 새로운 기술이기 때문에 이제 막 다듬어지고 있는 기술을 모두 갖춘 직원은 많지 않을 것이다. 따라서 이러한 인재를 많이 키워야 한다. 그러기 위해서는 경험을 통해 배우는 것이 가장 좋다.

기업은 이러한 도구를 안전하게 사용할 수 있도록 하고 실험할 수 있는 환경을 제공해야 한다. 여기에는 소프트웨어뿐만 아니라 물리적 환경도 포함된다. 엔지니어가 데이터 센터에서 이 기술이 실제로 어떻게 작동하는지 이해할 수 있도록 이러한 환경을 구축해야 한다. 그런 다음 제품 개발팀, 소프트웨어 개발자 및 회사 내 다른 사람들이 이러한 클러스터와 클러스터에서 실행될 LLM을 사용할 수 있도록 하여 신속한 엔지니어링뿐만 아니라 소프트웨어 개발 및 제품에 AI 기능을 내장하는 실제 경험을 얻을 수 있도록 해야 한다. 새로운 기술이기 때문에 배우는데 시간은 어느 정도 걸릴 것이다. 

아마도 3분의 1은 어려움을 겪고, 3분의 1은 탁월하며, 3분의 1은 교육과 도움이 필요할 것이다. 

Q. 시스코는 내부 교육을 어떻게 진행나? 영상 강의를 따로 제공했나? 
A. 그렇다. 저희는 사람들이 현업에서 실험하고 배울 수 있는 일종의 샌드박스를 만들었다. 무언가를 배우는 가장 좋은 방법은 어려운 문제를 해결하는 것이다. 해결하려는 실제 문제가 있으면 실제 경험을 쌓는 데 집중하고 노력을 좁힐 수 있다.

실제 문제를 하고 비즈니스 성과를 내려고 노력한다. 또한 수년간 AI를 사용해 본 경험이 있는 시스코의 제품 팀과도 협력하기도 했다. 시스코는 AI를 배경 소음 제거, 발표 화자 파악, 적합한 카메라 각도 파악, 회의 요약 등에 활용하고 있다. 이와 관련된 기술을 다루는 것이다. 

그래서 우리는 서로에게서 배운다. 그리고 데이터, 디자인, 사용자 경험, AI, 엔터프라이즈 아키텍처 등 항상 더 많은 인력이 필요한 특정 직무들이 있다. 이러한 분야는 항상 수요가 높고 모든 사람이 경험 주도의 IT, 경험 주도의 제품을 개발하고 모든 제품에서 단일 사용자 경험을 가질 수 있게 돕는다. 

AI는 오래전 이미 등장했다. 챗GPT는 왜 이렇게 빨리 인기를 끌었을까? API 대신 매우 간단한 인터페이스를 만들었기 때문이다. 웹사이트로 이동하여 채팅을 할 수 있는 셈이다.
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.