기고 | 생성형 AI가 데이터 여정을 바꾼다

아리송한 기계 데이터에서 의미를 찾아준다. 생성형 AI가 가진 잠재력 중 하나다. 그리고 이는 IT 팀의 시간과 에너지를 극적으로 줄여줄 수 있다. 운영 시스템이 생성하는 각종 데이터의 관리와 해독을 쉽게 하는 것이다.

딜로이트가 이야기한 바 있듯이, 데이터는 ‘새로운 금’이다. 혁신적인 IoT(사물 인터넷) 기기들이 하루가 멀다 하고 시장에 출시되는 듯한 오늘날, 이러한 기기가 생성하는 데이터 또한 폭발적으로 증가하고 있다. 데이터를 제대로 활용할 경우 비즈니스 운영과 IT 운영 측면에서 상당한 가치를 얻을 수 있다. 그러나 데이터가 유용해지는 과정이 문제다.

거의 누구나 주변에서 데이터를 접하고 이와 상호작용한다. 기업들이 자체 시스템에서 데이터를 활용하는 방법을 파악하게 됨에 따라 이러한 작업이 증가하고 있다. 데이터 수집은 여정의 첫 단계이고 상대적으로 간단하다. 그러나 모든 데이터를 수집하고 나면 이 데이터로 무엇을 하는가? 이 모든 것을 어떻게 이해하고 있는가? 방대한 데이터 더미에서 원하는 특정 정보를 어떻게 찾아낼 수 있을까? 

생성형 AI는 전사적으로 이러한 모든 측면을 극적으로 수월하게 만들 수 있다고 약속한다. 이 글에서는 생성형 AI가 관측 가능성, 데브옵스 및 IT 팀과 관련해 무엇을 할 수 있는가에 초점을 두고 살펴본다.

방대한 양의 미해독 데이터
딜로이트는 2025년까지 전 세계 데이터 양이 현재 대비 55제타바이트 증가한 175제타바이트에 도달할 것으로 예측했다. 이러한 압도적 수치의 상당 부분은 머신 데이터이며, 이는 IT 리더에게 상당한 골칫거리가 될 수 있다. 

안타깝게도 이러한 데이터를 파싱(parsing)하기란 수월하지 않기 때문이다. 잡지나 기사를 읽는 것과 전혀 다르다. IT 팀은 기계로부터 생성된 운영 데이터를 분석하고자 할 때 키워드, 약자, 숫자, 코드 등 많은 알 수 없는 것들에 직면한다. 때로는 어디서부터 시작해야 할 것인가를 파악하는 것조차도 까다롭다. 

담당자들은 이러한 지식 격차를 메우기 위해 구글 혹은 기타 검색 엔진을 활용할 것이다. 시간이 많이 소요될 뿐 아니라 완전히 믿을 만하지도 않다.

생성형 AI가 이러한 지식 격차를 신속히 메워준다면 어떨까? 생성형 AI는 데이터를 단순화하고 쉽게 소비할 수 있도록 함으로써 IT 전문가들의 수고를 줄일 수 있는 가능성을 제시한다.  

생성형 AI가 지식 격차를 메우는 방법
생성형 AI와 어울리는 다른 단어는 ‘간소화’일 것이다. 그러나 생성형 AI가 마법을 부리려면 환경이 조성되어야 한다. 일단 기업은 생성형 AI를 시스템 내에서 전략적으로 활용해야 한다. 고압적이거나 공포감을 주는 존재가 되어서는 안 된다. 필자는 생성형 AI를 활용하는 가장 좋은 방법은 가능한 한 간단하고 최종 사용자에게 보이지 않도록 유지하는 것이라고 본다. 

또 생성형 AI는 워크플로우에 원활히 통합될 수 있어야 한다. 생성형 AI의 목표는 추가적인 스트레스 요인이 되는 것이 아닌 수고를 줄이는 것이므로 쉽게 탐색할 수 있는 상태로 만드는 게 필수적이다. 
 
이 밖에 생성형 AI를 다룰 때는 맥락이 제공되어야 한다. 맥락이 없을 경우 AI는 쓸모가 없다. 챗GPT의 정보를 받는 것과 유사하다. 방대한 데이터에 액세스할 수 있는 것은 좋지만, 데이터를 추리고 사용자가 원하는 것을 찾을 수 있는 적절한 맥락이 없을 경우 데이터는 유용성을, 생성형 AI는 관련성을 잃을 것이다. 

관련 맥락을 통해 생성형 AI는 몇 분 만에 지식 격차를 메우고 수백 제타바이트를 몇 초 만에 추릴 수 있으며 IT 및 운영팀에게 중요한 정보를 제공할 수 있다. 

현실 세계의 생성형 AI
이미 생성형 AI가 많은 산업에 걸쳐 관측 가능성 영역에서 사용되는 경우가 늘고 있다. HIPAA를 준수해야 하는 산업인 의료 산업을 살펴보자. 민감한 정보를 처리하고 여러 서버에서 수많은 데이터를 생성하며 컴플라이언스 태그를 사용해 데이터에 주석을 달아야 한다. IT 팀은 ‘X는 GDPR에서 10.5.34에 영향을 미치고 있다’라는 태그를 보게 될 수 있다.

IT팀은 10.5.34가 무엇을 뜻하는지조차 모를 수 있다. 이는 ‘X 이벤트가 발생했으며 이 이벤트를 감지하여 충족하려는 GDPR 컴플라이언스는 Y다’라고 알려주는 생성형 AI에 의해 신속히 메워질 수 있는 지식 격차다. 이렇게 이전엔 알려지지 않았던 데이터가 사람이 읽을 수 있는 데이터로 바뀌었다. 

또 다른 사용 사례는 교통이다. 공항으로 들어오는 항공편에 대한 정보를 수집하는 애플리케이션을 실행하고 있다고 상상해본다. 이에 대한 보기는 기계로 생성한 항공편 코드 및 공항 코드를 포함하고 있을 것이다. 

이제 비행 코드가 무엇을 의미하는지 혹은 공항 코드가 무엇을 의미하는지 이해하고자 한다고 가정해보자. 일반적으로는 특정 항공편 혹은 공항 코드 조회를 위해 검색 엔진을 활용한다. 어느 도시에서 출발하는 항공편인가? 그 다음 도착지는 어디인가? 이러한 기계적 속성들은 이러한 기계 태그를 활용해 모든 머신 데이터를 수집하는 시스템을 구축하고자 하는 개발자에게는 번거로운 작업일 것이다. 

약어 및 숫자 이해는 어렵다. 생성형 AI는 이러한 약어 및 숫자를 누구나 이해 가능한 인간이 읽을 수 있는 정보로 변환해 이러한 시스템을 일반 사용자에게 더 가치 있게 만들 수 있다. 예전에는 몇 시간이 걸리는 검색 엔진, 지식 보드 혹은 저장소 작업을 필요로 했던 작업이다.

이는 이제 아주 짧은 시간 내에 생성형 AI로 해결할 수 있다. 이는 또 조직 내 복잡한 시스템에 대한 셀프 서비스 액세스를 가능케함으로써 대다수의 기업에 큰 도움이 될 수 있다. 

데이터에 대한 더욱 지능적인 접근방식
생성형 AI는 빠르게 진화하고 있으며 기업들은 여전히 이를 데이터 관리 시스템에 구현하는 방법을 배워가고 있다. 아피카(Apica) 또한 방대한 양의 데이터 관리에 드는 시간 및 에너지를 줄이고자 생성형 AI 비서를 최근 출시한 바 있다.  생성형 AI가 인간을 대체할 지는 불확실하다. 그러나 인간의 수고를 대체할 것이라는 점은 이제 분명하다. 

* Ranjan Parthasarathy는 아피카의 최고 전략 책임자(CSO)다. 이전에 그는 Logiq.zi를 설립한 바 있다. ciokr@idg.co.kr