벤더 기고 | 로그 애널리틱스 플랫폼 선택 시 고려할 핵심 기능

* 본 기고문은 벤더가 작성한 것으로 네트워크월드 편집진 수정을 거쳤다. 그러나 벤더의 시각이 일부 남아 있을 수 있다.

“삶은 매우 간단하지만 우리의 고집 때문에 복잡해진다.” 공자의 격언은 로그 데이터에서 유용한 정보를 찾으려 시도해 본 적이 있는 이에게도 고스란히 적용된다.



로그 분석이 무엇인지에 관한 일반적 정의가 있지만 이해하기 쉽게 설명하자면 ‘로그 항목을 인간 친화적인 방식으로 표시하고 그 정보를 토대로 비즈니스 결정을 내리는 것’이라 할 수 있다.

1GB의 로그 데이터는 약 70만 페이지 분량의 텍스트와 맞먹는다. 이를 수동 방식으로 검토하면 약 3년 또는 전쟁과 평화(War and Peace)를 571번 연속해서 읽는 것과 같은 시간이 소요된다(무엇이 더 최악인지는 각자의 판단에 맡긴다).

소규모 조직에서도 하루에 수 기가의 로그 데이터가 생성된다는 점을 고려한다면 재앙에 가까운 작업일 수 있다고 볼 수 있다.

즉 자동화된 도움 없이 모든 데이터를 파악하려 시도하면 정보 과부하, 시간 낭비, 심각한 직원 사기 저하가 발생할 것이며, 임원들은 자체 구축하거나 제 3자에게 구매한 전용 로그 분석 플랫폼에 투자하는 것을 신중하게 고려해야 한다.

따라서 해결책은 간단해 보인다. 자동화된 분석 플랫폼을 찾거나 구축하면 되지 않을까? 맞는 말일 수 있지만 주의할 부분이 있다. 잘못된 플랫폼을 도입하면 문제가 악화될 수 있다. 직관적이지 못한 시각화와 통계 보기 때문에 몇 시간 동안 화면을 들여다 보다가 머리만 긁적일 수 있다.

로그 분석 플랫폼은 무수히 많은 로그 항목을 판독 가능하고 관련성 있는 그룹들로 분류하고 관련성이 없는 데이터를 무시함으로써 정보 과부하 문제를 해결해 준다. 분석 플랫폼을 구축하거나 기성 솔루션을 선택할 때 고려할 기능을 정리했다.

* 광범위한 콜렉션 – 다양한 운영체제, 장치 유형, 언어로부터 발생하는 로그를 포함해 필요한 모든 로그가 지원되는지 확인한다.

* 취합(Aggregation) – 로그 항목들은 출처에 따라 다양한 방식으로 구조화/기록된다. 취합은 수행한 동작이나 이를 수행하는 사용자 등 보편적인 특성 또는 패턴에 따라 유사한 로그를 상호 연계시킴으로써 이런 혼란을 정리하는 작업이다. 취합 기능은 지속적인 참조를 위해 사용자 정의 그룹에 로그 저장하기 등 일정 수준의 사용자 정의가 가능해야 한다.

* 검색 – 유용한 검색 기능이란, 일치하는 로그 데이터를 반환하는 단순한 텍스트 상자 이상이어야 한다. 쿼리(Query)가 검색 별 데이터 결과를 제공할 뿐 아니라 사용자가 로그에서 직전과 직후에 발생한 일 등 결과의 맥락에 손쉽게 접근할 수 있도록 하는 것이 중요하다.

* 경보 – 시스템은 사용자에게 반복적인 오류 발생, 시스템 이상, 일반적인 이벤트의 부재 등에 관해 알려 주어야 한다. 경보 설정을 다양한 제공 방법, 시간 간격, 우선순위로 조정할 수 있는지 확인한다.

* 자동화 – 대부분의 로그 분석 시스템에서 상기 기능들은 사용자의 수동 작업과 프로그래밍에 좌우된다. 하지만 로그 데이터의 규모와 복잡성이 증가하면서 대부분의 고급 분석 플랫폼은 머신러닝 기능성을 도입하게 됐다. 생산적인 플랫폼이라면 다음의 기능을 갖추어야 한다.

1. 지능적인 기업의 정기 로그 흐름 학습
2. 해당 정보를 이용해 실시간으로 발생하는 이상 및 오류 자동 감지
3. 독립적인 경보 생성
4. 개발자가 확인된 문제를 해결할 수 있는 청사진 제공
5. 직관적인 시각화로 데이터 트렌드 제공

기술은 매년 크게 바뀔 수 있지만 시간은 여전히 돈이다. 버그와 시스템 이벤트를 수동으로 추적하느라 소요될 시간을 단축시키면 혁신적인 기능을 개발할 시간이 많아져 사용자가 행복해진다. 로그 분석의 다양성과 광범위한 용도를 감안하면 결코 간과할 수 없는 부분이다.

데브옵스와 IT 외의 조력자는?
유연한 로그 분석 시스템은 조직 내 여러 부서가 이용 가능한 하나의 분석 출처로 간주될 수 있다. 다음의 3가지 예를 살펴보자.

• 보안 엔지니어는 분석 플랫폼의 검색 툴을 활용하여 의심되는 행위 또는 유출을 찾아낼 수 있다. 이상적인 플랫폼은 반복 사용을 위해 검색 쿼리를 저장하며 정기적인 보안 점검을 위해 검색을 자동화해야 한다.

• 준수성 – 로그 분석은 제품이 일련의 준수성 법률을 준수하도록 하는데 도움이 될 수 있으며 강력한 자동화 구성요소는 감사 및 검토 과정을 가속화할 수 있다.

• 마케팅 및 UX – 구글 애낼리틱스(Google Analytics)와 허브스팟(HubSpot) 등의 툴은 일반적으로 대체되기 어려운 존재로 간주된다. 사용량 및 참여 분석 작업 때문이다. 하지만 로그 분석은 사용자 트래픽, 소개, 사용 시간, 클릭율 등 동일한 필수 데이터를 제공할 수 있다.

부서에 따라서는 개발 전용 툴로 보인다는 점에서 거부감을 가질 수 있다. 그러나 임원들은 하나의 다용도 분석 플랫폼만을 구매하면 된다는 이야기에 귀를 기울일 수 있다. 이를 통해 여러 팀을 위해 일련의 분석 소프트웨어 구매 비용을 줄일 수 있기 때문이다.

구축 또는 구매?
시장에는 가격, 품질, 응용 가능성이 다양한 기성 로그 분석 시스템이 넘쳐난다. 특히, 개발 배경지식이 없는 부서에서 플랫폼을 사용할 계획이라면 각각이 제공하는 기술 지원의 수준을 고려해야 한다.

자체적인 개발을 위해 필요한 시간, 인적 자원, 재무 자원을 가진 대형 조직의 경우 구축-측정-맞춤화를 검토할 수 있다. 그러나 인하우스 소프트웨어를 처음으로 구축하는 경우 아래의 숫자를 확인할 필요가 있다. 데이터 분석 기업 소프트웨어 산업은 향후 2년 이내에 매출이 약 2,000억 달러에 달할 것이다. 자체 개발이 아닌 상용 소프트웨어를 (배타적이지는 않지만) 일반적으로 선호하게 될 것이라는 점이다.

조직의 모든 사람들이 로그 분석에 익숙하지는 않지만 이미 분석의 필요성과 목표에 대해서는 잘 알고 있을 것이다다. 빅데이터의 시대에 로그 분석이란, 광범위한 비즈니스적 니즈의 또 다른 모습일 따름이다. 즉, 제품을 지속적으로 개선하기 위해서는 기술 환경에 의해 생성되는 엄청난 양의 정보를 받아들이고 이를 필수적인 정보로 농축해야 한다.

시작에서와 같이 동양의 유명 인물 중 한 사람의 말로 끝맺음 하도록 하겠다. “매일 늘리는 것이 아니라 줄이는 것이 중요하다. 불필요한 것들을 없애라.” - 이소룡.

* Ariel Assaraf는 보안분석 기업 코랄로직스(Coralogix)의 공동 설립자이자 CPO다. ciokr@idg.co.kr