기고 | ‘늪에 빠진 산업 데이터를 구하라’··· 데이터 히스토리언에 거는 기대

산업 조직들이 보유한 수십 년 묵은 방대한 데이터는 양날의 검과 같다. 제조 공장에서 정제 공장에 이르기까지 산업 조직들은 그동안 신기술이 나오는 족족 채택하곤 했다. 구내에 설치된 구형 기술 위에 스마트 센서, 사물인터넷(IoT) 연결 장치, 클라우드, 산업 AI 등의 신기술을 쌓은 것이다. 

그 결과 쌓인 기술의 데이터 생성 방식이 서로 판이하다. 데이터의 전송, 저장 및 확보 방식에서부터 데이터가 상주하는 네트워크 계층, 데이터의 형식 설정 및 접근 방식(그리고 누가 데이터 접근권을 갖는지)에 대한 기본 문제에 이르기까지 이 모든 것은 데이터의 출처에 따라 크게 다르다. 

쇠퇴하는 분야 지식에 대한 의존도로 인해 산업 ‘두뇌 유출’ 발생
이 문제는 그동안 산업 부분에서 서서히 그러나 꾸준히 일어난 ‘두뇌 유출’(brain drain)에 의해 더욱 악화됐다. 산업 두뇌 유출은 숙련된 직원이나 분야 전문가들이 은퇴나 기술적 또는 사회적 변화로 인해 단순히 퇴사하는 것에 그치지 않고 산업 전체를 떠날 때 일어난다.

산업 데이터가 이 정도로 다양하고 복잡하면 데이터의 저장 장소와, 형식, 접근 방법 등 기본적인 내용을 파악하는 데만도 고도의 전문 지식과 기술을 갖춘 인력이 필요하다. 많은 조직들이 그동안 근근히 버텨온 것도 조직 전체가 기댈 수 있는 전문 지식을 갖춘 장기 근속 베테랑 근로자들이 있었기 때문이었다. 

그러나 엔지니어들이 나이가 들면서 점점 물러나고 그 자리를 대신 차지하게 된 젊은 직원들은 그러한 전문 지식이 없으며 이들이 훈련을 받은 기술과 개념도 완전히 상이하다. 이에 따라 각 조직에는 운영 전문 지식의 두뇌 유출 문제가 발생했다. 그 결과 생긴 기술 간극은 점점 더 넓어졌으며, 기본적인 데이터 랭글링(data wrangling) 작업 처리조차도 거의 불가능해졌다.
 
데이터가 많을수록 좋은 것은 아니다
산업 조직의 현장 곳곳에 센서와 연결 장치가 설치되는 1차적인 목적은 데이터를 더 많이 생성하기 위해서다. 데이터가 많을수록 가시성이 커진다고 생각하기 쉽다. ‘모든 것을 주시한다면 시스템에서 일어나는 일을 전부 알 수 있지 않을까?’, ‘가시성이 커지면 기존 프로세스와 기술로부터 축적한 모든 데이터 덕택에 기존 프로세스와 기술을 최적화할 기회가 늘어나지 않을까?’와 같은 기대다.

현실은 정반대다. 데이터가 많을수록 좋은 것은 아니다. 사실 데이터가 많을수록 가시성이 떨어질 때가 너무 많다. 데이터 레이크는 영구적이 아닌 일시적인 저장 솔루션이어야 하는데 그저 아무 데이터나 던져 놓는 장소로 전락한다. 여러 곳에서 가져오고 서로 다른 표준에 맞게 형식을 만든 데이터가 넘쳐 나는 데이터 늪처럼 되어버리는 것이다. 그런 데이터는 분석하는 것 자체만으로도 일이 되어 버려서 데이터 실행을 시도해 볼 겨를도 없어진다. 

불가피해진 데이터 히스토리언의 발전 
산업 조직들은 지난 수십 년간 이러한 문제를 처리하기 위해 ‘데이터 히스토리언(data historian)’을 배치했다. 데이터 히스토리언이란 일종의 데이터 수집 소프트웨어로서, 프로세스 데이터(예: 공장 온도, 압력 측정치 등)를 취합해서 디스크에 저장한 후, 보고나 추세 파악과 같은 분석에 사용할 수 있게 만드는 일을 한다. 

이런 역할에 하는 데이터 히스토리언은 인력 문제에도 대응할 수 있게 해준다. 즉, 데이터 이동성과 통합을 몇 명의 숙련된 직원에게 의존하지 않게 만드는 것이다. 또 데이터 히스토리언은 문턱을 낮춘다. 조직원 누구나 데이터를 접근하고 사용할 수 있게 만드는 것이다.

그런데 데이터를 진정 쓸모 있게 만들려면 데이터 늪을 청소하고 데이터 레이크를 복구해야 하며, 데이터를 실행 가능한 방식으로 소통하고 시각화하기 위한 좀더 강력한 워크플로우를 구축해야 한다. 이를 위해 산업 조직의 데이터 히스토리언은 한 발 더 나아가 데이터를 관련성 기준으로 찾아서 윗 단계로 이동시킬 수 있어야 한다. 

즉, 태그로 관련 데이터와 상관관계, 이벤트를 파악한 후에 파악 대상 간의 관계를 매핑하고 다양한 최종 사용자 페르소나와 관련 있는 데이터집합을 동원하는 것을 의미한다.

데이터 히스토리언은 반드시 더 발전해 나가야 한다. 프로세스 데이터를 표준화된 방식으로 취합하는 차원을 넘어서 산업 데이터 관리 전략을 위한 기반 기술로 자리 잡아야 하는 것이다. 

이제 산업 조직들은 대량 데이터 축적보다는 전략적 산업 데이터 관리에 치중해야 한다. 특히, 전사적인 데이터 접근성, 데이터 이동성, 데이터 통합에 전념하되 AI가 접목된 기술을 활용해 종전에는 최적화되지 않았고 발견되지 않았던 산업 데이터에 숨은 가치를 드러내는 것을 목표로 해야 한다.

차세대 데이터 히스토리언이 차세대 산업 노동력을 주도하게 될 것
오늘날의 운영 방식은 상당히 바뀌었다. 이제 10년이나 20년 전의 단순한 보고 방식으로는 부족하다. ‘차세대 데이터 히스토리언’은 현재 조직들이 당면한 산업 데이터의 발전과 복잡성 문제를 따라잡기 위해 다수의 실시간 애플리케이션에 걸친 확장, 가속 및 연결 능력이 있어야 한다. 

이러한 필요성이 더욱 커지는 이유는 여러 공장 현장을 연결하여 현장 복잡성에 따라 확장 또는 축소해야 하는 차세대 요건 때문이며 고가용성과 엣지 투 클라우드(edge-to-cloud) 통합의 필요성이 높아지고 있기 때문이기도 하다.

이러한 새로운 엔터프라이즈급 데이터 히스토리언은 매끄러운 가교를 제공하며 클라우드 준비 솔루션으로 기존 데이터 히스토리언 간에 산업 데이터를 통합하기도 한다. 이러한 접근 방식은 데이터를 민주화할 수 있다. 즉, 다양한 분야의 전문지식이나 배경의 작업자 누구나 데이터를 활용하여 필요에 따라 원시 데이터를 실행 가능한 비즈니스 결정으로 성공적으로 변화시킬 수 있다. 

데이터가 더 이상 다양한 형식과 표준에 걸쳐 퍼져 있지 않고 똑같이 접근하고 소비할 수 있게 되면, 더 이상 데이터 과학자든 데이터 애널리스트든 운영 사용자든, 특정 작업자의 개인적인 기술이나 전문 지식에 구속되지 않는다. 산업 조직 전반에 걸쳐 다양한 역할에 데이터 주도의 의사 결정 능력이 부여되다. 

그러면 기술 간극 해소에 도움이 될 뿐만 아니라 작업자의 일상적인 업무가 그만큼 수월해지고 생산성이 높아진다. 인간의 역할이 보다 전략적인 작업으로 승급되는 것이다. 

데이터 수집은 이제 더 이상 다양한 업체를 통합하는 일이 아니다. 필요한 데이터에 접근만 하려고 해도 해당 데이터가 든 USB 키를 소지한 특정 인물을 쫓아다녀야 했던 것도 과거의 일이다. 오라클, SQL과 같은 다양한 데이터베이스를 샅샅이 훑어야 한다거나 클라우드 설정 데이터베이스가 점점 늘어남에 따른 복잡성을 이해야 할 필요가 없어지기 때문이다.
 
사람을 데이터에 연결
기존 데이터 히스토리언을 산업 부문의 생산 애자일 및 비즈니스 성과 목표를 뒷받침할 수 있는 차세대 엔터프라이즈급 데이터 히스토리언으로 변신시키는 일은 기업 입장에서는 필수적이다. 물론 그렇게 해도 고비를 절반만 넘은 것이다. 산업 조직들이 데이터를 시각화하고 시각화한 데이터 상에 머신러닝 알고리즘을 실행하고 이를 워크플로우에 넣고 소비할 수 있게 만드는 것이 원시 데이터(또는 다양한 형식으로 존재하는 데이터)를 진정으로 실행 가능하게 만드는 최종 단계이다. 

이 최종 단계가 가능하려면 산업 조직들은 클라우드 준비 인프라를 채택하되 그 중에서도 사용자의 데이터 접근 및 실행 방식을 간소화할 수 있는 산업 AI 애플리케이션용으로 특별히 개발된 것을 채택해야 한다. 

그러나 이 최종 단계에 도달하기 위해서는 반드시 먼저 데이터의 정리, 형식 설정 및 태그 부여, 표준화라는 첫 번째 단계를 거쳐야 한다. 이를 위해서는 조화로운 산업 데이터 관리 전략을 갖춰야 하고 산업 데이터가 AI 준비 상태가 되도록 돕는 강력한 데이터 파이프라인도 갖춰야 한다. 

이를 위해 데이터 소스를 물리적으로 바꿔야 하거나 완벽한 지게차 접근법이 필요한 것은 아니다. 차세대 데이터 히스토리언은 기존 데이터 히스토리언 솔루션과의 간극을 메우는 효과적인 중개자 역할을 한다. 또한, 워크플로우를 바꾸고 데이터의 검색, 통합, 접근을 수월하게 만든다. 

그러면 데이터 접근 및 사용 방법에 관한 데이터 과학자들과 프로세스 엔지니어들 간의 협업이 증대될 뿐만 아니라 변화하는 노동 인구로 인해 악화되고 있는 새로운 기술 간극 해소에도 도움이 된다.

갓 졸업한 신입 직원들을 그들이 이해하지 못하는 구형 기술에 투입하는 일은 이제 없다. 직원들의 은퇴로 인한 두뇌 유출도 이제 없다. 적합한 데이터를 찾기만 하려고 해도 USB 키를 소지한 사람들을 쫓아다녀야 했던 일도 이제 끝이다. 차세대 엔터프라이즈급 데이터 히스토리언을 활용하면 사람들과 사람들이 필요로 하는 데이터를 데이터의 필요 방식과 시기에 관계없이 연결할 수 있기 때문이다.

* 빌 스쿠더는 아스펜테크 선임 부사장이자 제너럴 매니저다. ciokr@idg.co.kr