2021.03.18

블로그 | "통합적 데이터 도구"에 거는 희미한 기대

Adrian Bridgwater | IDG Connect
클라우드와 각종 플랫폼 기술의 시대 속에서 ‘통합적’(unified)이라는 단어는 진부하기 그지없다. 통합 플랫폼, 통합 툴셋, 통합적 접근, 통합적 UI, 통합적 기능 세트 등이 표현이 그야말로 난무한다. 

IT계에는 제멋대로 가져다 쓰는 용어가 많다. 기술 업체들에게 있는 아주 나쁜 버릇은 ‘편재적(pervasive)’이니, ‘총체적(holistic)’이니, 옛날부터 즐겨 쓰던 ‘엔드투엔드(end-to-end)’니 하는 용어와 표현을 기초적인 소프트웨어 요소에도 양념처럼 쓰는 것이다.

플랫폼 기술 시대를 맞은 오늘날 클라우드 컴퓨팅계에서 유독 남발되는 용어은 ‘통합적(unified)’이라는 말일 것이다. 소프트웨어 업체들은 자기 회사의 통합적 플랫폼과 통합적 도구모음, 통합적 접근 방식은 물론 통합적 UI를 내세운다. 운이 나쁘다면 해당 회사의 통합적 우수성에 대한 통합적 메시지를 들을 수도 있겠다. 

-> IT 업계 ‘아무말 대잔치’··· 오남용 심한 유행어 10선

‘통합적’이 진정 의미있는 경우
통합적 기술 아키텍처가 진정 도움이 되려면 한 번에 여러 가지 핵심 작업을 할 수 있어야 한다. 아니면 적어도 필수 기능을 2가지 이상 즉시, 순차적으로, 아니면 심지어 동시에 수행할 수 있어야 한다.

클라우드 데이터 관리 회사 인포매티카(Informatica)는 아파치 스파크(Apache Spark) 기반의 서버리스 클라우드 데이터 통합 엔진 제품을 출시하면서 실용적인 통합적 기량을 뽐낼 수 있을 것으로 기대 중이다. 여기서 통합적 매력의 원천인 아파치 스파크는 대규모 데이터 처리를 위한 일종의 오픈소스 통합 분석 엔진이다. 

데이터브릭스(Databricks)에서 처음 아파치 스파크를 만든 사람들 중 한 명인 마테이 자하리아에 따르면 “아파치 스파크가 진정 통합적인 이유는 빅데이터 변환 및 분석을 할 수 있고 변환과 분석이 끝난 빅 데이터에 사용자가 즉시 최첨단 ML 및 AI 알고리즘을 실행할 수 있기 때문이다”라고 말했다.

그는 이어 “이러한 특징은 AI 제품 개발에 매우 중요하다. AI의 품질은 입력한 데이터의 품질보다 좋을 수는 없다. 따라서 이런 방식으로 우리는 최고의 AI 애플리케이션을 개발할 수 있다”라고 덧붙였다.

한편 인포매티카는 클라우드 데이터 통합 엔진의 가속된 성능을 위해 아파치 스파크용 엔비디아 래피드 액셀러레이터(Nvidia Rapid Accelerator)는 GPU 기반의 부스터를 사용한다. 이에 대해서 통합적 데이터 통합 및 관리 부스터라는 표현이 사용될 수 있겠다. 

ML옵스에의 가능성
인포매티카는 이 기술 콤보를 통해 머신러닝(ML) 모델과 데이터 관리의 위력이 운용화됨(operationalizing)으로써 엔드투엔드 ML옵스(MLOps) 기능을 제대로 활용할 수 있게 된다고 주장한다. 

이 표현에서 ML옵스의 의미는 IT 운영 부서(시스템 관리자, DBA, 유지보수 담당자 등)가 ML을 이용해 자신들의 작업을 하도록 한다는 것이다. 즉, 시스템 상태와 관련 있는 기본 요소들이 전부는 아니더라도 일부는 자동으로 또한 자율적으로 자리 잡게 하는 것이다.

인포매티카는 보도자료를 통해 “데이터 민주화를 향한 큰 이정표이자 디지털 변신 활동 확대를 위한 매우 중요한 단계”라고 자평했다. 

시민 통합자(citizen integrator)의 등장
기술 애널리스트 업체 가트너들에 따르면 오늘날 IT 외부의 기술 관련 직원들(편의상 ‘현업 기술전문가’) 중 평균 41%가 데이터 솔루션이나 기술 솔루션을 적극적으로 개발하거나 커스터마이징하고 있다. 

이러한 기술 생산자(technology producer)들이 고급 분석을 수행하고 광대한 데이터집합을 관리할 수 있게 되면서 ‘데이터 민주화’라는 말이 이용되기 시작했다. 그러나 이러한 성공을 거두려면 회사들에게는 이들 사용자에게 시기적절하고 정확한 데이터를 제공할 채널도 필요하다. 인포매티카는 바로 자신이 그러한 경로를 제공할 수 있다고 주장하고 있다. 

인포매티카는 이와 관련해 “업계 최초로 시민 통합자, 데이터 엔지니어, 머신러닝 엔지니어, 데이터 과학자에게 서버리스 멀티 클라우드 데이터 관리를 통한 제로 오버헤드와 제로 코딩 데이터 접근을 제공하는 클라우드 데이터 관리 회사를 지향”한다고 말하고 있다. 

인포매티카 최고제품책임자(CPO) 지테시 가이는 “데이터 민주화야말로 디지털 트랜스포메이션 계획의 성배”라고 전제하며, “데이터 접근에 제한되어 있으면 데이터의 힘을 활용하지 못하고 귀중한 통찰력을 얻지 못한다. 당사는 엔디비아와의 협업을 통해 기업 규모의 데이터 민주화를 실현하고 기업 내에서 데이터를 가진 자와 가지지 못한 자 사이의 간극을 좁히고자 한다”라고 말했다.

꽤 매력적으로 들리는 말이다. 잘 조율된 통제 메커니즘 내에서 시민 [데이터] 통합자들이 나름의 권력을 자유롭게 휘두를 수 있게 될 수도 있겠다는 생각이 든다. 

-> '묘책'과 ‘삽질’사이··· 시민 개발자 정책을 제대로 활용하려면?

그러나 대다수 전문 소프트웨어 개발자들은 경계가 다소 흐릿한 시민 개발자라는 개념에 대해서 시큰둥한 반응을 보인다. 언론인들 역시 다양한 종류의 시민 기자들이 블로그를 하고 글을 쓰고 기사를 쓰려고 할 때 대체로 똑같은 느낌을 받는다. 통합적 데이터 도구가 실제 어느 정도로 유효할 지 아직은 예상하기 어렵다.

그럼에도 불구하고 적어도 한 가지 동향은 흐릿하게 감지된다. 한 조직의CTO나 CIO가 ‘모두를 위한 데이터 분석 운용화를 위해 통합적 백엔드 소프트웨어 아키텍처 툴링을 사용하려 한다’라고 말하면 무슨 말을 하려는 알 수 있을 것이다.

그리고 언젠가는 시민 CEO나 시민 사장이 등장할 지도 모르겠다는 생각도 든다. ciokr@idg.co.kr



2021.03.18

블로그 | "통합적 데이터 도구"에 거는 희미한 기대

Adrian Bridgwater | IDG Connect
클라우드와 각종 플랫폼 기술의 시대 속에서 ‘통합적’(unified)이라는 단어는 진부하기 그지없다. 통합 플랫폼, 통합 툴셋, 통합적 접근, 통합적 UI, 통합적 기능 세트 등이 표현이 그야말로 난무한다. 

IT계에는 제멋대로 가져다 쓰는 용어가 많다. 기술 업체들에게 있는 아주 나쁜 버릇은 ‘편재적(pervasive)’이니, ‘총체적(holistic)’이니, 옛날부터 즐겨 쓰던 ‘엔드투엔드(end-to-end)’니 하는 용어와 표현을 기초적인 소프트웨어 요소에도 양념처럼 쓰는 것이다.

플랫폼 기술 시대를 맞은 오늘날 클라우드 컴퓨팅계에서 유독 남발되는 용어은 ‘통합적(unified)’이라는 말일 것이다. 소프트웨어 업체들은 자기 회사의 통합적 플랫폼과 통합적 도구모음, 통합적 접근 방식은 물론 통합적 UI를 내세운다. 운이 나쁘다면 해당 회사의 통합적 우수성에 대한 통합적 메시지를 들을 수도 있겠다. 

-> IT 업계 ‘아무말 대잔치’··· 오남용 심한 유행어 10선

‘통합적’이 진정 의미있는 경우
통합적 기술 아키텍처가 진정 도움이 되려면 한 번에 여러 가지 핵심 작업을 할 수 있어야 한다. 아니면 적어도 필수 기능을 2가지 이상 즉시, 순차적으로, 아니면 심지어 동시에 수행할 수 있어야 한다.

클라우드 데이터 관리 회사 인포매티카(Informatica)는 아파치 스파크(Apache Spark) 기반의 서버리스 클라우드 데이터 통합 엔진 제품을 출시하면서 실용적인 통합적 기량을 뽐낼 수 있을 것으로 기대 중이다. 여기서 통합적 매력의 원천인 아파치 스파크는 대규모 데이터 처리를 위한 일종의 오픈소스 통합 분석 엔진이다. 

데이터브릭스(Databricks)에서 처음 아파치 스파크를 만든 사람들 중 한 명인 마테이 자하리아에 따르면 “아파치 스파크가 진정 통합적인 이유는 빅데이터 변환 및 분석을 할 수 있고 변환과 분석이 끝난 빅 데이터에 사용자가 즉시 최첨단 ML 및 AI 알고리즘을 실행할 수 있기 때문이다”라고 말했다.

그는 이어 “이러한 특징은 AI 제품 개발에 매우 중요하다. AI의 품질은 입력한 데이터의 품질보다 좋을 수는 없다. 따라서 이런 방식으로 우리는 최고의 AI 애플리케이션을 개발할 수 있다”라고 덧붙였다.

한편 인포매티카는 클라우드 데이터 통합 엔진의 가속된 성능을 위해 아파치 스파크용 엔비디아 래피드 액셀러레이터(Nvidia Rapid Accelerator)는 GPU 기반의 부스터를 사용한다. 이에 대해서 통합적 데이터 통합 및 관리 부스터라는 표현이 사용될 수 있겠다. 

ML옵스에의 가능성
인포매티카는 이 기술 콤보를 통해 머신러닝(ML) 모델과 데이터 관리의 위력이 운용화됨(operationalizing)으로써 엔드투엔드 ML옵스(MLOps) 기능을 제대로 활용할 수 있게 된다고 주장한다. 

이 표현에서 ML옵스의 의미는 IT 운영 부서(시스템 관리자, DBA, 유지보수 담당자 등)가 ML을 이용해 자신들의 작업을 하도록 한다는 것이다. 즉, 시스템 상태와 관련 있는 기본 요소들이 전부는 아니더라도 일부는 자동으로 또한 자율적으로 자리 잡게 하는 것이다.

인포매티카는 보도자료를 통해 “데이터 민주화를 향한 큰 이정표이자 디지털 변신 활동 확대를 위한 매우 중요한 단계”라고 자평했다. 

시민 통합자(citizen integrator)의 등장
기술 애널리스트 업체 가트너들에 따르면 오늘날 IT 외부의 기술 관련 직원들(편의상 ‘현업 기술전문가’) 중 평균 41%가 데이터 솔루션이나 기술 솔루션을 적극적으로 개발하거나 커스터마이징하고 있다. 

이러한 기술 생산자(technology producer)들이 고급 분석을 수행하고 광대한 데이터집합을 관리할 수 있게 되면서 ‘데이터 민주화’라는 말이 이용되기 시작했다. 그러나 이러한 성공을 거두려면 회사들에게는 이들 사용자에게 시기적절하고 정확한 데이터를 제공할 채널도 필요하다. 인포매티카는 바로 자신이 그러한 경로를 제공할 수 있다고 주장하고 있다. 

인포매티카는 이와 관련해 “업계 최초로 시민 통합자, 데이터 엔지니어, 머신러닝 엔지니어, 데이터 과학자에게 서버리스 멀티 클라우드 데이터 관리를 통한 제로 오버헤드와 제로 코딩 데이터 접근을 제공하는 클라우드 데이터 관리 회사를 지향”한다고 말하고 있다. 

인포매티카 최고제품책임자(CPO) 지테시 가이는 “데이터 민주화야말로 디지털 트랜스포메이션 계획의 성배”라고 전제하며, “데이터 접근에 제한되어 있으면 데이터의 힘을 활용하지 못하고 귀중한 통찰력을 얻지 못한다. 당사는 엔디비아와의 협업을 통해 기업 규모의 데이터 민주화를 실현하고 기업 내에서 데이터를 가진 자와 가지지 못한 자 사이의 간극을 좁히고자 한다”라고 말했다.

꽤 매력적으로 들리는 말이다. 잘 조율된 통제 메커니즘 내에서 시민 [데이터] 통합자들이 나름의 권력을 자유롭게 휘두를 수 있게 될 수도 있겠다는 생각이 든다. 

-> '묘책'과 ‘삽질’사이··· 시민 개발자 정책을 제대로 활용하려면?

그러나 대다수 전문 소프트웨어 개발자들은 경계가 다소 흐릿한 시민 개발자라는 개념에 대해서 시큰둥한 반응을 보인다. 언론인들 역시 다양한 종류의 시민 기자들이 블로그를 하고 글을 쓰고 기사를 쓰려고 할 때 대체로 똑같은 느낌을 받는다. 통합적 데이터 도구가 실제 어느 정도로 유효할 지 아직은 예상하기 어렵다.

그럼에도 불구하고 적어도 한 가지 동향은 흐릿하게 감지된다. 한 조직의CTO나 CIO가 ‘모두를 위한 데이터 분석 운용화를 위해 통합적 백엔드 소프트웨어 아키텍처 툴링을 사용하려 한다’라고 말하면 무슨 말을 하려는 알 수 있을 것이다.

그리고 언젠가는 시민 CEO나 시민 사장이 등장할 지도 모르겠다는 생각도 든다. ciokr@idg.co.kr

X