2018.04.27

아우디의 오픈소스 빅데이터 파운데이션 활용법

Scott Carey | Computerworld UK
독일의 자동차 제조사 아우디가 생산 설비에서부터 차량 내부에 이르는 각종 데이터를 수집하기 위해 일련의 오픈소스 빅데이터 기술을 채택하고 있다.



지난주 베를린에서 열린 데이터웍스 서밋에서 아우디의 빅데이터 아키텍트 마티아스 그러니츠와 카슨 허베는 각종 소스로부터 데이터를 저장하는 데이터 백엔드를 구축한 방법과 그 과정에서 얻은 교훈을 발표했다.

아우디는 2015년부터 하둡 분산형 파일 시스템(HDFS)에 파일을 저장해왔다. 하둡을 애용하는 기업이라고 표현할 만하다. 그러니츠는 "활용 로드맵을 구축했다. 2015년 연말부터 소용량 클러스터를 활용해 이 시스템을 구축하고 활용하는 방안을 클라이언트들과 탐색하기 시작했다. 작은 호톤웍스 데이터 플랫폼(HDF)로 시작해 4개의 노드, 96코어, 160TB 원시 용량을 보유했다"라고 전했다.

그에 따르면 해당 시스템은 이제 1PB의 스토리지 용량,12노드에 288코어, 6TB 램을 보유한 하둡 클러스터로 변보했다. 또 4노트, 128GB 램, 16TB 원시 용량을 가진 카프카 클러스터도 존재한다.

허베는 그러나 통합이 완벽하다는 의미는 아니라고 말했다. "기존 엔터프라이즈 환경에 하둡을 도입하는 데 어려움이 있다. 또 비즈니스 시스템과 통합해야 하는 보안 니즈가 존재한다"라고 말했다. 아우디의 하둡 경로에 대한 좀더 자세한 정보는 이 트윗에서 확인할 수 있다.

발표에 따르면 이 데이터 파운데이션은 2가지 개념 증명으로 이어졌다. 생산 현장에서 활용되는 스크류드라이버에서 비롯된 개념 증명과 차량 제어 유닛이 발송하는 차량 사용에 대한 개념 증명이다. 그러니츠는 스크류드라이버와 관련해 "생산 설비 내의 공정이 잘 작동하는지, 또는 유지 보수 문제를 예측할 수 있는지 확인하고자 했다"라고 말했다.

그는 이어 오늘날 아우날 신형 모델들은 무선으로 약 2만 5,000개의 신호를 HDFS 저장소로 전송하며, 이 정보는 회사 데이터 담당 직원에 의해 분석된다고 설명했다. 그렇게 분석된 정보는 태블로와 같은 BI 도구를 통해 다른 아우디 직원들이 접근할 수 있게 되며 그 결과 개발되고 있는 차량 모델의 설계에 반영된다는 설명이다.

그러니츠는 "이러한 데이터에 대한 인사이트를 필요로 하는 부서가 많다. 데이터 도메인 모델을 명확히 정의하기 위해 데이터 소유권 및 데이터 관리를 다시 검토해야 했다"라며 "멀티 테넌트 환경에서 각 공유 서비스를 제공함에 따라 각 서비스에 대한 라이프 사이클 관리와이 서비스를 사용하는 프로젝트와의 긴밀한 협력이 필요하다. 물론 24 시간 가용성 및 개발 수명주기와 같은 SLA도 정의해야 한다"라고 말했다. 아우디의 이 데이터 기술은 테스트 A8 차량에 접목돼 수집되고 있다.

한편 그러니츠는 아우디 데이터 전략 측면에서 클라우드가 "누락된 요소"라고 인정하며 "오늘 우리의 발표한 모든 것은 온프레미스 또는 프라이빗 클라우드 상에 구축됐다"라고 말했다.

이는 법적 요구사항과 데이터 그래비티(data gravity)로 인해 데이터 인근에 접근할 필요가 있었기 때문이었다. 그는 "이에 따라 우리는 두번째 이니셔티브를 수립하고 있다. 데이터를 클라우드 환경에 일단 배치하고 다이렉트 클라우드 커넥트를 활용해 온프레미스에서 데이터를 서화할 수 있도록 하는 것이다"라고 말했다.

아우디는 이를 위해 컨플루언트의 HDFS 커넥터를 활용해 카프라 파이프 라인으로 HDFS에 데이터를 가져오도록 했다. 메타데이터 데이터 카탈로그가 클라우드에 내장돼 있어 어떤 스토어에 상주하든 관계 없이 데이터를 이용할 수 있게 된다고 그는 설명했다.

아우디 직원들 수집한 데이터로 무엇을 하는지는 기밀사항이다. 그러나 확실한 사실은 미래의 아우디차량이 지금 A8 제어 유닛이 발송하고 있는 데이터에 기반해 설계될 것이라는 점이다.
ciokr@idg.co.kr
2018.04.27

아우디의 오픈소스 빅데이터 파운데이션 활용법

Scott Carey | Computerworld UK
독일의 자동차 제조사 아우디가 생산 설비에서부터 차량 내부에 이르는 각종 데이터를 수집하기 위해 일련의 오픈소스 빅데이터 기술을 채택하고 있다.



지난주 베를린에서 열린 데이터웍스 서밋에서 아우디의 빅데이터 아키텍트 마티아스 그러니츠와 카슨 허베는 각종 소스로부터 데이터를 저장하는 데이터 백엔드를 구축한 방법과 그 과정에서 얻은 교훈을 발표했다.

아우디는 2015년부터 하둡 분산형 파일 시스템(HDFS)에 파일을 저장해왔다. 하둡을 애용하는 기업이라고 표현할 만하다. 그러니츠는 "활용 로드맵을 구축했다. 2015년 연말부터 소용량 클러스터를 활용해 이 시스템을 구축하고 활용하는 방안을 클라이언트들과 탐색하기 시작했다. 작은 호톤웍스 데이터 플랫폼(HDF)로 시작해 4개의 노드, 96코어, 160TB 원시 용량을 보유했다"라고 전했다.

그에 따르면 해당 시스템은 이제 1PB의 스토리지 용량,12노드에 288코어, 6TB 램을 보유한 하둡 클러스터로 변보했다. 또 4노트, 128GB 램, 16TB 원시 용량을 가진 카프카 클러스터도 존재한다.

허베는 그러나 통합이 완벽하다는 의미는 아니라고 말했다. "기존 엔터프라이즈 환경에 하둡을 도입하는 데 어려움이 있다. 또 비즈니스 시스템과 통합해야 하는 보안 니즈가 존재한다"라고 말했다. 아우디의 하둡 경로에 대한 좀더 자세한 정보는 이 트윗에서 확인할 수 있다.

발표에 따르면 이 데이터 파운데이션은 2가지 개념 증명으로 이어졌다. 생산 현장에서 활용되는 스크류드라이버에서 비롯된 개념 증명과 차량 제어 유닛이 발송하는 차량 사용에 대한 개념 증명이다. 그러니츠는 스크류드라이버와 관련해 "생산 설비 내의 공정이 잘 작동하는지, 또는 유지 보수 문제를 예측할 수 있는지 확인하고자 했다"라고 말했다.

그는 이어 오늘날 아우날 신형 모델들은 무선으로 약 2만 5,000개의 신호를 HDFS 저장소로 전송하며, 이 정보는 회사 데이터 담당 직원에 의해 분석된다고 설명했다. 그렇게 분석된 정보는 태블로와 같은 BI 도구를 통해 다른 아우디 직원들이 접근할 수 있게 되며 그 결과 개발되고 있는 차량 모델의 설계에 반영된다는 설명이다.

그러니츠는 "이러한 데이터에 대한 인사이트를 필요로 하는 부서가 많다. 데이터 도메인 모델을 명확히 정의하기 위해 데이터 소유권 및 데이터 관리를 다시 검토해야 했다"라며 "멀티 테넌트 환경에서 각 공유 서비스를 제공함에 따라 각 서비스에 대한 라이프 사이클 관리와이 서비스를 사용하는 프로젝트와의 긴밀한 협력이 필요하다. 물론 24 시간 가용성 및 개발 수명주기와 같은 SLA도 정의해야 한다"라고 말했다. 아우디의 이 데이터 기술은 테스트 A8 차량에 접목돼 수집되고 있다.

한편 그러니츠는 아우디 데이터 전략 측면에서 클라우드가 "누락된 요소"라고 인정하며 "오늘 우리의 발표한 모든 것은 온프레미스 또는 프라이빗 클라우드 상에 구축됐다"라고 말했다.

이는 법적 요구사항과 데이터 그래비티(data gravity)로 인해 데이터 인근에 접근할 필요가 있었기 때문이었다. 그는 "이에 따라 우리는 두번째 이니셔티브를 수립하고 있다. 데이터를 클라우드 환경에 일단 배치하고 다이렉트 클라우드 커넥트를 활용해 온프레미스에서 데이터를 서화할 수 있도록 하는 것이다"라고 말했다.

아우디는 이를 위해 컨플루언트의 HDFS 커넥터를 활용해 카프라 파이프 라인으로 HDFS에 데이터를 가져오도록 했다. 메타데이터 데이터 카탈로그가 클라우드에 내장돼 있어 어떤 스토어에 상주하든 관계 없이 데이터를 이용할 수 있게 된다고 그는 설명했다.

아우디 직원들 수집한 데이터로 무엇을 하는지는 기밀사항이다. 그러나 확실한 사실은 미래의 아우디차량이 지금 A8 제어 유닛이 발송하고 있는 데이터에 기반해 설계될 것이라는 점이다.
ciokr@idg.co.kr
X