Offcanvas

AI / CIO / 디지털 트랜스포메이션 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 신기술|미래

인터뷰 | “일별 1조 9천억 행의 데이터를 레이크로” 쉘 CDIO 댄 제본스의 디지털 에너지 전환

2022.12.22 Paula Rooney  |  CIO
글로벌 에너지 기업 쉘(Shell)은 듀얼 클라우드 아키텍처로 전환하며 데이터 레이크 아키텍처를 도입했다. 쉘에서 컴퓨테이셔널 과학(Computational Science) 및 디지털 혁신(Digital Innovation)을 담담하는 CIDO 댄 제본스는 이 디지털 전환으로 사업 성과를 내며 탄소 중립에도 기여할 수 있다고 말한다. 
 
ⓒGetty Images Bank

요즘 쉘과 같은 에너지 대기업은 탄소 배출량을 줄여야 한다는 압박을 받고 있다. 하지만 다국적 정유회사인 쉘에게 이는 거대한 작업이다. 회사는 인공지능을 촉매제 삼아 장기적인 환경 목표를 달성하려 하고 있다. 

런던에 본사를 둔 쉘은 하이브리드 클라우드와 데이터브릭스(Databricks) 데이터 레이크 플랫폼으로 디지털 전환을 추진 중이다. 인공지능 기술을 활용해 비즈니스 효율성과 수익성을 최적화하고 장기적으로는 탄소 배출량을 줄이는 게 목표다. 
 
ⓒShell

쉘의 AI 책임자 댄 제본스는 “AI는 회사가 진행하는 있는 디지털 전환의 중추다”라며 회사가 마이크로소프트 및 C3.ai 비롯해 2015년부터 데이터브릭스 플랫폼을 사용해왔다고 밝혔다. 그에 따르면 데이터브릭스 직원 20명이 쉘을 전담한다. 

제본스는 쉘에서 컴퓨테이셔널 과학 및 디지털 혁신 부사장을 맡고 있으며, 2015년부터 데이터 과학 담당 매니저로 활동했다. 

이제 쉘 그룹 CIO 제이 크로츠에게 직접 보고하는 새 역할에서 제본스는 AI뿐만 아니라 블록체인, IoT, 엣지 컴퓨팅 등의 새로운 기술을 활용해 쉘의 미래 기술 전략을 구상하고 2050년까지 탄소중립를 달성하는 역할을 맡았다. 

가트너 애널리스트 앤서니 멀렌은 쉘의 AI 활용 능력이 다른 기업에 비해 뛰어나다고 평가했다. 멀렌은 쉘이 AI 전담 조직(Center of Excellence)을 운영하고 OpenAI 같은 오픈소스 프로젝트에 참여한 점을 높이사며 “쉘은 이미 AI 초기 도입 단계를 넘어섰다”라고 말했다. 

제본스가 이끄는 AI 팀에서는 수백 명의 데이터 과학자가 데이터브릭스의 스파크 기반 플랫폼으로 AI 기술을 개발한다. 지하 프로세싱(subsurface processing)의 사이클 타임을 줄이고, 자산 활용을 최적화하고, 여러 기기의 고장 시기를 예측하는 등 다양한 용도를 위한 알고리즘을 만든다. 

제본스는 “기후 위기를 맞닥뜨린 상황에서 저탄소 에너지 시스템을 도입해 피해를 줄이고자 한다”라며 데이터브릭스 AI 플랫폼의 데이터 스트림으로 탄소 배출량을 모니터링한다고 설명했다. 

제본스에 따르면 쉘은 이미 데이터 애널리틱스 기술로 액화천연가스(LNG) 시설 1곳의 탄소배출량을 연간 130킬로톤이나 줄였다. 이는 1년 간 28,000대의 차량을 도로에서 없애는 것과 마찬가지다. 

그는 “직원들은 에너지 전환을 가속하는 데 AI를 활용할 방법을 수시로 모색 중이다”라며 “하지만 이는 분명히 쉽지 않은 일이다”라고 말했다. 
 

데이터가 근간이다 

디지털 전환을 위해 쉘은 크게 마이크로소프트 애저와 AWS, 2개의 퍼블릭 클라우드를 사용하며 도커 및 쿠버네티스 컨테이너 기술을 쓴다. 모두 2,100억 달러가 넘는 규모의 에너지 사업을 위한 워크로드를 실행하기 위해서다. 

제본스는 모든 도구와 기술에 체계적으로 접근할 수 있는 기본 데이터 계층이 데이터 전략의 핵이라고 말했다. 

그는 “듀얼 클라우드 전략을 도입함에 따라 데이터 관리 및 통합 방법에 대한 일관성이 필요하다”라며 “누구나 여러 데이터베이스를 관리하고 운영하지만 애널리틱스 관점에서 쉘은 여러 종류의 데이터를 하나의 데이터 레이크로 모으고 있다”라고 말했다. 

데이터브릭스의 데이터레이크에 모든 데이터를 모으고 파이썬을 공통 프로그래밍 언어로 쓰는 덕분에 쉘의 데이터 과학자들은 간단한 쿼리를 쉽게 요청할 수 있으며, Power BI 같은 기존 시각화 도구를 자유롭게 사용할 수 있다. 

특히 AI 활용 측면에서 머신러닝 워크로드를 모두 같은 플랫폼에서 실행할 수 있다는 점이 큰 장점이라고 제본스는 강조했다. 

예를 들어 쉘은 전 세계에서 수집되는 시간별 데이터(온도, 압력, 기기 데이터 등)를 델타 레이크(Delta Lake) 기반의 퍼블릭 클라우드에 통합해 모든 자산을 관리한다. 자산에는 정유시설, 각종 설비 시설, 풍력 발전소, 태양광 발전소 등이 있다. 제본스는 “오늘만 해도 1조 9천억 행에 달아는 데이터가 수집됐다”라며 “정말 어마어마한 규모의 데이터다. 모든 것을 측정한다”라고 말했다. 

쉘은 또한 머신러닝으로 부식된 기기를 식별해 고장이나 기기 결함을 미리 예측한다. 제본스는 “이 뿐만 아니라 과거 데이터를 기반으로 장비를 더 효율적으로 구동하고 확장할 방법을 발견하기도 한다”라고 말했다. 그에 따르면 이는 모두 데이터 레이크 덕분에 가능한 작업이다. 

“데이터나 인공지능을 활용하는 데 있어 가장 큰 변곡점은 데이터를 바로 클라우드에 스트리밍할 수 있게 된 것이었다. 이전에 상당한 장벽으로 작용했던 클라우드 계층을 건너뛰어 발전소의 데이터를 바로 클라우드에 스트리밍함으로서 여러 예측 및 모델링 작업이 훨씬 더 쉬워졌다”라고 말했다. 
 

쉘 데이터 팀의 미래 

쉘에는 약 350명의 전담 데이터 과학자와 4,000명이 넘는 소프트웨어 엔지니어가 인도, 영국, 네덜란드 및 텍사스 휴스턴에서 일하고 있다. 

클라우드 및 데이터 레이크로의 이전 외에도 쉘은 마이크로소프트 애저 데브옵스(Microsoft Azure DevOps) 같은 최신 개발 도구를 도입했다. 개발자들은 깃허브 참여를 일상화하기도 했다. 또한 더 성숙한 클라우드용 코드 스크리닝 도구를 도입해 CI/CD 워크플로우를 실행하고 10,000개가 넘는 장비를 AI로 모니터링한다. 

무엇보다도 제본스는 통합 데이터 레이크 아키텍처를 도입한 것이 가장 큰 차이를 만들어냈다고 강조했다. 그는 “회사는 데이터브릭스 델타레이크를 초기에 도입했던 회사가 바로 쉘이었다”라며 “초창기에 델타레이크는 실제로 확장가능한 솔루션이라기 보다 개념 증명에 가까웠다. 지난 18개월 전부터 제대로 활용하기 시작했다”라고 전했다. 

변화 관리는 여전히 회사의 영원한 숙제로 남을 것이라고 그는 덧붙였다. 

제본스는 “어떻게 새로운 기술을 비즈니스 프로세스에 통합해 유용하게 만들고, 어떻게 쓸만한 알고리즘을 계속 개발해낼 것이냐는 끝나지 않을 숙제다”라며 “AI를 이렇게 큰 규모의 사업에 적용하는 것은 거대한 프로젝트이며 아직도 다분히 현재진행형이다”라고 말했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.