2019.02.01

‘코볼에서 실시간 데이터 스트리밍으로 전향’ UCSD CIO의 구상

Peter Sayer | CIO
캘리포니아 샌디에고 대학(UCSD ; University of California San Diego)에게는 코볼 문제가 있다. 1990년대 이후로 이용해온 메인프레임에서 재무, 급여, 학생을 추적하는 3개의 대형 애플리케이션을 운용하고 있다. 코볼(COBOL) 코어가 노후화되고 있으며, 덕지덕지 붙은 추가 기능으로 인해 데이터와 프로세스가 파편화됨에 따라 불안정해지고 있다.

코볼 개발자들도 나이를 먹고 있다. 5년 전의 평균 연령은 55세였다. UCSD에는 9명에 코볼 개발자가 남아 있으며 이들도 은퇴를 앞두고 있다.

UCSD의 CIO 빈스 켈런이 이런 애플리케이션과 소형 애플리케이션들을 클라우드로 이행함과 동시에 생성되는 정보에 대한 복합적인 분석을 위해 SAP S/4HANA를 기반으로 새로운 데이터 웨어하우스를 구축하려는 이유다. 
 
ⓒ Image Credit : Getty Images Bank


하지만 그는 코볼을 한 번에 포기하지는 않을 생각이다. 대신에 그와 그의 팀은 더욱 모듈화되고 점진적인 접근방식을 취하고 있다. 그렇게 하면 UCSD가 ERP 벤더들이 수집을 수행할 때 활용하는 최신 통합 기술을 활용하는데 도움이 될 것이라고 켈런이 말했다. UCSD의 통합 스택에는 WSO2 API 관리자, 아파치 카프카, 인포매티카의 툴이 포함된다.

또한 UCSD 같은 대학은 과정 등록, 학위 감사, 연구 보조금 추적 등의 작업을 위한 특화된 시스템이 너무 많기 때문에 모듈식 접근방식이 더욱 적합하다. 캘런은 "주요 제공자인 SAP, 워크데이, 오라클은 잠재적으로 이 모든 것들을 수행할 수 있기는 하다. 그러나 각각의 장점 분야가 따로 있기 때문에 많은 기관들이 선택적 접근을 하고 있다. 현대적인 통합 기술 덕분에 한 제공자로부터 모든 것을 얻을 필요가 없다"라고 말했다.

속도 향상
하지만 처음에 코볼에서 이행하게 된 이유인 데이터 파편화 문제는 어떨까? 그는 "제품(서비스형 소프트웨어 솔루션)이 많다면 외부적인 공통 분석 환경이 필요하다"라고 말했다.

이를 위해 UCSD는 AWS에서 SAP S/4HANA를 운용하기로 결정했다. UCSD가 도입한 초기 요소 중 하나인 SAP SAH(Student Activity Hub)는 분석 대시보드를 통해 대학 내에서의 학습에 대한 창을 제공한다. 이를 통해 지난 15년 동안 학생들이 이수한 과정과 학위에 대한 이력 데이터를 추적할 수 있다.

SAH는 본래 SAP의 HANA 인메모리 데이터베이스를 사용했던 켄터키 대학교(University of Kentucky)가 개발했다가 상업화를 위해 SAP로 이전한 것이다. 켈런은 당시 켄터키의 CIO였기 때문에 이 제품에 관해 잘 알고 있다.

직원 및 재무팀을 위한 다른 AH(Activity Hub)도 앞으로 18개월 정도 후에 도입될 것이며, 연구 및 시설 관리를 분석하는 것들도 수반될 계획이다. 캘런은 "데이터 웨어하우스 환경 전체의 목적은 오직 하나이다. 분석가에게 기분 좋은 경험을 제공하는 것이다"라고 말했다.

그 중 하나가 속도 향상이다. "인메모리 고속 시스템이기 때문에 수 십억 줄도 문제없이 처리할 수 있다. 적절한 규모의 환경이 있다면 수 십억 줄의 데이터세트에 대한 하향식 취합을 1초 안에 수행할 수 있다"라고 그가 말했다. 

캘런은 이어 "켄터키 대학교에 있을 때 빠르게 증발하는 데이터를 다운로드 해야 했다. 심지어 많은 사람들이 속도와 데이터 결합이 가능한 메인 분석 환경으로 데이터세트로 옮기고 싶어했고 우리가 여기에서 바라는 것도 바로 그것이다"라고 덧붙였다.

벤더 종속에 대항하는 '탈퇴에의 위협'
켈런은 데이터베이스 사이에서 데이터를 복제하는 대신에 웨어하우스의 스트리밍 데이터를 소비하는 것을 선호한다. 그는 "스트리밍의 장점 가운데 하나는 앞으로 스트림 자체에 머신러닝이나 분석을 직접 적용할 수 있다는 점이다"라며 수집 전, 중, 후에 가능하기 때문에 모델 구축에 유용하다고 설명했다.

켈런에게 스트리밍의 또 다른 이점이 있다. "약간의 대기는 비용을 크게 낮추는데 도움이 된다. 풀(Pull) API와 비교하여 훨씬 수평 확장성이 높다"라고 그는 전했다.

애플리케이션 밖에서 데이터의 사본을 유지하는 것도 비용을 절감하고 벤더를 관리하기 위한 켈런의 전략 중 하나이다. 그가 말하는 ‘믿을 만한 탈퇴의 위협’(credible threat of defection)을 제공한다.

"벤더는 그들의 시스템에 있는 데이터가 다른 환경에도 있다는 사실을 알고 있다. 그들에게 떠나는 손쉬운 마이그레이션 방법이 있는 것이다"라고 그가 말했다.

그는 실제로 탈퇴 능력을 보유할 필요는 없으며 믿을 만한 위협이면 충분하다고 판단한다. 캘런은 "모든 공급자를 정직하고 경쟁력 있게 유지할 수 있게 해준다"라고 말했다.

UCSD는 SAP와 자체 데이터 웨어하우스를 구축하고 있지만 ERP 측면에서는 오라클로 전향하고 있다. 재무정보 시스템을 대체하기 위해 최근 OCF(Oracle Cloud Financials)를 구매했으며 이 새로운 시스템은 2020년부터 가동할 예정이다.

"지난 3년 동안 모든 소프트웨어 구매 시 클라우드를 우선적으로 고려했기 때문에 클라우드 외에 더 이상 새로운 것이 없다. 우리는 1개의 데이터센터를 철거했으며 향후 3년 동안 또 다른 데이터센터를 철거할 것이다"라고 그는 말했다. 

캘런은 이어 "클라우드로 이행하는 경우 성능이 저하되는 현상이 일부 있기는 하다. 클라우드에서 구동할 수 없는 정말로 오래된 소프트웨어와 일부 전화 통신 방식만 남게 될 것"이라고 덧붙였다.

클라우드로의 이행은 비용 절감을 위한 것이기도 하다. 캘런은 "클라우드가 더 비싸다고 말하는 이도 있지만 사실은 그렇지 않다. 사람들은 구내 시스템의 모든 비용을 제대로 파악하지 못하고 있다"라고 말했다.

비용 그리고 위험 절감
켈런은 이런 숨겨진 비용을 살펴봤다며, "데이터 센터의 담보 비용, 방화 비용, UPS 비용, 시간에 따른 전기 인프라 변화, 인간 유지 비용을 더하면 클라우드가 더 저렴하다"라고 강조했다.

또 클라우드에서 애플리케이션을 운용하면 일반적으로 기본 클라우드 인프라의 가용성 구역 덕분에 일정 수준의 고장 허용범위를 누릴 수 있기 때문에 위험이 감소할 수 있다. 구내에서 같은 수준의 고장 허용범위 수준을 제공하면 비용이 2배가 될 수도 있다고 그가 덧붙였다.

그는 비용을 추가적으로 절감하는 방법이 있다며 예약된 인스턴스의 비용으로 용량을 구매하지만 필요에 따라 재판매하는 클라우드 브로커를 이용하는 것이라고 전했다. UCSD는 런던에 있는 스트래터직 블루(Strategic Blue)와 협력하고 있다.

그러나 클라우드에는 켈런에게 만족스럽지 못한 위험 수준의 영역이 있다. 그 중 하나는 클라우드 인프라 제공자가 고객을 쉽게 쫓아낼 수 있다는 점이다.

캘런은 "이를 감안해 콘테이너를 사용하려 시도하고 있다. 필요한 경우 클라우드 제공자를 변경할 수 있기 위해서다"라고 말했다. 이를 통해 가격 인상 시 믿을 만한 또 다른 탈퇴의 위협을 마련할 수 있는 셈이다. 그러나 현재 구글, 마이크로소프트, 아마존의 경쟁으로 가격이 합리적으로 안정화되고 있다라고 그는 덧붙였다.

또 다른 위험 영역은 클라우드 서비스 제공자가 보안 유출 시 수용하는 책임의 정도다. "그들은 모든 데이터와 처리 자료를 갖고 있지만 우리에게는 여전히 법적 위험이 크다"라고 켈런이 말했다. 하지만 그는 구내 시스템과 비교하여 제공할 수 있는 전반적인 보안의 수준이 높기 때문에 완화된다고 판단하고 있다.

켈런은 클라우드 인프라 제공자가 브로커 및 기타 제3자와 협력하여 고객에 더욱 유리하게 책임 관리의 균형을 맞추는 방법을 마련하기를 기대하고 있다. 그는 "제3자들이 계약 복잡성을 감당할 수 있기를 바란다"라고 말했다. ciokr@idg.co.kr



2019.02.01

‘코볼에서 실시간 데이터 스트리밍으로 전향’ UCSD CIO의 구상

Peter Sayer | CIO
캘리포니아 샌디에고 대학(UCSD ; University of California San Diego)에게는 코볼 문제가 있다. 1990년대 이후로 이용해온 메인프레임에서 재무, 급여, 학생을 추적하는 3개의 대형 애플리케이션을 운용하고 있다. 코볼(COBOL) 코어가 노후화되고 있으며, 덕지덕지 붙은 추가 기능으로 인해 데이터와 프로세스가 파편화됨에 따라 불안정해지고 있다.

코볼 개발자들도 나이를 먹고 있다. 5년 전의 평균 연령은 55세였다. UCSD에는 9명에 코볼 개발자가 남아 있으며 이들도 은퇴를 앞두고 있다.

UCSD의 CIO 빈스 켈런이 이런 애플리케이션과 소형 애플리케이션들을 클라우드로 이행함과 동시에 생성되는 정보에 대한 복합적인 분석을 위해 SAP S/4HANA를 기반으로 새로운 데이터 웨어하우스를 구축하려는 이유다. 
 
ⓒ Image Credit : Getty Images Bank


하지만 그는 코볼을 한 번에 포기하지는 않을 생각이다. 대신에 그와 그의 팀은 더욱 모듈화되고 점진적인 접근방식을 취하고 있다. 그렇게 하면 UCSD가 ERP 벤더들이 수집을 수행할 때 활용하는 최신 통합 기술을 활용하는데 도움이 될 것이라고 켈런이 말했다. UCSD의 통합 스택에는 WSO2 API 관리자, 아파치 카프카, 인포매티카의 툴이 포함된다.

또한 UCSD 같은 대학은 과정 등록, 학위 감사, 연구 보조금 추적 등의 작업을 위한 특화된 시스템이 너무 많기 때문에 모듈식 접근방식이 더욱 적합하다. 캘런은 "주요 제공자인 SAP, 워크데이, 오라클은 잠재적으로 이 모든 것들을 수행할 수 있기는 하다. 그러나 각각의 장점 분야가 따로 있기 때문에 많은 기관들이 선택적 접근을 하고 있다. 현대적인 통합 기술 덕분에 한 제공자로부터 모든 것을 얻을 필요가 없다"라고 말했다.

속도 향상
하지만 처음에 코볼에서 이행하게 된 이유인 데이터 파편화 문제는 어떨까? 그는 "제품(서비스형 소프트웨어 솔루션)이 많다면 외부적인 공통 분석 환경이 필요하다"라고 말했다.

이를 위해 UCSD는 AWS에서 SAP S/4HANA를 운용하기로 결정했다. UCSD가 도입한 초기 요소 중 하나인 SAP SAH(Student Activity Hub)는 분석 대시보드를 통해 대학 내에서의 학습에 대한 창을 제공한다. 이를 통해 지난 15년 동안 학생들이 이수한 과정과 학위에 대한 이력 데이터를 추적할 수 있다.

SAH는 본래 SAP의 HANA 인메모리 데이터베이스를 사용했던 켄터키 대학교(University of Kentucky)가 개발했다가 상업화를 위해 SAP로 이전한 것이다. 켈런은 당시 켄터키의 CIO였기 때문에 이 제품에 관해 잘 알고 있다.

직원 및 재무팀을 위한 다른 AH(Activity Hub)도 앞으로 18개월 정도 후에 도입될 것이며, 연구 및 시설 관리를 분석하는 것들도 수반될 계획이다. 캘런은 "데이터 웨어하우스 환경 전체의 목적은 오직 하나이다. 분석가에게 기분 좋은 경험을 제공하는 것이다"라고 말했다.

그 중 하나가 속도 향상이다. "인메모리 고속 시스템이기 때문에 수 십억 줄도 문제없이 처리할 수 있다. 적절한 규모의 환경이 있다면 수 십억 줄의 데이터세트에 대한 하향식 취합을 1초 안에 수행할 수 있다"라고 그가 말했다. 

캘런은 이어 "켄터키 대학교에 있을 때 빠르게 증발하는 데이터를 다운로드 해야 했다. 심지어 많은 사람들이 속도와 데이터 결합이 가능한 메인 분석 환경으로 데이터세트로 옮기고 싶어했고 우리가 여기에서 바라는 것도 바로 그것이다"라고 덧붙였다.

벤더 종속에 대항하는 '탈퇴에의 위협'
켈런은 데이터베이스 사이에서 데이터를 복제하는 대신에 웨어하우스의 스트리밍 데이터를 소비하는 것을 선호한다. 그는 "스트리밍의 장점 가운데 하나는 앞으로 스트림 자체에 머신러닝이나 분석을 직접 적용할 수 있다는 점이다"라며 수집 전, 중, 후에 가능하기 때문에 모델 구축에 유용하다고 설명했다.

켈런에게 스트리밍의 또 다른 이점이 있다. "약간의 대기는 비용을 크게 낮추는데 도움이 된다. 풀(Pull) API와 비교하여 훨씬 수평 확장성이 높다"라고 그는 전했다.

애플리케이션 밖에서 데이터의 사본을 유지하는 것도 비용을 절감하고 벤더를 관리하기 위한 켈런의 전략 중 하나이다. 그가 말하는 ‘믿을 만한 탈퇴의 위협’(credible threat of defection)을 제공한다.

"벤더는 그들의 시스템에 있는 데이터가 다른 환경에도 있다는 사실을 알고 있다. 그들에게 떠나는 손쉬운 마이그레이션 방법이 있는 것이다"라고 그가 말했다.

그는 실제로 탈퇴 능력을 보유할 필요는 없으며 믿을 만한 위협이면 충분하다고 판단한다. 캘런은 "모든 공급자를 정직하고 경쟁력 있게 유지할 수 있게 해준다"라고 말했다.

UCSD는 SAP와 자체 데이터 웨어하우스를 구축하고 있지만 ERP 측면에서는 오라클로 전향하고 있다. 재무정보 시스템을 대체하기 위해 최근 OCF(Oracle Cloud Financials)를 구매했으며 이 새로운 시스템은 2020년부터 가동할 예정이다.

"지난 3년 동안 모든 소프트웨어 구매 시 클라우드를 우선적으로 고려했기 때문에 클라우드 외에 더 이상 새로운 것이 없다. 우리는 1개의 데이터센터를 철거했으며 향후 3년 동안 또 다른 데이터센터를 철거할 것이다"라고 그는 말했다. 

캘런은 이어 "클라우드로 이행하는 경우 성능이 저하되는 현상이 일부 있기는 하다. 클라우드에서 구동할 수 없는 정말로 오래된 소프트웨어와 일부 전화 통신 방식만 남게 될 것"이라고 덧붙였다.

클라우드로의 이행은 비용 절감을 위한 것이기도 하다. 캘런은 "클라우드가 더 비싸다고 말하는 이도 있지만 사실은 그렇지 않다. 사람들은 구내 시스템의 모든 비용을 제대로 파악하지 못하고 있다"라고 말했다.

비용 그리고 위험 절감
켈런은 이런 숨겨진 비용을 살펴봤다며, "데이터 센터의 담보 비용, 방화 비용, UPS 비용, 시간에 따른 전기 인프라 변화, 인간 유지 비용을 더하면 클라우드가 더 저렴하다"라고 강조했다.

또 클라우드에서 애플리케이션을 운용하면 일반적으로 기본 클라우드 인프라의 가용성 구역 덕분에 일정 수준의 고장 허용범위를 누릴 수 있기 때문에 위험이 감소할 수 있다. 구내에서 같은 수준의 고장 허용범위 수준을 제공하면 비용이 2배가 될 수도 있다고 그가 덧붙였다.

그는 비용을 추가적으로 절감하는 방법이 있다며 예약된 인스턴스의 비용으로 용량을 구매하지만 필요에 따라 재판매하는 클라우드 브로커를 이용하는 것이라고 전했다. UCSD는 런던에 있는 스트래터직 블루(Strategic Blue)와 협력하고 있다.

그러나 클라우드에는 켈런에게 만족스럽지 못한 위험 수준의 영역이 있다. 그 중 하나는 클라우드 인프라 제공자가 고객을 쉽게 쫓아낼 수 있다는 점이다.

캘런은 "이를 감안해 콘테이너를 사용하려 시도하고 있다. 필요한 경우 클라우드 제공자를 변경할 수 있기 위해서다"라고 말했다. 이를 통해 가격 인상 시 믿을 만한 또 다른 탈퇴의 위협을 마련할 수 있는 셈이다. 그러나 현재 구글, 마이크로소프트, 아마존의 경쟁으로 가격이 합리적으로 안정화되고 있다라고 그는 덧붙였다.

또 다른 위험 영역은 클라우드 서비스 제공자가 보안 유출 시 수용하는 책임의 정도다. "그들은 모든 데이터와 처리 자료를 갖고 있지만 우리에게는 여전히 법적 위험이 크다"라고 켈런이 말했다. 하지만 그는 구내 시스템과 비교하여 제공할 수 있는 전반적인 보안의 수준이 높기 때문에 완화된다고 판단하고 있다.

켈런은 클라우드 인프라 제공자가 브로커 및 기타 제3자와 협력하여 고객에 더욱 유리하게 책임 관리의 균형을 맞추는 방법을 마련하기를 기대하고 있다. 그는 "제3자들이 계약 복잡성을 감당할 수 있기를 바란다"라고 말했다. ciokr@idg.co.kr

X