Offcanvas

��������� ���������

2022년 IT 지출처··· ‘핫한’ 7가지 ‘지는’ 4가지

IT 리더들이 ‘기술’을 활용하여 혁신과 비즈니스 트랜스포메이션에 박차를 가할 방안을 모색하고 있다. 그렇다면 투자가 늘어나고 있는 기술은 무엇인지, 반면에 약화되거나 축소되고 있는 기술은 무엇인지 살펴본다.  팬데믹 기간 동안 가속화된 디지털 트랜스포메이션 물결을 타고 올해에도 기업들은 혁신을 촉진하고 비즈니스 운영을 트랜스포메이션하고자 기술을 적극적으로 활용할 전망이다. 이를 위해서는 기술 투자가 필요하다. 이를 아는 기업들은 새로운 기술 및 기존 기술 예산을 늘리고 있다. 액센츄어에 따르면 전체 디지털 지출은 2023년까지 총 IT 지출의 55%를 차지할 것으로 예상되며, 지난 2021년보다 약 10% 증가하는 수준이다.    액센츄어의 수석 전무이사 애슐리 스카이름은 이러한 지출이 4가지 핵심 영역에 집중될 것이라고 밝혔다. 첫 번째는 시장 출시 속도가 중요한 시장(예: AI, 블록체인, AR/VR 등)에서 가치를 입증하기 위해 새로운 사용 사례를 빠르게 시험하고 프로토타이핑하면서 기업들이 ‘재창조하고 혁신하는’ 영역이다. 두 번째 영역은 데이터 및 애널리틱스용 플랫폼 등 ‘새로운 역량 또는 수익원을 창출하는 혁신적인 투자’를 통해 확장하고 차별화하면서 비즈니스를 성장시키는 것이다. 세 번째는 ERP/CRM, 품질, 공급 계획 시스템 등 경쟁력 있는 비즈니스 역량 또는 프로세스 디지털화를 통해 가치사슬을 디지털화하는 것이다. 마지막은 비즈니스를 운영하고, 데이터센터 및 네트워크 등에서 보안 및 컴플라이언스를 유지하는 데 필요한 기술 역량이다.  여기서는 2022년 CIO와 IT 리더들이 투자하게 될 ‘뜨거운(Hot)’ IT 기술 7가지와 ‘차가운(Cold)’ IT 기술 4가지를 정리했다.   Hot: 클라우드 네이티브 관리형 서비스 KPMG의 수석 고문 마크 생크는 클라우드 네이티브 관리형 서비스를 활용하기 위한 투자가 이뤄질 것이라고 말했다. 그는 “예전엔 기업들이 클라우드 투자로 인한 벤더 락...

IT 투자 IT 리더 CIO IT 리더십 디지털 트랜스포메이션 클라우드 네이티브 사물인터넷 데이터 레이크 데이터 웨어하우스 프라이빗 클라우드 직원 인게이지먼트 애널리틱스 데이터 과학 고객 경험 보안

2022.01.10

IT 리더들이 ‘기술’을 활용하여 혁신과 비즈니스 트랜스포메이션에 박차를 가할 방안을 모색하고 있다. 그렇다면 투자가 늘어나고 있는 기술은 무엇인지, 반면에 약화되거나 축소되고 있는 기술은 무엇인지 살펴본다.  팬데믹 기간 동안 가속화된 디지털 트랜스포메이션 물결을 타고 올해에도 기업들은 혁신을 촉진하고 비즈니스 운영을 트랜스포메이션하고자 기술을 적극적으로 활용할 전망이다. 이를 위해서는 기술 투자가 필요하다. 이를 아는 기업들은 새로운 기술 및 기존 기술 예산을 늘리고 있다. 액센츄어에 따르면 전체 디지털 지출은 2023년까지 총 IT 지출의 55%를 차지할 것으로 예상되며, 지난 2021년보다 약 10% 증가하는 수준이다.    액센츄어의 수석 전무이사 애슐리 스카이름은 이러한 지출이 4가지 핵심 영역에 집중될 것이라고 밝혔다. 첫 번째는 시장 출시 속도가 중요한 시장(예: AI, 블록체인, AR/VR 등)에서 가치를 입증하기 위해 새로운 사용 사례를 빠르게 시험하고 프로토타이핑하면서 기업들이 ‘재창조하고 혁신하는’ 영역이다. 두 번째 영역은 데이터 및 애널리틱스용 플랫폼 등 ‘새로운 역량 또는 수익원을 창출하는 혁신적인 투자’를 통해 확장하고 차별화하면서 비즈니스를 성장시키는 것이다. 세 번째는 ERP/CRM, 품질, 공급 계획 시스템 등 경쟁력 있는 비즈니스 역량 또는 프로세스 디지털화를 통해 가치사슬을 디지털화하는 것이다. 마지막은 비즈니스를 운영하고, 데이터센터 및 네트워크 등에서 보안 및 컴플라이언스를 유지하는 데 필요한 기술 역량이다.  여기서는 2022년 CIO와 IT 리더들이 투자하게 될 ‘뜨거운(Hot)’ IT 기술 7가지와 ‘차가운(Cold)’ IT 기술 4가지를 정리했다.   Hot: 클라우드 네이티브 관리형 서비스 KPMG의 수석 고문 마크 생크는 클라우드 네이티브 관리형 서비스를 활용하기 위한 투자가 이뤄질 것이라고 말했다. 그는 “예전엔 기업들이 클라우드 투자로 인한 벤더 락...

2022.01.10

벤더 기고ㅣ진화하는 ‘데이터 레이크’에 주목해야 할 시점··· 데이터 레이크 현황과 전망

데이터 레이크에 새롭게 주목해야 할 시점이다. 지금까지 기업들은 업무 프로세스를 지원하기 위해 ERP 등 시스템을 구축∙운영해 왔고, 이와 같은 레거시 시스템을 통해서 업무와 관련된 데이터가 발생해 왔다. 약 10년전 ‘빅데이터’라는 새로운 화두는 이처럼 업무를 담당하거나 운영을 지원하는 시스템에서 발생하는 데이터를 기업 의사결정에 접목하려는 목적으로 시작됐다. 이러한 목적에 있어 가장 근접한 ‘최신 기술 집약체’가 바로 ‘데이터 레이크’다. 데이터 레이크 분야에의 관심이 시장 성장으로 이어지고 있는 배경이다.    활성화 요인 데이터 레이크 시장이 뜨거워지는 주요 요인으로는 ▲ 데이터 활용 수요 증가, ▲ 데이터를 둘러싼 기술 발전, ▲ 데이터 기반 의사결정이라는 3가지 추세가 있다. ① 데이터 활용 수요 증가     데이터 레이크는 아직 가공되지 않은 데이터를 저장하기 때문에 보다 효율적으로 다양한 관점에서 분석을 진행할 수 있다. 한정된 데이터에 기반한 분석을 넘어서는 것이 가능하다. 예를 들어 스트리밍 데이터를 활용한 분석, 대규모 데이터와 다양한 언어(텍스트, 이미지 및 비디오 포함)를 활용하는 보다 세분화한 형태의 마케팅, 여러 변수를 활용하는 정확도 높은 수요 예측 등을 가능케 한다.  이렇게 데이터를 활용하면서 기업의 운영 역량(Operational Excellency) 개선 사례(business case)가 늘어나고 있다. 다양한 실증 사례가 여러 산업에서 출현하면서 데이터를 활용하여 비즈니스 프로세스를 운영하려는 필요성이 수요와 연계되어, 데이터 활용 니즈가 증가 추세에 있다. ② 데이터를 둘러싼 기술 발전         기존 관계형 DBMS와 같은 전통방식으로는 BI(Business Intelligence)기반 리포트와 대시보드, ad hoc 보고서 작성 위주라는 한계가 있음을 기업 주체들이 경험했다. 이로 인해 빠르게 급증하...

데이터 레이크 데이터 활용 관계형 DBMS IT 인프라 데이터 분석 데이터 인프라 스마트 시티 사물인터넷 클라우드

2021.12.31

데이터 레이크에 새롭게 주목해야 할 시점이다. 지금까지 기업들은 업무 프로세스를 지원하기 위해 ERP 등 시스템을 구축∙운영해 왔고, 이와 같은 레거시 시스템을 통해서 업무와 관련된 데이터가 발생해 왔다. 약 10년전 ‘빅데이터’라는 새로운 화두는 이처럼 업무를 담당하거나 운영을 지원하는 시스템에서 발생하는 데이터를 기업 의사결정에 접목하려는 목적으로 시작됐다. 이러한 목적에 있어 가장 근접한 ‘최신 기술 집약체’가 바로 ‘데이터 레이크’다. 데이터 레이크 분야에의 관심이 시장 성장으로 이어지고 있는 배경이다.    활성화 요인 데이터 레이크 시장이 뜨거워지는 주요 요인으로는 ▲ 데이터 활용 수요 증가, ▲ 데이터를 둘러싼 기술 발전, ▲ 데이터 기반 의사결정이라는 3가지 추세가 있다. ① 데이터 활용 수요 증가     데이터 레이크는 아직 가공되지 않은 데이터를 저장하기 때문에 보다 효율적으로 다양한 관점에서 분석을 진행할 수 있다. 한정된 데이터에 기반한 분석을 넘어서는 것이 가능하다. 예를 들어 스트리밍 데이터를 활용한 분석, 대규모 데이터와 다양한 언어(텍스트, 이미지 및 비디오 포함)를 활용하는 보다 세분화한 형태의 마케팅, 여러 변수를 활용하는 정확도 높은 수요 예측 등을 가능케 한다.  이렇게 데이터를 활용하면서 기업의 운영 역량(Operational Excellency) 개선 사례(business case)가 늘어나고 있다. 다양한 실증 사례가 여러 산업에서 출현하면서 데이터를 활용하여 비즈니스 프로세스를 운영하려는 필요성이 수요와 연계되어, 데이터 활용 니즈가 증가 추세에 있다. ② 데이터를 둘러싼 기술 발전         기존 관계형 DBMS와 같은 전통방식으로는 BI(Business Intelligence)기반 리포트와 대시보드, ad hoc 보고서 작성 위주라는 한계가 있음을 기업 주체들이 경험했다. 이로 인해 빠르게 급증하...

2021.12.31

칼럼ㅣ'ETL'은 빅데이터와의 경쟁에서 패배했다

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시의 데이터 프로세스는 순차적이고, 정적이었으며, 유연하지 못했다. 그러한 시대에서 통합은 혁명이었으며, ‘ETL(추출, 변환, 로드)’은 일반적인 비즈니스 범위를 벗어나는 최신 기술이었다.    다시 현재로 거슬러 올라오자. 오늘날 인터넷에서는 수십억 명의 사용자가 매 순간 상상할 수 없는 양의 데이터를 생성하고 있다. 이로 인해 새로운 시스템 환경이 탄생하고, 모든 것이 주문형(on-demand)으로 이뤄지고 있다.  그 시대의 많은 프로세스와 마찬가지로, 온프레미스 환경을 위한 전통적인 ETL은 더 이상 필요가 없다. 수년간의 진화에도 불구하고 기존 ETL 프로세스는 빅 데이터라는 광기와의 경쟁에서 패배했다.  가트너에 따르면 분석 인사이트의 20%만이 핵심 비즈니스 결과를 촉발한다. 예상한 대로 부정확하고 불충분한 데이터가 주요 원인이다.  전통적인 ETL의 단점 기존 ETL에는 다음과 같은 단점이 있다.  • 모든 변환의 비즈니스 요구사항이 고유하기 때문에 데이터 엔지니어는 커스텀 코드 프로그램 및 스크립트를 처리해야 한다. 따라서 특화되고 변환 불가능한 기술을 개발해야 하고, 코드 베이스 관리가 복잡해진다.   • ETL은 지속적인 간접비가 발생한다. 전담 데이터 엔지니어의 긴 재설계 사이클이 필요하다.   • ETL에서 데이터 과학자는 엔지니어가 변환하고 정제한 데이터 세트만 받을 수 있다. 이로 인해 프로세스가 경직될 뿐만 아니라 결과의 민첩성이 제한된다.   • 초기에 ETL의 목적은 주기적인 배치(batch) 처리 세션이었다. 이는 지속적이고 자동화된 데이터 스트리밍을 지원하지 않는다. 또한 실시간 데이...

ETL ELT 데이터 빅 데이터 데이터 과학 데이터 관리 데이터 레이크 데이터 웨어하우스

2021.09.15

‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시의 데이터 프로세스는 순차적이고, 정적이었으며, 유연하지 못했다. 그러한 시대에서 통합은 혁명이었으며, ‘ETL(추출, 변환, 로드)’은 일반적인 비즈니스 범위를 벗어나는 최신 기술이었다.    다시 현재로 거슬러 올라오자. 오늘날 인터넷에서는 수십억 명의 사용자가 매 순간 상상할 수 없는 양의 데이터를 생성하고 있다. 이로 인해 새로운 시스템 환경이 탄생하고, 모든 것이 주문형(on-demand)으로 이뤄지고 있다.  그 시대의 많은 프로세스와 마찬가지로, 온프레미스 환경을 위한 전통적인 ETL은 더 이상 필요가 없다. 수년간의 진화에도 불구하고 기존 ETL 프로세스는 빅 데이터라는 광기와의 경쟁에서 패배했다.  가트너에 따르면 분석 인사이트의 20%만이 핵심 비즈니스 결과를 촉발한다. 예상한 대로 부정확하고 불충분한 데이터가 주요 원인이다.  전통적인 ETL의 단점 기존 ETL에는 다음과 같은 단점이 있다.  • 모든 변환의 비즈니스 요구사항이 고유하기 때문에 데이터 엔지니어는 커스텀 코드 프로그램 및 스크립트를 처리해야 한다. 따라서 특화되고 변환 불가능한 기술을 개발해야 하고, 코드 베이스 관리가 복잡해진다.   • ETL은 지속적인 간접비가 발생한다. 전담 데이터 엔지니어의 긴 재설계 사이클이 필요하다.   • ETL에서 데이터 과학자는 엔지니어가 변환하고 정제한 데이터 세트만 받을 수 있다. 이로 인해 프로세스가 경직될 뿐만 아니라 결과의 민첩성이 제한된다.   • 초기에 ETL의 목적은 주기적인 배치(batch) 처리 세션이었다. 이는 지속적이고 자동화된 데이터 스트리밍을 지원하지 않는다. 또한 실시간 데이...

2021.09.15

칼럼ㅣ데이터 레이크 저물고 '데이터 패브릭' 떠오른다

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

데이터 관리 데이터 거버넌스 마스터 데이터 관리 데이터 레이크 데이터 웨어하우스 데이터 패브릭 데이터 메시

2021.09.10

데이터 레이크와 데이터 웨어하우스가 여전히 유용하긴 하지만 이제 데이터 관리에 새로운 접근법을 취할 때다.  지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.  이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.    하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.  그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.  데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.  하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.  데이터 플랫폼 아키텍처...

2021.09.10

김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

김진철 빅데이터 데이터 과학 데이터 과학자 빅데이터 비즈니스 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.05.31

이번 글은 지난 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용 교훈의 핵심들을 다시 정리해보려고 한다. 지난 쉰 두 번째 글에서는 빅데이터 비즈니스와 관련된 기술의 종류와 활용법에 대해 살펴본 1회부터 21회까지의 기고 내용을 정리한 글이었다. 이번 글은 필자가 독자들로부터 가장 많은 문의를 받았던 빅데이터 비즈니스 조직의 조직과 운영 방법에 관한 내용을 다루었던 22회부터 34회까지 글의 핵심 내용을 정리해보려고 한다.   22회: 빅데이터 조직과 시스템 (1) (2018년 10월 26일 게재)  빅데이터 비즈니스 프로젝트는 아무리 작은 규모라고 해도 일반 기업이 부담하기에는 꽤 많은 자원과 인력이 투입된다. 성공적인 빅데이터 비즈니스를 위해서는 단순히 빅데이터 시스템을 도입하기 위한 조직이 아니라, 빅데이터 시스템을 인프라로 갖춘 후에도 이를 유지, 보수, 운영하면서 데이터 과학 활동을 꾸준하게 할 수 있는 조직 체계가 갖춰져야 한다. CERN의 LHC 실험에서는 막대한 규모의 빅데이터를 처리, 분석할 수 있는 LHC 컴퓨팅 그리드를 건설하기 위해 각 검출기 실험의 “국제공동협력 이사회(Collaboration Board)”와 동급으로 “자원 검토 이사회(Resources Review Board)”를 상설 기구로 두었다. 이 “자원 검토 이사회(Resources Review Board)”는 매 분기별로 실험에 참여하는 각 국 정부의 실험 참여 분담금과 연구팀의 예산, 인력 상황을 검토하고 프로젝트 진행상황을 면밀하게 점검하였다. LHC 가속기와 네 개의 입자 검출기 건설에만 20여년이 걸리고, 건설 후에도 40여년 가까이 운영되어야 하기 때문에, LHC 프로젝트는 많은 위험 요소를 가지고 있다. 근본적으로 LHC 실험이 우주를 구성하는 물질의 근본적인 원리를 탐구하고 밝히려는 과학적 발견과 성과에 초점이 맞춰져 있어 기본적으로 물리학과 가속기, 검출기 건설, 유지, 보수를 위한 공학적, 기술적 측면에 프로젝트...

2021.05.31

기고 | ‘늪에 빠진 산업 데이터를 구하라’··· 데이터 히스토리언에 거는 기대

산업 조직들이 보유한 수십 년 묵은 방대한 데이터는 양날의 검과 같다. 제조 공장에서 정제 공장에 이르기까지 산업 조직들은 그동안 신기술이 나오는 족족 채택하곤 했다. 구내에 설치된 구형 기술 위에 스마트 센서, 사물인터넷(IoT) 연결 장치, 클라우드, 산업 AI 등의 신기술을 쌓은 것이다.  그 결과 쌓인 기술의 데이터 생성 방식이 서로 판이하다. 데이터의 전송, 저장 및 확보 방식에서부터 데이터가 상주하는 네트워크 계층, 데이터의 형식 설정 및 접근 방식(그리고 누가 데이터 접근권을 갖는지)에 대한 기본 문제에 이르기까지 이 모든 것은 데이터의 출처에 따라 크게 다르다.  쇠퇴하는 분야 지식에 대한 의존도로 인해 산업 ‘두뇌 유출’ 발생 이 문제는 그동안 산업 부분에서 서서히 그러나 꾸준히 일어난 ‘두뇌 유출’(brain drain)에 의해 더욱 악화됐다. 산업 두뇌 유출은 숙련된 직원이나 분야 전문가들이 은퇴나 기술적 또는 사회적 변화로 인해 단순히 퇴사하는 것에 그치지 않고 산업 전체를 떠날 때 일어난다. 산업 데이터가 이 정도로 다양하고 복잡하면 데이터의 저장 장소와, 형식, 접근 방법 등 기본적인 내용을 파악하는 데만도 고도의 전문 지식과 기술을 갖춘 인력이 필요하다. 많은 조직들이 그동안 근근히 버텨온 것도 조직 전체가 기댈 수 있는 전문 지식을 갖춘 장기 근속 베테랑 근로자들이 있었기 때문이었다.  그러나 엔지니어들이 나이가 들면서 점점 물러나고 그 자리를 대신 차지하게 된 젊은 직원들은 그러한 전문 지식이 없으며 이들이 훈련을 받은 기술과 개념도 완전히 상이하다. 이에 따라 각 조직에는 운영 전문 지식의 두뇌 유출 문제가 발생했다. 그 결과 생긴 기술 간극은 점점 더 넓어졌으며, 기본적인 데이터 랭글링(data wrangling) 작업 처리조차도 거의 불가능해졌다.   데이터가 많을수록 좋은 것은 아니다 산업 조직의 현장 곳곳에 센서와 연결 장치가 설치되는 1차적인 목적은 데이터를 더 많이 생성하기 ...

데이터 레이크 데이터 히스토리언 산업 데이터

2021.05.25

산업 조직들이 보유한 수십 년 묵은 방대한 데이터는 양날의 검과 같다. 제조 공장에서 정제 공장에 이르기까지 산업 조직들은 그동안 신기술이 나오는 족족 채택하곤 했다. 구내에 설치된 구형 기술 위에 스마트 센서, 사물인터넷(IoT) 연결 장치, 클라우드, 산업 AI 등의 신기술을 쌓은 것이다.  그 결과 쌓인 기술의 데이터 생성 방식이 서로 판이하다. 데이터의 전송, 저장 및 확보 방식에서부터 데이터가 상주하는 네트워크 계층, 데이터의 형식 설정 및 접근 방식(그리고 누가 데이터 접근권을 갖는지)에 대한 기본 문제에 이르기까지 이 모든 것은 데이터의 출처에 따라 크게 다르다.  쇠퇴하는 분야 지식에 대한 의존도로 인해 산업 ‘두뇌 유출’ 발생 이 문제는 그동안 산업 부분에서 서서히 그러나 꾸준히 일어난 ‘두뇌 유출’(brain drain)에 의해 더욱 악화됐다. 산업 두뇌 유출은 숙련된 직원이나 분야 전문가들이 은퇴나 기술적 또는 사회적 변화로 인해 단순히 퇴사하는 것에 그치지 않고 산업 전체를 떠날 때 일어난다. 산업 데이터가 이 정도로 다양하고 복잡하면 데이터의 저장 장소와, 형식, 접근 방법 등 기본적인 내용을 파악하는 데만도 고도의 전문 지식과 기술을 갖춘 인력이 필요하다. 많은 조직들이 그동안 근근히 버텨온 것도 조직 전체가 기댈 수 있는 전문 지식을 갖춘 장기 근속 베테랑 근로자들이 있었기 때문이었다.  그러나 엔지니어들이 나이가 들면서 점점 물러나고 그 자리를 대신 차지하게 된 젊은 직원들은 그러한 전문 지식이 없으며 이들이 훈련을 받은 기술과 개념도 완전히 상이하다. 이에 따라 각 조직에는 운영 전문 지식의 두뇌 유출 문제가 발생했다. 그 결과 생긴 기술 간극은 점점 더 넓어졌으며, 기본적인 데이터 랭글링(data wrangling) 작업 처리조차도 거의 불가능해졌다.   데이터가 많을수록 좋은 것은 아니다 산업 조직의 현장 곳곳에 센서와 연결 장치가 설치되는 1차적인 목적은 데이터를 더 많이 생성하기 ...

2021.05.25

김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1)

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

김진철 빅 데이터 데이터 과학 아파치 하둡 스파크 데이터 레이크 인공지능 딥러닝 해석가능성 클라우드 운영 지능화

2021.04.27

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

2021.04.27

김진철의 How-to-Big Data | 빅데이터 괴담

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

김진철 빅데이터 데이터 과학 데이터 과학자 시행착오 데이터 레이크 하둡 스타트업 스파크 플링크 에어플로우 데이터웨어하우스 도커 서비스메시 쿠버네티스

2021.03.29

이번 글은 필자가 지금까지 데이터 과학자로 경력을 쌓아오면서 경험했거나 듣고 읽었던 빅데이터 활용 사례들을 중심으로 빅데이터를 활용하는 과정에서 많은 조직이 흔히 저지르는 실수와 오해, 시행착오에 대해서 살펴보고, 이를 어떻게 개선할 수 있을지 같이 생각해보기로 한다. 소개하는 사례들은 실제 사례들이 아니라 필자가 경험했거나 들은 사례들을 각색하여 만든 가상의 사례들이며, 필자가 전달하고자 하는 메시지를 부각하기 위해 조금 과장했음을 미리 알려 둔다. 지금까지 같이 생각해봤던 빅데이터 활용의 교훈을 되새기고 독자들의 시행착오를 줄이는 것을 돕기 위해 만들 사례들이니 사실이 아닌 것을 염두에 주고 가볍고 즐겁게 읽었으면 좋겠다.   사례 1: 데이터 호수가 너무 넓어서 ROI가 나지 않아 곤란한 A 기업의 CIO 이야기 많은 사람에게 널리 알려진 A 회사에서 빅데이터를 앞세워 승승장구한 C는 요즘 고민이 많다. 문제는 바로 그에게 회사에서 승승장구한 경력을 만들어준 데이터 레이크 시스템 때문이다. C는 2011년도 빅데이터 붐이 일기 시작할 즈음 승진을 위한 기획 아이템으로 뭘 앞세울까 고민하다가 그 당시 막 떠오르고 있던 빅데이터를 앞세워서 A 회사에 하둡 기반의 빅데이터 시스템을 구축하는 기획안을 만들어 임원의 승인을 받는 데 성공했다.  당시 NexR과 같이 오픈소스 하둡을 기반으로 빅데이터 솔루션을 상용화하는 스타트업이 막 등장하고 있었다. 이런 스타트업 중에서 괜찮은 회사 하나를 잘 골라서 같이 일하면서 키우면 자신의 승진에 많이 도움이 될 것 같았다. 운이 좋다면 자신의 직속 임원이 이 스타트업을 인수, 합병하여 사업 성과를 낼 수 있도록 하면서 그 회사의 고급 소프트웨어 엔지니어들을 자연스럽게 회사로 영입하여 자신의 세력으로 키울 수 있을 것 같았다. C는 당시 하둡 기반 빅데이터 스타트업으로서 같이 하둡 시스템 구축 사업을 수행한 D사를 잘 활용하여 예상보다 빠르게 하둡 시스템을 안정적으로 구축할 수 있었다. 이후 프...

2021.03.29

더 스마트한 컴퓨팅··· ‘엣지 애널리틱스’가 견인한다

실시간 애널리틱스 분야에서의 ‘엣지 컴퓨팅’과 ‘IoT 기기’ 활용은 무한한 가능성을 가지고 있다. 엣지 구축을 위한 애널리틱스 모델 설계가 만만치 않지만 말이다.  애널리틱스 및 머신러닝과 관련한 많은 사용 사례가 데이터 웨어하우스 또는 데이터 레이크에 저장된 데이터와 연결되고, 전체 데이터세트나 데이터 하위 집합에서 알고리즘을 실행하며, 클라우드 아키텍처에서 결과를 계산한다. 이는 데이터가 빈번하게 변경되지 않는다면 효과적인 방식이다. 하지만 데이터가 자주 바뀐다면?    오늘날 많은 기업에서 실시간으로 데이터를 처리하고 분석해야 할 필요성이 높아지고 있다. 이러한 변화를 주도한 건 사물인터넷(IoT)이다. 센서에서 스트리밍되는 데이터로 다운스트림 시스템을 제어하기 위해서는 즉각적인 처리와 애널리틱스가 필요하기 때문이다.  또한 실시간 애널리틱스는 의료, 금융 서비스, 제조, 광고 등을 포함한 많은 산업에서도 중요하다. 데이터의 작은 변화가 금융, 의료, 안전 및 기타 비즈니스에 상당한 영향을 미칠 수 있어서다.   실시간 애널리틱스에 관심이 있다면? 또한 엣지 컴퓨팅, AR/VR, 대규모 IoT 센서 및 머신러닝을 조합해 활용하는 신기술에 관심이 있다면? ‘엣지 애널리틱스’ 설계를 이해하는 게 중요하다. 자율주행 드론, 스마트 시티, 소매 체인 관리, 증강현실 게임 네트워크 등의 엣지 컴퓨팅 사용 사례가 모두 대규모이면서 안정적인 엣지 애널리틱스 구축을 목표로 하기 때문이다.  엣지 애널리틱스, 스트리밍 애널리틱스 그리고 엣지 컴퓨팅  서로 다른 여러 애널리틱스, 머신러닝, 엣지 컴퓨팅 패러다임은 ‘엣지 애널리틱스’와 관련돼 있다.  • 엣지 애널리틱스(Edge analytics)는 클라우드 외부 인프라, 그리고 지리적으로 로컬화된 인프라의 ‘엣지에(on the edge)’ 구축된 애널리틱스 및 머신러닝 알고리즘을 가리킨다.  • 스트리밍 애널리틱스(S...

스마트 컴퓨팅 엣지 엣지 컴퓨팅 엣지 애널리틱스 IoT 사물인터넷 센서 데이터 웨어하우스 데이터 레이크 증강현실 가상현실 머신러닝 자율주행 드론 스마트 시티 스트리밍 애널리틱스 이벤트 프로세싱 포그 컴퓨팅

2020.10.28

실시간 애널리틱스 분야에서의 ‘엣지 컴퓨팅’과 ‘IoT 기기’ 활용은 무한한 가능성을 가지고 있다. 엣지 구축을 위한 애널리틱스 모델 설계가 만만치 않지만 말이다.  애널리틱스 및 머신러닝과 관련한 많은 사용 사례가 데이터 웨어하우스 또는 데이터 레이크에 저장된 데이터와 연결되고, 전체 데이터세트나 데이터 하위 집합에서 알고리즘을 실행하며, 클라우드 아키텍처에서 결과를 계산한다. 이는 데이터가 빈번하게 변경되지 않는다면 효과적인 방식이다. 하지만 데이터가 자주 바뀐다면?    오늘날 많은 기업에서 실시간으로 데이터를 처리하고 분석해야 할 필요성이 높아지고 있다. 이러한 변화를 주도한 건 사물인터넷(IoT)이다. 센서에서 스트리밍되는 데이터로 다운스트림 시스템을 제어하기 위해서는 즉각적인 처리와 애널리틱스가 필요하기 때문이다.  또한 실시간 애널리틱스는 의료, 금융 서비스, 제조, 광고 등을 포함한 많은 산업에서도 중요하다. 데이터의 작은 변화가 금융, 의료, 안전 및 기타 비즈니스에 상당한 영향을 미칠 수 있어서다.   실시간 애널리틱스에 관심이 있다면? 또한 엣지 컴퓨팅, AR/VR, 대규모 IoT 센서 및 머신러닝을 조합해 활용하는 신기술에 관심이 있다면? ‘엣지 애널리틱스’ 설계를 이해하는 게 중요하다. 자율주행 드론, 스마트 시티, 소매 체인 관리, 증강현실 게임 네트워크 등의 엣지 컴퓨팅 사용 사례가 모두 대규모이면서 안정적인 엣지 애널리틱스 구축을 목표로 하기 때문이다.  엣지 애널리틱스, 스트리밍 애널리틱스 그리고 엣지 컴퓨팅  서로 다른 여러 애널리틱스, 머신러닝, 엣지 컴퓨팅 패러다임은 ‘엣지 애널리틱스’와 관련돼 있다.  • 엣지 애널리틱스(Edge analytics)는 클라우드 외부 인프라, 그리고 지리적으로 로컬화된 인프라의 ‘엣지에(on the edge)’ 구축된 애널리틱스 및 머신러닝 알고리즘을 가리킨다.  • 스트리밍 애널리틱스(S...

2020.10.28

“다섯 마리 토끼 잡아라”··· CIO가 앱 개발자에 원하는 것들

CIO와 IT 리더는 애플리케이션 개발, 보강, 현대화를 두고 우선순위 문제로 골머리를 앓고 있다. 한편으론 혁신, 우수한 사용자 경험, 애자일 데브옵스 관행을 추진 중이다. 또 다른 한편으로는 쌓여가는 기술 부채, 애플리케이션의 적절한 보안 검증, 프로덕션 환경에서의 프로토타입 실행 및 확장 가능 여부를 우려하기도 한다.    CIO와 IT 리더는 비유하자면 ‘모든 토끼를 잡길’ 원한다. 물론 이들은 개발자와 딜리버리 리더가 요구하는 것부터 해야만 하는 것, 원하는 것까지 속속들이 알고 있다. 코드를 제대로 개발하기 위해 더 많은 시간과 인력, 민첩한 개발 인프라와 현대적인 애플리케이션 개발 툴, 이해관계자의 적극적인 개입, 적절한 교육, 잘 정의된 우선순위 등을 바라는 것을 예로 들 수 있다.    그러나 IT 리더는 디지털 트랜스포메이션을 주도해야 하고, 예산 제약을 고려해야 하며, 컴플라이언스 요건을 충족해야 하는 비즈니스 현실에 직면해 있다.  또한 CIO는 애플리케이션 개발팀이 ‘절충(Trade-off)’과 관련해 신중한 결정을 내리는 방법, 개발 대상을 지원하기 위해 취해야 할 조치들 그리고 애플리케이션을 완성하는 것만큼이나 엔드유저, 이해관계자, 아키텍트, 운영팀과의 협력이 중요한 이유를 알길 원한다.  여기서는 이런 과제와 관련해 CIO가 개발팀에 원하는 다섯 가지 요소를 살펴본다.  1. 기술 부채와 혁신 사이의 균형을 맞춰라  예를 들면 혁신 전략을 추진하거나 혹은 새 기술에 관한 스파이크를 제품 백로그에 추가할 때 개발팀은 흥분하기 십상이다. CIO와 IT 리더도 혁신을 바라지만 개발팀이 기술 부채를 처리하지 않는다면 이를 우려할 수밖에 없다.  다시 말해, ‘건전한’ 제품 백로그라면 애자일 팀이 스파이크, 기술 부채, 신기능, 운영 개선 사이의 균형을 유지하고 있음을 보여줘야 한다는 뜻이다.  애자일 팀의 우선순위는 제품 소유자에게 있다...

CIO IT 리더 애플리케이션 개발 애플리케이션 현대화 혁신 사용자 경험 애자일 데브옵스 기술 부채 디지털 트랜스포메이션 컴플라이언스 스파이크 제품 백로그 스파게티 코드 데이터 레이크 로우코드 데이터 부채

2020.10.19

CIO와 IT 리더는 애플리케이션 개발, 보강, 현대화를 두고 우선순위 문제로 골머리를 앓고 있다. 한편으론 혁신, 우수한 사용자 경험, 애자일 데브옵스 관행을 추진 중이다. 또 다른 한편으로는 쌓여가는 기술 부채, 애플리케이션의 적절한 보안 검증, 프로덕션 환경에서의 프로토타입 실행 및 확장 가능 여부를 우려하기도 한다.    CIO와 IT 리더는 비유하자면 ‘모든 토끼를 잡길’ 원한다. 물론 이들은 개발자와 딜리버리 리더가 요구하는 것부터 해야만 하는 것, 원하는 것까지 속속들이 알고 있다. 코드를 제대로 개발하기 위해 더 많은 시간과 인력, 민첩한 개발 인프라와 현대적인 애플리케이션 개발 툴, 이해관계자의 적극적인 개입, 적절한 교육, 잘 정의된 우선순위 등을 바라는 것을 예로 들 수 있다.    그러나 IT 리더는 디지털 트랜스포메이션을 주도해야 하고, 예산 제약을 고려해야 하며, 컴플라이언스 요건을 충족해야 하는 비즈니스 현실에 직면해 있다.  또한 CIO는 애플리케이션 개발팀이 ‘절충(Trade-off)’과 관련해 신중한 결정을 내리는 방법, 개발 대상을 지원하기 위해 취해야 할 조치들 그리고 애플리케이션을 완성하는 것만큼이나 엔드유저, 이해관계자, 아키텍트, 운영팀과의 협력이 중요한 이유를 알길 원한다.  여기서는 이런 과제와 관련해 CIO가 개발팀에 원하는 다섯 가지 요소를 살펴본다.  1. 기술 부채와 혁신 사이의 균형을 맞춰라  예를 들면 혁신 전략을 추진하거나 혹은 새 기술에 관한 스파이크를 제품 백로그에 추가할 때 개발팀은 흥분하기 십상이다. CIO와 IT 리더도 혁신을 바라지만 개발팀이 기술 부채를 처리하지 않는다면 이를 우려할 수밖에 없다.  다시 말해, ‘건전한’ 제품 백로그라면 애자일 팀이 스파이크, 기술 부채, 신기능, 운영 개선 사이의 균형을 유지하고 있음을 보여줘야 한다는 뜻이다.  애자일 팀의 우선순위는 제품 소유자에게 있다...

2020.10.19

위기는 기회다··· 코로나 계기로 ‘디지털 변혁’ 가속한 美 보험사 사례

미국 대형 보험사 아플락(Aflac)의 최고 디지털 정보 책임자(Chief Digital Information Officer, CDIO) 리치 길버트가 코로나19 사태에서 혁신 로드맵을 어떻게 가속할 수 있었는지 그 이야기를 전해왔다.  230억 달러 규모의 보험사 아플락(Aflac)이 ‘디지털 트랜스포메이션’을 추진하기 시작한 때는 코로나19 사태가 터지기 전이었다. 2019년 초 시작된 ‘원 디지털 아플락(One Digital Aflac)’ 프로젝트는 기술을 활용해 고객이 더 편리하게 보험 상품을 구매하고, 영업팀이 더 쉽게 상품을 판매하며, 직원들이 더 간편하게 서비스를 제공할 수 있도록 하는 데 초점을 뒀다.    지난해 1월 아플락의 수석부사장 겸 CDIO로 취임한 리치 길버트는 “고객 관점에서 비즈니스를 살펴보고 전체적인 포트폴리오를 구성했다”라고 말했다.  그는 ‘원 디지털 아플락’을 추진하기 위해 IT 팀으로 하여금 데이터센터 최적화 및 데이터 레이크보다 더 가치 높은 부문에 집중하도록 했다고 설명했다. 그에 따르면 전자가 근간을 이루는 것이긴 하지만 고객 경험을 변화시키지 못했기 때문이다.  이어서 길버트는 “고객 중심적으로 운영 모델을 재편하고 비즈니스 서비스를 개선하고자 현업 부문 및 IT 팀을 하나로 모았다”라면서, “전략적 변화를 뒷받침하기 위해 조직 명칭을 IT에서 디지털 서비스로 바꾸기도 했다”라고 설명했다.  하지만 바로 그 후 코로나19 사태가 발생했다. ‘원 디지털 아플락’ 프로젝트를 추진했던 디지털 서비스팀은 즉각 전사적인 재택근무 시행(기존에는 15% 수준)을 지원해야 했다. 하지만 그들은 이를 충분히 대비하고 있었다는 게 그의 설명이다.  길버트는 “코로나19가 미국을 강타하기 3주 전에 심각성을 감지했다. 일본 지사의 보고 때문이었다. 보험 사업의 핵심은 위험 관리다. 따라서 우리는 가상 데스크톱을 빠르게 도입했으며, 원격인력을 지원하기 위해 노트...

아플락 디지털 트랜스포메이션 디지털 변혁 코로나19 위기 기회 혁신 데이터센터 데이터 레이크 협업 툴 디지털화 디지털 경험 API 자동화

2020.08.21

미국 대형 보험사 아플락(Aflac)의 최고 디지털 정보 책임자(Chief Digital Information Officer, CDIO) 리치 길버트가 코로나19 사태에서 혁신 로드맵을 어떻게 가속할 수 있었는지 그 이야기를 전해왔다.  230억 달러 규모의 보험사 아플락(Aflac)이 ‘디지털 트랜스포메이션’을 추진하기 시작한 때는 코로나19 사태가 터지기 전이었다. 2019년 초 시작된 ‘원 디지털 아플락(One Digital Aflac)’ 프로젝트는 기술을 활용해 고객이 더 편리하게 보험 상품을 구매하고, 영업팀이 더 쉽게 상품을 판매하며, 직원들이 더 간편하게 서비스를 제공할 수 있도록 하는 데 초점을 뒀다.    지난해 1월 아플락의 수석부사장 겸 CDIO로 취임한 리치 길버트는 “고객 관점에서 비즈니스를 살펴보고 전체적인 포트폴리오를 구성했다”라고 말했다.  그는 ‘원 디지털 아플락’을 추진하기 위해 IT 팀으로 하여금 데이터센터 최적화 및 데이터 레이크보다 더 가치 높은 부문에 집중하도록 했다고 설명했다. 그에 따르면 전자가 근간을 이루는 것이긴 하지만 고객 경험을 변화시키지 못했기 때문이다.  이어서 길버트는 “고객 중심적으로 운영 모델을 재편하고 비즈니스 서비스를 개선하고자 현업 부문 및 IT 팀을 하나로 모았다”라면서, “전략적 변화를 뒷받침하기 위해 조직 명칭을 IT에서 디지털 서비스로 바꾸기도 했다”라고 설명했다.  하지만 바로 그 후 코로나19 사태가 발생했다. ‘원 디지털 아플락’ 프로젝트를 추진했던 디지털 서비스팀은 즉각 전사적인 재택근무 시행(기존에는 15% 수준)을 지원해야 했다. 하지만 그들은 이를 충분히 대비하고 있었다는 게 그의 설명이다.  길버트는 “코로나19가 미국을 강타하기 3주 전에 심각성을 감지했다. 일본 지사의 보고 때문이었다. 보험 사업의 핵심은 위험 관리다. 따라서 우리는 가상 데스크톱을 빠르게 도입했으며, 원격인력을 지원하기 위해 노트...

2020.08.21

굿바이 하둡! 라쿠텐, 클라우드 기반 스노우플레이크로 전환

일본 전자상거래 대기업 라쿠텐의 미국 내 자회사인 라쿠텐 리워즈가 하드웨어 비용을 줄이고 더 쉽게 자산을 관리하기 위해 하둡 대신 새로운 시스템을 도입했다.  캘리포니아에 있는 라쿠텐 리워즈는 웹에서 제휴 마케팅 링크로 돈을 버는 쇼핑 포인트 회사다. 이에 대한 보상으로 회원들은 파트너 소매기업을 통해 구매할 때마다 포인트와 캐쉬백 보상을 얻는다.   따라서 많은 사용자 통찰 데이터를 얻을 수밖에 없으며, 정확히 말하자면 콜드 스토리지 안에 수백 테라바이트의 데이터가 저장되어 있다. 2018년 라쿠텐 리워즈는 파이썬이나 스칼라 코딩 작업 없이 더 많은 사용자에게 이 통찰을 제대로 제공하기위해, 그리고 하드웨어에 대한 자본 지출을 줄이기 위해 클라우드를 고려하기 시작했다. ‘SQL 서버 기기는 우아하게 확장되지 않는다’ 이베이츠(Ebates)라는 이름을 사용했던 이 회사는 2014년에 일본의 전자상거래 대기업 라쿠텐(Rakuten)에 인수됐으며 그 이후로 빠르게 성장하면서 기술 스택을 현대화하고 고객을 유도하고 유지하는 방식을 더욱 데이터 지향적으로 바꾸게 되었다. 그 시작은 아키텍처였다. 지난 3년 동안, 라쿠텐 리워즈는 자사의 빅데이터 자산을 대부분 온프레미스 SQL에서 온프레미스 하둡으로 이전했으며 지금은 스노우플레이크의 클라우드 데이터 웨어하우스 서비스로 이전했다. 라쿠텐 리워즈의 분석 VP 마크 스테인지 트리기어는 “SQL 서버 기기는 우아하게 확장되지 않기 때문에 우리는 클라우데라를 통해 온프레미스 하둡을 선택했고 스파크와 파이썬을 사용하여 ETL을 운용했으며 거기에서 어느 정도 성능을 얻었다”라고 <인포월드>에 밝혔다. 그는 “[하둡] 구조를 관리하는 것은 다소 복잡한 일이기 때문에 클라우드 웨어하우스를 본 후 이전을 결정했고 중앙 집중식 기업용 데이터 웨어하우스와 레이크를 갖게 되었다”라고 말했다. 전직 블룸버그 개발자이자 빅데이터 컨설턴트인 마크 리트빈치크는 자신의 블로그 게시물 “하둡은 죽었나?”에서...

전자상거래 빅데이터 하둡 스칼라 파이썬 스파크 SQL 라쿠텐 스노우플레이크 데이터 웨어하우스 DW 데이터 레이크 ETL 클라우데라 캐쉬백

2020.06.25

일본 전자상거래 대기업 라쿠텐의 미국 내 자회사인 라쿠텐 리워즈가 하드웨어 비용을 줄이고 더 쉽게 자산을 관리하기 위해 하둡 대신 새로운 시스템을 도입했다.  캘리포니아에 있는 라쿠텐 리워즈는 웹에서 제휴 마케팅 링크로 돈을 버는 쇼핑 포인트 회사다. 이에 대한 보상으로 회원들은 파트너 소매기업을 통해 구매할 때마다 포인트와 캐쉬백 보상을 얻는다.   따라서 많은 사용자 통찰 데이터를 얻을 수밖에 없으며, 정확히 말하자면 콜드 스토리지 안에 수백 테라바이트의 데이터가 저장되어 있다. 2018년 라쿠텐 리워즈는 파이썬이나 스칼라 코딩 작업 없이 더 많은 사용자에게 이 통찰을 제대로 제공하기위해, 그리고 하드웨어에 대한 자본 지출을 줄이기 위해 클라우드를 고려하기 시작했다. ‘SQL 서버 기기는 우아하게 확장되지 않는다’ 이베이츠(Ebates)라는 이름을 사용했던 이 회사는 2014년에 일본의 전자상거래 대기업 라쿠텐(Rakuten)에 인수됐으며 그 이후로 빠르게 성장하면서 기술 스택을 현대화하고 고객을 유도하고 유지하는 방식을 더욱 데이터 지향적으로 바꾸게 되었다. 그 시작은 아키텍처였다. 지난 3년 동안, 라쿠텐 리워즈는 자사의 빅데이터 자산을 대부분 온프레미스 SQL에서 온프레미스 하둡으로 이전했으며 지금은 스노우플레이크의 클라우드 데이터 웨어하우스 서비스로 이전했다. 라쿠텐 리워즈의 분석 VP 마크 스테인지 트리기어는 “SQL 서버 기기는 우아하게 확장되지 않기 때문에 우리는 클라우데라를 통해 온프레미스 하둡을 선택했고 스파크와 파이썬을 사용하여 ETL을 운용했으며 거기에서 어느 정도 성능을 얻었다”라고 <인포월드>에 밝혔다. 그는 “[하둡] 구조를 관리하는 것은 다소 복잡한 일이기 때문에 클라우드 웨어하우스를 본 후 이전을 결정했고 중앙 집중식 기업용 데이터 웨어하우스와 레이크를 갖게 되었다”라고 말했다. 전직 블룸버그 개발자이자 빅데이터 컨설턴트인 마크 리트빈치크는 자신의 블로그 게시물 “하둡은 죽었나?”에서...

2020.06.25

비즈니스 전략으로 부상하다··· 2020년 애널리틱스 4대 트렌드

데이터 애널리틱스는 끊임없이 변하는 분야다. 디지털 트랜스포메이션을 지원하기 위해 애널리틱스에 투자하는 기업이라면 최신 동향을 확인할 이유가 뚜렷하다 IDG의 ‘CIO 2020 현황’ 보고서에 따르면 37%의 IT리더가 올해 자신의 조직에서 데이터/비즈니스 애널리틱스가 최대의 IT투자가 될 것이라고 응답했다. 보안/위험 관리는 34%로 IT투자 전망에서 2위를 차지했다. 나아가, 업종과 기업 규모에 관계 없이, IT는 데이터 및 애널리틱스 니즈를 충족시킬 최종 책임을 지는 부서가 될 확률이 가장 높은 것으로 조사됐다. 서로 밀접히 연결된 2020년 데이터 애널리틱스 트렌드 4가지를 살펴본다.    데이터 전략 = 비즈니스 전략  한때 유행했던 ‘빅데이터’ 개념은 이제 비즈니스에 영향을 주는 모든 크기와 종류의 데이터를 감안하는 각종 데이터 전략으로 대체되고 있다.  미국 컴퓨터기술산업협회(CompTIA)의 수석 기술 분석 임원인 세스 로빈슨은 “지난해부터 빅데이터에 대한 관심이 크게 줄어들었다. 지나치게 광범위한 데이터 전략이기 때문이라고 생각한다”라고 말했다.  포레스터 리서치의 부사장이자 수석 애널리스티인 브라이언 홉킨스는 “빅데이터의 쇠퇴가 확연하다. 아무도 빅데이터에 더 이상 신경 쓰지 않는다”라고 말했다.  로빈슨과 마찬가지로, 홉킨스는 빅데이터에 대해 이제 조직이 디지털 트랜스포메이션을 위해 데이터 전략들을 조합할 때 데이터 스택 가운데 하나로서 자리할 뿐이라고 생각한다. 그는 조직이 데이터 주도형 AI 애플리케이션을 추진함에 따라 특히 고객 경험 측면에서 ‘정확한 데이터를 확보하는 것’이 중요해졌다고 말했다.  이를 위해 CIO는 데이터 과학자가 데이터 준비, 데이터 정리, 데이터 합리화에 더 적은 시간을 쓰고, 대신 완벽한 데이터로 모델을 구축하는데 더 많은 시간을 쓸 수 있도록 소스 데이터를 가공해야 한다고 그는 언급했다.  홉킨스는 “문제는 CIO의 데이터...

2020 트렌드 윤리 대시보드 데이터 애널리틱스 데이터 레이크 데이터 인프라

2020.03.05

데이터 애널리틱스는 끊임없이 변하는 분야다. 디지털 트랜스포메이션을 지원하기 위해 애널리틱스에 투자하는 기업이라면 최신 동향을 확인할 이유가 뚜렷하다 IDG의 ‘CIO 2020 현황’ 보고서에 따르면 37%의 IT리더가 올해 자신의 조직에서 데이터/비즈니스 애널리틱스가 최대의 IT투자가 될 것이라고 응답했다. 보안/위험 관리는 34%로 IT투자 전망에서 2위를 차지했다. 나아가, 업종과 기업 규모에 관계 없이, IT는 데이터 및 애널리틱스 니즈를 충족시킬 최종 책임을 지는 부서가 될 확률이 가장 높은 것으로 조사됐다. 서로 밀접히 연결된 2020년 데이터 애널리틱스 트렌드 4가지를 살펴본다.    데이터 전략 = 비즈니스 전략  한때 유행했던 ‘빅데이터’ 개념은 이제 비즈니스에 영향을 주는 모든 크기와 종류의 데이터를 감안하는 각종 데이터 전략으로 대체되고 있다.  미국 컴퓨터기술산업협회(CompTIA)의 수석 기술 분석 임원인 세스 로빈슨은 “지난해부터 빅데이터에 대한 관심이 크게 줄어들었다. 지나치게 광범위한 데이터 전략이기 때문이라고 생각한다”라고 말했다.  포레스터 리서치의 부사장이자 수석 애널리스티인 브라이언 홉킨스는 “빅데이터의 쇠퇴가 확연하다. 아무도 빅데이터에 더 이상 신경 쓰지 않는다”라고 말했다.  로빈슨과 마찬가지로, 홉킨스는 빅데이터에 대해 이제 조직이 디지털 트랜스포메이션을 위해 데이터 전략들을 조합할 때 데이터 스택 가운데 하나로서 자리할 뿐이라고 생각한다. 그는 조직이 데이터 주도형 AI 애플리케이션을 추진함에 따라 특히 고객 경험 측면에서 ‘정확한 데이터를 확보하는 것’이 중요해졌다고 말했다.  이를 위해 CIO는 데이터 과학자가 데이터 준비, 데이터 정리, 데이터 합리화에 더 적은 시간을 쓰고, 대신 완벽한 데이터로 모델을 구축하는데 더 많은 시간을 쓸 수 있도록 소스 데이터를 가공해야 한다고 그는 언급했다.  홉킨스는 “문제는 CIO의 데이터...

2020.03.05

‘고마해라, 마니 써묵었다 아이가’··· CIO들이 지루해하는 7가지 유행어

기술 분야에서 ‘유행’과 ‘과장’은 연료를 공급하는 역할을 하기도 한다. 그러나 이로 인해 실망하고 좌절하게 되는 경우도 흔하다. 2020년 유효성을 잃어가는 전문 용어들을 정리했다. IT 업계는 유독 잘못된 전문 용어가 난무하는 편이다. 컨설턴트들이 구사하는 여러 신조어, 벤더들이 강조하는 현란한 유행어는 CIO를 비롯한 IT 전문가들을 함정에 빠뜨리기 십상이다. 때로는 기업 내 IT 전문가들조차도 이러한 풍토에 일조한다.  적절하고 유효한 전문 용어가 분명 있지만, 느슨하게 정의되거나 오해를 불러일으키는 용어들 또한 존재한다. 너무 구식이어서 작업의 특성을 제대로 설명하지 못하는 경우도 있으며, 중요한 특성이나 요소가 빠짐에 따라 불완전한 사례도 찾아볼 수 있다. 2020년 업계 IT 리더들이 재조정 필요성을 언급한 유행어를 정리했다.    1. 디지털 트랜스포메이션 컨설팅 기업 모건프랭클린의 프란츠하 버드는 ‘디지털 트랜스포메이션’에 대한 환멸이 CIO들 사이에 싹트고 있다면서, 마치 비즈니스와의 정렬 문제를 해결하는 만병통치약처럼 활용되곤 하기 때문이라고 진단했다. 그는 “(이 용어가) 처음 나왔을 때 기업 운영의 디지털화라는 의미를 깔고 있었다. 그러나 모두 납득할 수 있는 의미를 제대로 제시한 이는 없었다. 저마다 다르게 정의하고 있다. 즉흥적인 농담처럼 들릴 지경이다”라고 말했다.  실제로 여러 CIO에게 디지털 혁신이 무엇을 의미하는지 정의해달라고 요청하면 클라우드 마이그레이션, ERP 현대화, 고객 경험 고도화 등과 같은 이질적인 답변이 돌아온다는 설명이다.  타겟의 마이크 맥나마라 CIO 또한 디지털 트랜스포메이션이라는 용어를 선호하지 않는다며, “너무 모호해졌기 때문”이라고 말했다. 앤하이저 부시 인베브의 태실로 페스테틱스 CIO는 한발 더 나아가 해당 용어가 기업을 오도하는 측면이 있다고도 지적했다. 비즈니스 혁신에 집중해야 할 시점에 기술 자체를 위한 기술 구현에 매몰되도록 한다...

애자일 과장 데브옵스 파괴적 기술 데이터 레이크 유행어 데이터 마트 환멸

2020.01.17

기술 분야에서 ‘유행’과 ‘과장’은 연료를 공급하는 역할을 하기도 한다. 그러나 이로 인해 실망하고 좌절하게 되는 경우도 흔하다. 2020년 유효성을 잃어가는 전문 용어들을 정리했다. IT 업계는 유독 잘못된 전문 용어가 난무하는 편이다. 컨설턴트들이 구사하는 여러 신조어, 벤더들이 강조하는 현란한 유행어는 CIO를 비롯한 IT 전문가들을 함정에 빠뜨리기 십상이다. 때로는 기업 내 IT 전문가들조차도 이러한 풍토에 일조한다.  적절하고 유효한 전문 용어가 분명 있지만, 느슨하게 정의되거나 오해를 불러일으키는 용어들 또한 존재한다. 너무 구식이어서 작업의 특성을 제대로 설명하지 못하는 경우도 있으며, 중요한 특성이나 요소가 빠짐에 따라 불완전한 사례도 찾아볼 수 있다. 2020년 업계 IT 리더들이 재조정 필요성을 언급한 유행어를 정리했다.    1. 디지털 트랜스포메이션 컨설팅 기업 모건프랭클린의 프란츠하 버드는 ‘디지털 트랜스포메이션’에 대한 환멸이 CIO들 사이에 싹트고 있다면서, 마치 비즈니스와의 정렬 문제를 해결하는 만병통치약처럼 활용되곤 하기 때문이라고 진단했다. 그는 “(이 용어가) 처음 나왔을 때 기업 운영의 디지털화라는 의미를 깔고 있었다. 그러나 모두 납득할 수 있는 의미를 제대로 제시한 이는 없었다. 저마다 다르게 정의하고 있다. 즉흥적인 농담처럼 들릴 지경이다”라고 말했다.  실제로 여러 CIO에게 디지털 혁신이 무엇을 의미하는지 정의해달라고 요청하면 클라우드 마이그레이션, ERP 현대화, 고객 경험 고도화 등과 같은 이질적인 답변이 돌아온다는 설명이다.  타겟의 마이크 맥나마라 CIO 또한 디지털 트랜스포메이션이라는 용어를 선호하지 않는다며, “너무 모호해졌기 때문”이라고 말했다. 앤하이저 부시 인베브의 태실로 페스테틱스 CIO는 한발 더 나아가 해당 용어가 기업을 오도하는 측면이 있다고도 지적했다. 비즈니스 혁신에 집중해야 할 시점에 기술 자체를 위한 기술 구현에 매몰되도록 한다...

2020.01.17

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.6