‘ETL(Extract, Transform, Load)’은 빅 데이터와의 경쟁에서 패배했다. 솔루션은 전통적인 프로세스 통합 단계를 재정렬하는 것만큼이나 간단하다.  일반 컴퓨터 사용자에게 인터넷이 보급됐던 1989년으로 되돌아가보자. 당시의 데이터 프로세스는 순차적이고, 정적이었으며, 유연하지 못했다. 그러한 시대에서 통합은 혁명이었으며, ‘ETL(추출, 변환, 로드)’은 일반적인 비즈니스 범위를 벗어나는 최신 기술이었다.    다시 현재로 거슬러 올라오자. 오늘날 인터넷에서는 수십억 명의 사용자가 매 순간 상상할 수 없는 양의 데이터를 생성하고 있다. 이로 인해 새로운 시스템 환경이 탄생하고, 모든 것이 주문형(on-demand)으로 이뤄지고 있다.  그 시대의 많은 프로세스와 마찬가지로, 온프레미스 환경을 위한 전통적인 ETL은 더 이상 필요가 없다. 수년간의 진화에도 불구하고 기존 ETL 프로세스는 빅 데이터라는 광기와의 경쟁에서 패배했다.  가트너에 따르면 분석 인사이트의 20%만이 핵심 비즈니스 결과를 촉발한다. 예상한 대로 부정확하고 불충분한 데이터가 주요 원인이다.  전통적인 ETL의 단점 기존 ETL에는 다음과 같은 단점이 있다.  • 모든 변환의 비즈니스 요구사항이 고유하기 때문에 데이터 엔지니어는 커스텀 코드 프로그램 및 스크립트를 처리해야 한다. 따라서 특화되고 변환 불가능한 기술을 개발해야 하고, 코드 베이스 관리가 복잡해진다.   • ETL은 지속적인 간접비가 발생한다. 전담 데이터 엔지니어의 긴 재설계 사이클이 필요하다.   • ETL에서 데이터 과학자는 엔지니어가 변환하고 정제한 데이터 세트만 받을 수 있다. 이로 인해 프로세스가 경직될 뿐만 아니라 결과의 민첩성이 제한된다.   • 초기에 ETL의 목적은 주기적인 배치(batch) 처리 세션이었다. 이는 지속적이고 자동화된 데이터 스트리밍을 지원하지 않는다. 또한 실시간 데이...

2021.09.15

‘구성 가능한 아키텍처’와 ‘애자일 프로세스’ 못지않게 ‘성장형 사고방식’도 중요하다. 이와 관련해 키사이트 테크놀로지스(KeysightTechnologies)의 CIO 댄 크랜츠와 이야기를 나눠봤다.  지난 1999년 휴렛 팩커드(Hewlett-Packard)는 테스트 및 측정 사업을 분사하여 애질런트 테크놀로지스(Agilent Technologies)를 설립했다. 이는 당시 실리콘밸리 역사상 최대 규모의 기업 공개(IPO)였다.  그 이후 10년 동안 애질런트는 1) 생명과학 기술 및 화학분석 솔루션, 2) 전자 기기라는 2가지 사업 부문을 운영했다. 그리고 2014년 생명과학 사업부가 크게 성장하면서 애질런트는 전자 사업부를 분사해 키사이트 테크놀로지(Keysight Technologies)를 출범했다. 당시 IT 분리를 이끌었던 댄 크랜츠는 2017년 키사이트의 CIO로 취임했다.    키사이트는 ▲제품 판매에서 산업 솔루션 판매로의 전환, ▲R&D 투자 확대, ▲신규 회사 인수라는 3가지 전략을 추진해 연간 매출을 28억 달러에서 56억 달러로 증가시켰다.  크랜츠는 (이러한 성장을 뒷받침하기 위해) IT에도 일련의 새로운 비즈니스 역량이 요구됐다고 밝혔다. 이를테면 디지털 인게이지먼트 기술, 역동적인 공급망, 보증 기반 하드웨어에서 서브스크립션 기반 소프트웨어로 전환하는 제품군 지원 역량 등이다.  그는 IT 환경 안정화는 기본이었다고 말하면서, 새로운 비즈니스 역량을 제공하고 앞으로의 성장을 지원하기 위해서는 IT를 변혁해야 했다고 언급했다.  ‘클라우드 퍼스트’ 그리고 ‘구성 가능한’ 아키텍처  크랜츠는 “기술 회사라면 당연히 현대화된 IT를 기반으로 운영되리라 생각할 수 있다”라며, “하지만 기술회사 역시 (다른 모든 기업과 마찬가지로) IT를 현대화해야 한다. 이를테면 시장에선 선도적인 양자 컴퓨팅 기능을 제공하지만 기저에서는 15년된 IT 인프라를 사...

2021.07.30

이번 글은 지난 쉰세 번째 글에 이어 2017년 1월부터 지금까지 필자가 소개했던 빅데이터 활용의 핵심들을 다시 정리해보는 마지막 글이다. 지난 쉰세 번째 글에서는 필자가 독자들로부터 가장 많은 문의를 받았던 내용인 빅데이터 비즈니스 조직의 조직 및 운영에 관한 22회부터 34회까지의 글을 요약 정리했다. How-to-Big Data의 주요 내용을 요약 정리하는 글의 마지막 편인 이번 글에서 빅데이터 비즈니스의 미래를 다루었던 35회부터 51회까지 글의 핵심 내용을 다시 짚어보려고 한다.     --> 김진철의 How-to-Big Data | How-to-Big Data 핵심 정리(Key Takeaways) (1) --> 김진철의 How-to-Big DataㅣHow-to-Big Data 핵심 정리(Key Takeaways) (2)   35회: 빅데이터의 미래 (1) (2019년 11월 27일 게재) 34회까지 CERN의 LHC 빅데이터 사례를 통해 배운 빅데이터 비즈니스의 교훈을 앞으로 어떻게 적용하는 것이 좋을지 생각해보기 위해 빅데이터 비즈니스의 미래를 살펴보는 글의 첫 번째 글이었다. 빅데이터 기술과 비즈니스가 앞으로 어떻게 변화해갈지 생각해보는 데 도움이 될 수 있도록 빅데이터 현상이 왜 일어나는지 그 근본 배경에 대해서 같이 생각해보았다. 빅데이터 현상은 컴퓨터 기술이 그 시대에 필요로 하는 데이터 처리의 요구사항을 극복하지 못할 때 나타나는 필연적인 현상이며, 현재 우리가 경험하는 빅데이터 현상 전에도 다른 양상으로 여러 번 나타났다.  이런 맥락에서 빅데이터 기술의 역사는 컴퓨터 기술 발전의 역사와 맥을 같이 한다. 다만 현재 우리가 겪는 빅데이터 현상이 이전과 다른 것은 베오울프 클러스터 기술로 시작된 분산 컴퓨팅 기술의 발전과 수평적 확장성의 발전, 이런 분산 컴퓨팅과 수평적 확장성을 지원하는 기술로 처리가능한 데이터의 양이 폭증하는 것과 함께 중요해진 데이터 수...

2021.06.29

오늘날 ‘데이터 과학(Data Science)’만큼 IT 및 비즈니스 리더의 관심을 끄는 분야가 있을까. 하지만 그렇다고 해서 데이터 과학에 실패가 없는 건 아니다.   실제로 (과학적 기법, 프로세스, 알고리즘, 기술 시스템을 활용해 구조적 및 비구조적 데이터에서 일련의 인사이트를 도출하는) 데이터 과학 이니셔티브는 수많은 이유로 실패할 수 있고 그러면서 시간과 비용, 기타 리소스를 낭비할 수 있다.  잘못된 프로젝트는 의사결정권자의 잘못된 선택을 유도해 기업에 혜택을 제공하기 보다는 더 큰 피해를 입힌다. 여기서는 데이터 과학 프로젝트가 예상대로 진행되지 않는 가장 일반적인 이유 8가지를 살펴본다.    1. 데이터 품질 불량   잘못된 데이터는 형편없는 데이터 과학으로 이어지기 마련이다. 따라서 데이터 품질을 높이는 데 시간을 할애하는 게 중요하다. 이는 모든 애널리틱스 작업에 해당되는 이야기이며, 데이터 과학도 마찬가지다. 디지털 트랜스포메이션 컨설팅 회사 어댑터비스트(Adaptavist)의 CIO 닐 라일리는 “부실하거나 불량한 데이터로는 데이터 과학 이니셔티브가 불가능하다. 데이터는 깨끗해야 하고 데이터 애널리스트가 사용할 수 있는 수준이어야 한다. 그렇지 않다면 시간 낭비에 불과하다”라면서, “데이터 과학 프로젝트에 부정확한 데이터를 사용하면 데이터 과학 모델은 엉뚱한 결과물을 도출할 것이다”라고 말했다.  때에 따라 데이터세트의 편향이나 불일치로 인해 데이터 품질이 떨어지는 경우도 있다. 美 보험사 WAEPA의 CIO 브랜든 존스는 “비즈니스 운영에 여러 시스템을 사용하는 기업이 있다. 심지어 오래된 기업이라면 참조 또는 검증을 위해 아직도 레거시 시스템을 사용하고 있을 수 있다. 각 시스템을 교체하다 보면 기업 내에서 하나의 지표를 계산하는 서로 다른 프로세스 및 방식이 생길 수밖에 없다”라고 전했다.  이는 데이터 과학 이니셔티브가 실패하는 주요 원인이라는 게 존스의 ...

2021.06.24

‘데이터 주도(Data-driven)’ 기업으로 나아가는 일은 데이터를 많이 모으는 일처럼 간단하지 않다. 만약 그랬다면 이미 많은 회사가 효과를 거두고 있었을 터다. 데이터를 비즈니스 가치로 전환하려면 어떻게 시작해야 할까? CIO 4인의 경험담과 조언을 정리했다.  ‘데이터(Data)’라는 세 글자가 사회, 정치, 기업 전반에 큰 영향을 미치고 있다는 게 다소 놀랍다. 하지만 데이터는 전 세계의 통화(Currency)로 빠르게 자리 잡고 있다. 이에 따라 CIO들도 비즈니스를 위한 고부가가치 전략을 개발해야 한다는 실질적인 압박을 받고 있다.   현실은 데이터가 차고 넘치지만 이런저런 이유로 제대로 활용하지 못하고 있는 기업이 대부분이다. ‘늙은 뱃사람의 노래(The Rime of the Ancient Mariner)’ 한 대목을 빗대어 바꿔본, ‘데이터, 사방이 데이터인데 쓸 수 있는 건 한 방울도 없구나’라는 말이 떠오른다.  어떤 데이터를 수집해야 할까? 어떤 부서가 데이터를 ‘소유’해야 할까? 데이터를 안전하게 보호하면서도 쉽게 사용하기에 적절한 아키텍처는 어떻게 설계해야 할까? 비즈니스 리더가 데이터를 기반으로 의사결정을 내릴 수 있도록 문화를 바꾸려면 어떻게 해야 하는가?  4인의 CIO에게 데이터 전략을 순조롭게 시작할 수 있는 방법에 관해 조언을 들어봤다. 데이터 전략에 소중한 참고자료가 되길 바란다.  “한 가지 비즈니스 문제로 시작할 것” 포춘 200대 기업인 대형 차량용 엔진 제조사 커민스(Cummins)의 CIO 겸 최고 디지털 책임자 셰리 아홀름은 명확하고 정확한 비즈니스 문제 한 가지를 해결할 데이터만 정리하는 것부터 시작했다고 밝혔다.  그는 “가령 회사를 돌아다니면서 ‘모든 제조 데이터가 깨끗하게 정리돼 한 곳에 모여야 한다’라고 하면 사람들은 ‘보통 일이 아니네요. 족히 100년은 걸리겠는데요’라는 반응을 보일 것이다”라고 말했다.  아홀름은 품질 보...

2021.04.30

이번 글과 다음 글에서는 지난 2017년 1월부터 지금까지 필자가 정리했던 빅데이터 활용 교훈의 핵심을 정리해보는 시간을 가지려고 한다. 필자가 기고를 시작했던 2017년부터 지금까지 빅데이터 기술이나 데이터 과학 활용 양상이 많이 발전했어도 많은 기업이 빅데이터를 차별화된 비즈니스 성공으로 이끈 사례는 생각보다 많지 않다. 필자가 CERN의 LHC 실험을 통해 살펴보았던 빅데이터 활용의 교훈들은 시간이 지나도 여전히 유효하다. 지금까지 살펴본 내용들을 같이 보면서 앞으로 빅데이터를 어떻게 활용해야 시행착오를 덜 겪으면서 비즈니스를 성공으로 이끌 수 있을지 같이 정리해보자.   --> 1회: 연재를 시작하며 (2017년 1월 23일 게재) 필자가 연재를 시작할 당시 데이터 과학 무용론이 고개를 들기 시작하던 때였다. 소위 하둡(Hadoop)과 같은 빅데이터 기술을 도입했지만 비즈니스 효과가 없다는 얘기도 있었고, 빅데이터와 데이터 과학이 실체가 없고 주요 IT 기업들의 솔루션 판매를 위한 마케팅 용어일 뿐이라는 주장도 나타났다.  많은 기업들이 빅데이터의 효과를 확인하지 못하는 이유는 빅데이터를 처리하는 기술, 특히 당시에는 아파치 하둡(Hadoop)과 스파크(Spark)기술 중심의 빅데이터 기술을 도입하는 데에 관심을 보이고, 빅데이터 기술이 도입된 후 정작 해야 하는 데이터 과학을 제대로 하지 않았기 때문이라고 설명했다. 빅데이터와 데이터 과학을 잘 활용해서 효용을 얻기 위해 필요한 것을 데이터, 인프라, 조직 및 시스템, 사람의 네 가지 관점에서 살펴보겠다고 소개했다. 빅데이터와 데이터 과학을 활용하기 위해 가장 중요한 것이 데이터 수집이다. 우선 어떤 데이터를 어떻게 획득할 것인가하는 문제가 빅데이터 비즈니스 모델의 설계와 성공에 많은 영향을 미치기 때문이고, 데이터가 없는데 빅데이터 비즈니스 모델이 작동할 리 없기 때문이다. 데이터는 빅데이터 비즈니스 모델의 연료와 같다. --> 2회: 빅데이터 활용의 근본적인 ...

2021.04.27

美 시스템 통합업체 컨버진트 테크놀로지스(Convergint Technologies)의 CIO 부바나 바드리나단은 자동화된 데이터 수집 및 기능 엔지니어링을 사용해 판매 수익을 예측하는 알고리즘 모델을 개발했다.  데이터, 애널리틱스, 머신러닝을 활용하는 것은 기업에 경쟁 우위를 제공할 수 있다. 그러나 많은 기업에게 성공적인 머신러닝 프로그램은 눈에는 보이지만 잡을 수 없는 것처럼 느껴질 수 있다.  이는 컨버진트 테크놀로지스가 몇 년 전에 직면했던 과제였다. 전자보안, 화재경보, 생명안전 시스템 등의 통합 빌딩 시스템을 설계하고 설치하며 관리하는 이 시스템 통합업체의 경영진은 판매 수익 예측에 AI를 활용하고 싶어했다. 유일한 문제라고 한다면 컨버진트에 데이터 과학 부서가 없었다는 것이다. 심지어 CIO조차 없었다.    이 모든 상황이 바뀌기 시작한 건 지난 2019년 5월 컨버진트가 부바나 바드리나탄을 초대 CIO로 영입하면서부터다. 바드리나탄은 “이 회사에 합류할 당시 공식적인 데이터 팀이 없었다. 물론 데이터 과학자도 아예 없었다”라면서, “탄탄한 팀을 구축하고 예산을 확보하는 데 있어서 데이터는 필수적인 요소다. 따라서 데이터 거버넌스를 수립하고 데이터 운영위원회를 설립하기 시작했다”라고 말했다.   그리고 컨버진트는 새로운 ERP 시스템과 수많은 고객용 애플리케이션 지원이 필요하다는 것을 알게 됐다. 그에 따르면 “데이터 역량을 향상시켜야 했다. 데이터를 가지고 있지 않다면 또는 수많은 데이터가 있더라도 이를 의사결정 및 전략에 실제로 사용할 수 없다면 마치 눈을 가리고 있는 것과 같다. 정확하게 어떤 방향으로 나아가야 할지 모르기 때문이다.”   ‘미개척 영역’이었던 데이터 과학  바드리나탄이 취임할 당시 컨버진트는 선제적 데이터 분석을 위한 충분한 리소스가 없었고, 이 회사의 기존 프로세스로 유용한 인사이트를 얻기 위해서는 수많은 통합을 필요로 했다고 그...

2021.03.04

빅데이터 기술과 데이터 과학이 나아갈 미래의 모습으로서 사이버 물리 시스템 기반의 지능형 서비스를 소개하면서, 사이버 물리 시스템 기술을 비즈니스에 접목하고 활용하는데 관련된 다양한 이슈들을 지금까지 돌아보았다. 특히 지난 마흔 여덟 번째, 마흔 아홉 번째 두 번의 글에 걸쳐 소개했던 디지털 전환(Digital Transformation)과 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성과 활용 트렌드에 대한 글에서는 지금까지 필자가 빅데이터와 데이터 과학과 관련해서 소개한 모든 요소들이 디지털 전환이라는 하나의 말로 수렴되어 가는 경향을 볼 수 있었다. 전통적인 제조업조차도 디지털 전환을 통해 구독형 서비스 비즈니스 모델을 추구할 수 있고, 디지털 트윈을 이용한 제조 기술과 프로세스의 변화를 통해 사이버 물리 시스템이 제조업의 미래를 어떻게 바꾸어 놓을지, 예측 분석과 미래 연구, 빅데이터와 데이터 과학이 디지털 전환에서 어떤 의미를 갖는지 살펴보았다. 빅데이터의 미래에 대한 마지막 글로, 최근 많은 관심을 받고 있는 ESG 경영에서 빅데이터, 데이터 과학, 사이버 물리 시스템이 어떤 역할을 할 수 있고 왜 중요한지 살펴보려고 한다.   사회적 가치를 추구하는 비즈니스 모델, 빅데이터, 데이터 과학, 사이버 물리 시스템 얼핏 들어서는 ESG 경영과 같은 경영 트렌드가 빅데이터, 데이터 과학, 사이버 물리 시스템과 어떤 관련이 있을지 머리에 떠올리기 어려운 분들이 많을 것 같다. 디지털 전환은 기업의 비즈니스를 디지털 기술, 특히 소프트웨어를 통해 변화시키는 내용이 핵심이기 때문에 빅데이터, 데이터 과학, 사이버 물리 시스템과의 관련성을 이해하기가 조금 쉬웠다.  그렇지만 ESG 경영과 이들 기술과는 어떤 관계가 있을까? 데이터 과학자로서 ESG 경영에 대비한 역량을 키우는 것이 왜 중요할까? 이번 글에서 빅데이터의 마지막 미래 트렌드로서 ESG 경영과 이들 기술과의 관계를 살펴보기로 하자. ESG 경영에 대한 얘기를 하...

2021.02.26

2020년 한 해 동안 경영진이 앞으로의 10년에 관해 깨달은 바가 있다면 바로 디지털 민첩성(Digital Agility)이 매우 중요하며, 데이터 리터러시(Data Literacy)는 이제 필수 역량이라는 것이다.    전 세계 경제가 뉴노멀에 적응해가고 있고, 그 어느 때보다 많은 비즈니스가 온라인에서 이뤄지고 있으며, 데이터 주도(Data-driven) 기업은 데이터 관련 법률의 복잡성과 씨름하고 있다. 또한 업무 방식의 역학 관계가 새로운 국면에 접어들었다.  이에 따라 기업이 이용할 수 있는 데이터가 무수히 많다고 해도, 사용자와 규제기관이 요구하는 새로운 개인정보보호 중심의 세계에 적응할 수 없다면 그 데이터는 무의미하다.  2021년에는 장벽을 무너뜨리는 와해성 데이터 전략과 개인정보보호 중심의 조직적 변화가 나타날 것으로 전망된다. 소비자 신뢰를 잃지 않으면서 경쟁 우위를 점하기 위해서다. 어떠한 전략과 변화가 나타날지 살펴본다.  1. 프라이버시 라벨(Privacy Labels)  기업의 개인정보보호 정책을 처음부터 끝까지 읽어본 적이 있는가? 만약 그렇다면 이해하기 어려운 법적 전문 용어로 장황하게 가득 찬 내용을 읽느라 평균적으로 약 18분가량을 낭비하는 고통을 아는 몇 안 되는 사람일 것이다(뉴욕타임스는 지난 2019년 6월 기사에서 이를 ‘이해가 불가능한 참사(Incomprehensible Disaster)’라고 칭했다).  이것이 바로 사용자의 36%가 프라이버시 정책을 읽으려고 시도조차 한 적 없는 이유이며, 기술 대기업들이 프라이버시 정책 업데이트에 관한 사용자들의 반발에 직면하고 있는 이유다.   브랜드와 사용자를 갈라놓는 이 장벽을 무너뜨리는 것은 기업에 중요하다. 특히 데이터 사용에 관한 신뢰와 투명성을 구축해 선두를 달리려는 기업에는 더욱더 그렇다.  이런 관점에서 애플이 데이터 사용에 대한 간략한 설명을 제공하는 ‘프라이버시 라...

2021.02.09

끊임없이 증가하는 복잡한 데이터 사일로에 갇혀 있는가? 여기서 ‘서비스형 데이터 관리(Data Management as a Service; DMaaS)’가 데이터 사일로를 해결하고, 기업으로 하여금 비즈니스 경쟁 우위를 확보하는 데 도움을 줄 수 있다.  디지털 이니셔티브의 모습은 저마다 가지각색이다. 하지만 한 가지 공통점이 있다면? 바로 데이터다. 데이터는 기업이 시장을 선도하는 위치에 오르고, 이를 유지하는 데 굉장히 중요하다. 그렇기 때문에 데이터에서 핵심 인사이트(혹은 ‘아하!’하는 순간(A-ha moment))를 쉽게 찾고, 분석하며, 관리할 수 있어야 한다.  오늘날 선도 기업들을 살펴보면 단순히 기술 중심 기업이 아니라 데이터 중심 기업인 것을 바로 알 수 있다. 이제 대부분의 기업이 해결해야 할 과제는 데이터 관리를 간단하면서도 효율적으로 만드는 방법이라고 할 수 있다.    현재 데이터 관리 문제는 너무나도 많은 곳에서 데이터가 생성되기 때문에 비롯된다. 게다가 팬데믹 여파로 기업들이 서둘러 새 클라우드 애플리케이션을 도입하고 사무실 근무를 재택근무로 바꾸면서 데이터 관리, 백업, 복구가 더 어려워졌다. 이제 재택근무는 표준(norm)을 넘어 선호하는 업무 방식으로 자리 잡았다. 이는 전 세계적으로 수많은 기기와 데이터 소스가 기업 네트워크에 계속 연결되고 있음을 의미한다.  요즘처럼 불확실한 시기에 예산이 부족하고 자원이 한정된 기업들은 유지관리 및 업그레이드와 관련된 비용을 통제하는 데 어려움을 겪는다. 또 코로나19 사태로 데이터센터 액세스가 어려워진 상황에서 레거시 인프라를 관리하는 것은 하드웨어 및 소프트웨어 운영 오버헤드 측면에서 또 다른 어려움을 초래한다.  많은 기업이 여러 온프레미스, 클라우드 환경, 워크로드에 포인트 솔루션을 구축하는 방식으로 이런 문제를 해결하고 있다. 하지만 이는 효율적이면서 효과적이고 현대적인 데이터 관리 전략이 아니다. 오히려 복잡한 데...

2021.01.26

1,140억 달러 규모의 글로벌 농식품 회사가 어떻게 식품 공급망의 투명성을 확보하고 있는지 카길(Cargill)의 CIO 저스틴 커쇼와 함께 이야기를 나눠봤다.  커쇼는 지금으로부터 약 25년 전 ‘고어텍스’로 유명한 美 원단 제조 회사 W.L.고어(W.L. Gore)에서 처음으로 CIO 직을 맡았다. 이후 전력 관리 회사 이튼(Eaton)에서 CIO로 6년간 재직한 후, 카킬의 식자재 사업부 CIO 겸 글로벌 IT 운영 책임자로 합류했다. 그리고 지난 2015년 부사장 겸 CIO 직으로 승진했다.   매출 기준으로 보면 카길은 미국 최대의 비상장 회사다. 만약 상장 기업이었다면 카킬은 2020년 포춘 500대 기업 가운데서 25위를 차지했을 것이다. 이는 뱅크오브아메리카(Bank of America)보다는 바로 위, 패니 매(Fannie Mae)보다는 바로 밑의 순위다.   최근 카길은 미국 및 캐나다 육류 가공 시설에서의 코로나바이러스 발생 및 직원 안전과 관련해 비난을 받기도 했다. 그러나 한편으론 기술을 활용해 전 세계의 지속가능성을 향상하고 식품 생산 문제를 줄이는 데 주력하고 있기도 하다.  커쇼와의 줌(Zoom) 통화에서 혁신, 변화 관리, 제품 엔지니어링에서의 IT의 역할에 관해 들어봤다. 다음은 그 대화를 정리한 것이다. 카길 CIO라는 본인의 역할을 설명하자면? 카길 CIO로서 나의 역할은 3가지라고 할 수 있다. 첫째, 기술을 활용해 전 세계적 문제 가운데 하나인 식품 문제를 해결하는 데 이바지하는 리더가 되는 것이다. 둘째, 적절한 수익을 얻을 수 있는 적절한 기술에 투자할 수 있도록 하는 것이다. 셋째는 기업 전체를 위한 운영 측면의 리더가 되는 것이다.  개인적으로는 기술 조직이 제대로만 운영된다면 기업의 변화를 주도하는 주체가 될 수 있다고 생각한다. IT에서 하는 일은 기술에 관한 것이라기보다는 변화와 결과에 관한 것이다.  이 업계의 승자는 세계 식품 문제를 해...

2021.01.08

데이터가 21세기의 원유(原油)라고 할지라도 이를 시추하는 방법을 모른다면 말짱 도루묵이다. ‘데이터 생명주기(Data Lifecycle)’에는 여러 단계가 있다. 이 때문에 시추부터 생산까지 전체 생명주기를 다룰 수 있는 방법이 필요하다.  디지털 트랜스포메이션을 경험한 거의 모든 기업이 수집된 방대한 양의 데이터를 최대한 활용하고자 고군분투한다. 실제로, 대부분의 기업에서 무려 85~95%의 데이터가 충분히 활용되지 않고 낭비되는 것으로 추정된다.  ‘데이터 생명주기’에는 여러 단계가 있다. ▲데이터 수집, ▲데이터 엔지니어링 및 데이터세트 생성, ▲추가적인 사용 및 애널리틱스를 위한 데이터 대량 저장, ▲데이터 탐색을 위한 데이터베이스 생성, ▲데이터 보안 및 규제를 준수하면서 고급 애널리틱스 또는 머신러닝을 통한 인사이트 도출이다.    많은 기업이 어려움을 겪는 부분은 비용은 합리적으로 그리고 구축 및 운영 시간은 최소한으로 유지하면서 이러한 시스템을 최적으로 통합하는 것이다. 또한 데이터로부터 실질적인 인사이트를 얻을 수 있도록 이를 유의미한 방식으로 제시하는 데 따르는 어려움도 있다.  따라서 데이터 수집부터 인사이트 도출을 위한 분석까지 데이터 생명주기를 전체적으로 관리하는 방법이 필요하다. 오픈소스의 이점은 물론이고 온프레미스, 하이브리드, 클라우드 네이티브 컴퓨팅을 활용할 수 있는 역량을 유지하면서 말이다.  이에 대한 해결책으로 한동안 데이터 웨어하우스가 스토리지 및 전송을 처리하는 데 사용됐지만 완전한 해답은 아니었다. 또 많은 기업이 순수 오픈소스(예: 아파치 하둡) 또는 상용 제품(예: 탈렌드, 인포메티카, 아마존 레드시프트, IBM, SAP, 오라클 등)을 통해 데이터 클라우드를 구축하기도 했지만 이 역시 전체 데이터 생명주기 문제를 해결하진 못했다. 오히려 통합하기 쉽지 않은 이질적인 추가 제품을 다수 사용해야 하는 결과를 낳기도 했다.  특히 비용 측면에서...

2020.11.27

커넥티드 데이터와 기기의 증가는 기술을 활용해 지역사회를 개선할 수 있는 더 많은 기회를 제공한다.   오늘날 ‘데이터 분석(Data analysis)’은 당연하게 여겨진다. 이를테면 트렌드와 패턴을 밝혀내 날씨를 예측하고, 경로를 탐색한다. 최근에는 코로나19 검사 데이터가 확산을 방지하는 데 사용되기도 했다. ‘뉴노멀(new normal)’ 시대에 진입하면서, 이러한 데이터는 삶의 질을 향상시키고 환경 문제를 해결하며 상거래(commerce)를 개선하는 데 쓰이고 있다.  특히, 정부 기관이 기술 기업과 협업하는 사례가 증가하고 있다. 활기찬 지역사회를 지원하는 ‘스마트시티’ 조성을 위해서다.    스마트시티가 새로운 개념은 아니다. 스마트시티는 1970년 LA에서 최초의 빅 데이터 프로젝트로 시작됐다. 이후 1994년 암스테르담은 인터넷 사용을 촉진하는 가상 디지털 도시를 만들기도 했다.  각 지역사회의 니즈를 해결하는 스마트시티가 전 세계 곳곳에서 생겨나고 있다. 스마트시티의 '인텔리전스'는 기기를 연결하고 목적에 따라 데이터를 사용해 정보에 입각한 의사결정을 내리는 데서 나온다. 데이터를 어떻게 사용해 지역사회를 개선하는지에 관한 몇 가지 스마트시티 사례는 다음과 같다.  • 범죄 감소: 법 집행 기관은 사건 발생 전에 이를 예측할 수 있도록 '범죄 지도(crime mapping)'를 만들 수 있다. ‘탄도 매칭(ballistics matching)’은 여러 범죄에 사용된 총을 식별한다.  • 이동성 개선: 지연(delay) 정보가 실시간 공유돼 통근자는 경로를 신속하게 변경할 수 있다. 또한 교통 관련 데이터를 바탕으로 혼잡통행료를 부과하거나, 통행 패턴 변화를 유도한다.  • 건강 관리: 건강 상태 모니터링을 통해 디지털 솔루션으로 조기 개입이 가능하다. 만성질환자는 웨어러블 기기를 사용해 각종 수치를 의사에게 전송할 수도 있다.  • 환경효율성 향상:...

2020.08.25

KT가 ‘인공지능/디지털혁신 데이(AI/DX 데이)’를 개최하고, ABC(AI, Big data, Cloud) 사업 현황과 계획을 임직원들과 공유했다고 밝혔다.  이번 행사는 코로나19 확산 방지를 위해 70여 명의 임직원이 거리를 유지한 채 참석했으며, 현장 영상을 KBN(KT 사내방송) 스트리밍 중계로 실시간 제공했다. KT는 코로나19로 인한 생활과 산업 전반의 변화에 능동적으로 대응하고, 코로나19 극복을 위한 ‘디지털 뉴딜’에 적극 발맞추기 위해 이번 행사를 기획했다고 밝혔다. 처음으로 열리는 KT AI/DX 데이는 ABC 사업과 관련해 사내외 성공사례와 추진방향을 KT의 모든 구성원들과 공유하는 자리다.  AI/DX 데이는 KT AI/DX융합사업부문장 전홍범 부사장의 ‘AI에 기반한 디지털혁신 사업’에 대한 기조발표로 시작했다. 세션1에서는 KT에서 ABC사업을 담당하는 임원들이 발표자로 나서 ABC 분야에서 새로운 도전을 강조했다. AI/빅데이터사업본부장 김채희 상무는 ‘AI·빅데이터 사업현황 및 추진방향’을, 인더스트리 AI 플랫폼 TF장 한자경 상무는 ‘산업용 AI 기반의 DX 추진사례’를, 인프라서비스단장 이미희 상무는 ‘AI/DX를 가능케 하는 KT 클라우드’를 주제로 발표했다. 김채희 상무는 기가지니가 2017년 서비스 도입 3년여 만에 250만 이상의 가입자를 확보한 가운데 가정을 넘어 아파트, 호텔, 자동차 등으로 AI의 영역을 넓혀 가고 있다고 설명했다. 또한 AI는 고객센터, 로봇, 식음료, 제조, 물류 등 다양한 분야에 확대 적용 중이라고 밝혔다. 김 상무는 KT의 AI·빅데이터 역량이 4가지 방향으로 확산 중이라고 강조했다. 4가지 방향은 ▲산학연이 참여하는 ‘AI 원팀’을 중심으로 대한민국과 기업들의 AI 경쟁력을 높이는 ‘첨병’ 역할, ▲AI와 GEPP를 결합해 코로나19와 같은 감염병 확산방지에 기여하는 ‘감시자’ 역할, ▲AI와 빅데이터에 기반한 소상공인 특화 솔루션을 개발하는 ‘동반자’ ...

2020.08.10

한국축산데이터가 미국에서 열린 제1회 ‘버추얼 피치 컴피티션(Virtual Pitch Competition)’의 애그테크(AgTech) 부문에서 2위로 입상했다고 밝혔다.  버추얼 피치 컴피티션은 미국 미네소타주와 연방정부의 대미 투자 지원 프로그램 ‘셀렉트USA’가 주최하고, 애그테크(AgTech)와 클린테크(CleanTech) 두 가지 분야에서 인공지능(AI)을 융합한 혁신 기술 보유 기업들이 프레젠테이션 경합을 벌이는 대회다. 미국 외 전 세계 기술 기업이 참가 대상이며, 미네소타주 정부 인사와 현지 인큐베이터, 금융 전문가, 학계 인사 등이 심사에 참여했다. 입상한 상위 3개 기업에는 멘토링, 법률 조언, 투자 유치, 홍보 지원 등의 혜택을 제공한다.  한국축산데이터는 주한 미국 대사관의 추천으로 해당 대회에 참가해 ‘팜스플랜’의 기술성과 사업성, 글로벌 시장 진출 가능성 등을 발표했다. 회사에 따르면 한국축산데이터는 인공지능, 빅데이터, 생명공학 기술이 융합된 가축 헬스케어 솔루션 ‘팜스플랜’을 개발해 국내외 농가에 적용했다는 점을 인정받았다. 특히, 농장 내 CCTV 영상을 분석해 실시간 가축의 체중 및 행동 패턴을 분석하는 컴퓨터 비전 기술이 호평을 받았다. 또 사물인터넷(IoT) 기술로 환경 데이터를 수집·분석하고, 주기적 혈액검사 결과를 종합해 농장별 맞춤 솔루션을 제공하는 점도 높은 점수를 받았다. 이번 수상을 계기로 한국축산데이터는 미네소타주 정부 및 미국 기업들과 직접적인 커뮤니케이션 채널을 구축할 수 있게 됐다고 설명했다. 이를 통해 현지 시장과 농가의 니즈를 팜스플랜 서비스에 적극 반영할 예정이다. 국내외 다양한 농가에 팜스플랜을 보급한 노하우를 바탕으로 팜스플랜 서비스의 미국 현지화에 주력한다는 계획이다.  한국축산데이터 경노겸 대표는 “이번 수상으로 한국축산데이터의 기술 수준이 세계적으로 앞서 있다는 것을 인정받았다”라며 “미국에서 팜스플랜에 대한 관심을 확인한 만큼 계속해서 팜스플랜이 글...

2020.07.08

통합 ICT 인프라 솔루션 전문 기업 효성인포메이션시스템이 고객의 데이터 가치 극대화를 위한 ‘데이터 애널리틱스 컨설팅’을 무상으로 진행한다고 밝혔다.  오늘날 데이터 분석 및 활용은 기업 IT 부서에서 추진하는 특수한 프로젝트가 아닌, 전사적으로 업무 효율성과 기업 혁신을 가속화하기 위해 추진하는 필수 기술로 자리잡았다.   이에 따라 효성인포메이션시스템이 AI·빅데이터 분석을 위한 필요 기술 및 리소스 자문, 프로토타입 구현, 개념검증(PoC) 등을 지원하는 ‘데이터 애널리틱스 컨설팅’ 서비스를 진행한다.  회사에 따르면 컨설팅을 통해 효성인포메이션시스템과 히타치 밴타라 코리아의 데이터 전문가들이 빅데이터 통합 및 데이터 파이프라인, 분석 플랫폼, 솔루션 등 AI 구현을 위한 요소 기술을 제시한다. 또한 빅데이터 구현에 필요한 ML알고리즘, 워크플로우 설계 가이드와 자문을 제공한다. 산업 및 주제별 고객 상황에 맞는 구현 사례와 데모를 시연하고 고객의 데이터 잠재력을 최대한 활용할 수 있는 전략도 지원한다.  특히 데이터 분석 솔루션 도입을 고민 중인 기업을 위해 각 분야 베스트 프랙티스를 기반으로 완성된 산업 분야별 분석 템플릿 12개를 공유하며 차별화된 서비스를 제공한다. 성공적인 데이터 분석 도입을 위해서는 산업 환경에 맞는 분석 모형을 사전에 경험하는 것이 중요하다. 고객들은 효성인포메이션시스템이 제공하는 분석 템플릿을 통해 데이터 청사진을 미리 확인함으로써 시간과 비용 효율을 높이고 시행착오를 줄일 수 있다고 회사 측은 설명했다. 효성인포메이션시스템 정태수 대표이사는 “기존 IT 인프라 중심에서 ‘데이터’ 기반 제품 포트폴리오를 꾸준히 확장해왔다. 이를 통해 고객의 성공적인 데이터 운영과 비즈니스 인사이트 도출을 돕고 있다”라며, “이번 컨설팅 서비스를 통해 더 많은 고객이 데이터의 잠재력을 최대한 활용할 수 있을 것으로 기대된다”고 밝혔다. 이번 컨설팅은 연말까지 무상으로 제공된다. 세미나, 질의...

2020.06.25

전세계 데이터의 90%가 지난 5년 이내에 만들어졌으며, 그 중 80%는 비구조화 데이터다. IBM 왓슨 마스터 인벤터 피터 해거는 인지 컴퓨터 시대를 맞이해 변화할 필요성이 있다고 주문했다.  해거에 따르면 기업들은 인지 컴퓨팅의 시대 속에서 생각을 변화시킬 필요가 있다. 쉽지는 않겠지만 변화에 대한 의지를 갖춰야 한다고 그는 주장했다.  해가는 최근 호주 시드니에서 열린 ‘IBM 개발 및 혁신을 위한 개발자 세미나’에서 “혁신을 이루려면 변화하겠다는 의지부터 가져야 한다. 핵심은 인간과 컴퓨터 간 긴밀한 협업이다. 기업들은 어떻게 하면 컴퓨터와 인간의 상호작용을 증진시킬 수 있을지 고민해야 한다. 그래야 컴퓨터가 인간의 업무를 증진시킬 수 있을 것"이라고 말했다. 해가에 따르면 세계는 이제 인지 컴퓨팅의 시대로 이동하는 과도기에 있으며, 인지 컴퓨팅 시대에 대비하는 유일한 방법은 변화를 수용하는 것이다. 해가는 "기업들은 인지 컴퓨팅을 받아들여야 한다. IBM은 인지 컴퓨팅을 받아들이고 있다. 다른 기업들도 인지 컴퓨팅을 수용할 수 있다는 의미다"라고 말했다. 그는 인지 컴퓨팅 시대에서는 데이터가 핵심 요소라고 주장했다. 그는 전 세계 데이터의 90%가 지난 5년 새 생성됐으며, 80%는 조직화·구조화되지 않은 채 방치되고 있다고 진단했다. 해거는 "다가오는 미래를 어떻게 준비하고 있는가? 데이터가 구조화되지 않은 점을 고려하면, 현재의 컴퓨팅 시스템으로는 사실상 아무 것도 할 수 없다. 오늘날의 기업들은 보유한 모든 데이터를 유익하게 사용하고 있다고 말할 수 있는가? 아마 그렇지 않을 것"이라고 말했다. 그는 이어 "상당량의 데이터가 ‘어둠에 휩싸여’ 있다. 즉 시스템 상에서 데이터를 활용할 수 없는 상황이다. 현존하는, 그리고 미래에 생성될 그 모든 데이터를 이...

2015.10.15