Offcanvas

���������������

최형광 칼럼 | 플랫폼 비긴즈

모든 시대에는 그 시대를 대표하는 기술이 있다. 기나긴 인류의 역사에서 전환점을 만든 산업혁명은 증기기관을 통하여 농경의 시대에서 공업의 시대를 열었다. 전기시대는 지금의 클라우드 혁명처럼 자체의 동력시스템 없이 전기를 사용하도록 하는 자동화를 구현했다. 현 시대는 플랫폼 기반으로 디지털 비대면 시대의 새로운 산업구조로 진화 중이다.  플랫폼, 산업의 구조적 변화 “제품”을 기반으로 한 산업시대의 기업은 파이프라인 구조를 갖고 있다. 경쟁력의 원천은 차별화된 제품을 만드는 것이며 그 제품을 파이프라인 프로세스에서 빠르게 공급하는 것이다. 만들어진 제품의 경쟁력은 원가절감과 프로세스의 효율화에 맞춰진다. 생산된 낮은 단가의 제품은 빠르게 시장을 장악하게 되는 공급자 주도의 시장이 형성되었다. [그림1] 각 시대의 대표기술과 산업, 플랫폼 컨텐츠의 변화. 증기기관에서 열차산업의 발전으로 지리적 네트워크가 확산됐이고 자동차 산업으로 세부 도로망 네트워크로 발전했이다. 전기산업은 동력 클라우드 서비스를 제공했으며, 인터넷은 정보의 클라우드 서비스를 제공했이고 이를 기반으로 플랫폼이 등장하고 메타버스로 진화하는 산업혁명 발전사와 플랫폼의 발전사를 볼 수 있다. 플랫폼은 초기 텍스트와 이미지의 제공에서 출발했다. 아마존과 인터파크, 예스24의 도서 판매가 특징적 사례다. 텍스트와 이미지 서비스가 강화되면서 의류와 신발 등의 소비자 제품 판매로 확장됐으며, 그 후 모든 산업으로 확대되었다. 네트워크 속도가 향상되고 보장되면서 플랫폼은 동영상 기반의 디지털 미디어, 영화, 게임, 음악 등으로 스트리밍으로 발전해, 유튜브 등 새로운 미디어 영역을 창출하게 됐다. 현재는 가상현실과 증강현실 및 메타버스, 디지털 트윈과 다채널 미디어 산업이 플랫폼화되고 있다. 인터넷과 디지털 기반의 플랫폼이 등장하면서 시장은 소비자 주도의 시장으로 전환됐다. 플랫폼은 제품이 아닌 니즈 기반의 ‘거래’를 구현한다. 파이프라인에서는 제품이 프로세스상의 다른 기업인 도매상 또는 유통...

최형광 플랫폼 메타버스 파이프라인

2022.01.19

모든 시대에는 그 시대를 대표하는 기술이 있다. 기나긴 인류의 역사에서 전환점을 만든 산업혁명은 증기기관을 통하여 농경의 시대에서 공업의 시대를 열었다. 전기시대는 지금의 클라우드 혁명처럼 자체의 동력시스템 없이 전기를 사용하도록 하는 자동화를 구현했다. 현 시대는 플랫폼 기반으로 디지털 비대면 시대의 새로운 산업구조로 진화 중이다.  플랫폼, 산업의 구조적 변화 “제품”을 기반으로 한 산업시대의 기업은 파이프라인 구조를 갖고 있다. 경쟁력의 원천은 차별화된 제품을 만드는 것이며 그 제품을 파이프라인 프로세스에서 빠르게 공급하는 것이다. 만들어진 제품의 경쟁력은 원가절감과 프로세스의 효율화에 맞춰진다. 생산된 낮은 단가의 제품은 빠르게 시장을 장악하게 되는 공급자 주도의 시장이 형성되었다. [그림1] 각 시대의 대표기술과 산업, 플랫폼 컨텐츠의 변화. 증기기관에서 열차산업의 발전으로 지리적 네트워크가 확산됐이고 자동차 산업으로 세부 도로망 네트워크로 발전했이다. 전기산업은 동력 클라우드 서비스를 제공했으며, 인터넷은 정보의 클라우드 서비스를 제공했이고 이를 기반으로 플랫폼이 등장하고 메타버스로 진화하는 산업혁명 발전사와 플랫폼의 발전사를 볼 수 있다. 플랫폼은 초기 텍스트와 이미지의 제공에서 출발했다. 아마존과 인터파크, 예스24의 도서 판매가 특징적 사례다. 텍스트와 이미지 서비스가 강화되면서 의류와 신발 등의 소비자 제품 판매로 확장됐으며, 그 후 모든 산업으로 확대되었다. 네트워크 속도가 향상되고 보장되면서 플랫폼은 동영상 기반의 디지털 미디어, 영화, 게임, 음악 등으로 스트리밍으로 발전해, 유튜브 등 새로운 미디어 영역을 창출하게 됐다. 현재는 가상현실과 증강현실 및 메타버스, 디지털 트윈과 다채널 미디어 산업이 플랫폼화되고 있다. 인터넷과 디지털 기반의 플랫폼이 등장하면서 시장은 소비자 주도의 시장으로 전환됐다. 플랫폼은 제품이 아닌 니즈 기반의 ‘거래’를 구현한다. 파이프라인에서는 제품이 프로세스상의 다른 기업인 도매상 또는 유통...

2022.01.19

블로그|윈도우 사용자를 위한 랜섬웨어 공격 예방법

최근 미국 최대 송유관 업체 콜로니얼 파이프라인이 랜섬웨어 공격을 받았다. 이 사건은 윈도우 사용자들에게 몇 가지 교훈을 준다. 랜섬웨어,   ‘랜섬웨어’라는 단어는 컴퓨터 사용자에게 공포를 불러일으킨다. 랜섬웨어 공격을 받은 기업들이 신문 헤드라인을 매일 장식하는 것을 볼 때 그렇다. 뻔한 랜섬웨어 공격이 계속해서 먹히는 걸 보면 놀랍다.  랜섬웨어 공격으로부터 기업이나 사용자를 보호하기 위해 취할 수 있는 방법은 많다. 클릭하는 내용을 주의할 것 개인 사용자를 노리는 랜섬웨어 공격은 대부분 피싱 관련 이메일이나 악성 파일을 설치하는 웹 페이지 등 클릭하지 말아야 할 것을 클릭할 때 이뤄진다. 기업을 노리는 랜섬웨어 공격은 브루트 포스(brute force)나 수집된 크리덴셜을 이용해 원격 액세스 프로토콜에 접근하는 방식으로 이뤄지는 경우가 많다. 네트워크에 침입한 공격자는 백업을 중단시키고 최적의 공격 타이밍이 올 때까지 잠복한다.    랜섬웨어의 역사는 1989년으로 거슬러 올라간다. 당시 랜섬웨어는 플로피 디스크를 통해 사용자 컴퓨터에 침입했다. 이후 3일째 되는 날에 컴퓨터 정보를 볼모로 삼아 사용자에게 몸값을 요구했다. 최근 화제가 됐던 랜섬웨어 공격은 미 동부 연안의 송유관 업체인 콜로니얼 파이프라인을 겨냥해 이뤄졌다. 이 공격으로 인해 기름 수요가 폭증하고 주유소가 폐쇄되는 사태가 빚어졌다. 해당 송유관 회사에 대한 여론도 악화됐다 (그리고 회사가 해커 조직인 다크사이드에게 수백만 달러의 몸값을 지불했다는 얘기도 있었다). 이는 랜섬웨어가 기업에 어떤 영향을 미칠 수 있는지 생생하게 보여주는 사례였다. 백업, 백업 그리고 또 백업할 것 필자는 보안과 랜섬웨어를 주제로 한 페이스북 그룹을 공동 운영하고 있다. 사용자들이 랜섬웨어 공격으로 인한 피해를 복구하는 방법에 대해 질문할 때, 필자는 백업 여부를 되묻곤 한다. 여기서 백업이란 사용자 컴퓨터로부터 ‘에어갭’이 된 외장 하드 드라이...

랜섬웨어 파이프라인 다크사이드 백업 사어버 공격

2021.05.18

최근 미국 최대 송유관 업체 콜로니얼 파이프라인이 랜섬웨어 공격을 받았다. 이 사건은 윈도우 사용자들에게 몇 가지 교훈을 준다. 랜섬웨어,   ‘랜섬웨어’라는 단어는 컴퓨터 사용자에게 공포를 불러일으킨다. 랜섬웨어 공격을 받은 기업들이 신문 헤드라인을 매일 장식하는 것을 볼 때 그렇다. 뻔한 랜섬웨어 공격이 계속해서 먹히는 걸 보면 놀랍다.  랜섬웨어 공격으로부터 기업이나 사용자를 보호하기 위해 취할 수 있는 방법은 많다. 클릭하는 내용을 주의할 것 개인 사용자를 노리는 랜섬웨어 공격은 대부분 피싱 관련 이메일이나 악성 파일을 설치하는 웹 페이지 등 클릭하지 말아야 할 것을 클릭할 때 이뤄진다. 기업을 노리는 랜섬웨어 공격은 브루트 포스(brute force)나 수집된 크리덴셜을 이용해 원격 액세스 프로토콜에 접근하는 방식으로 이뤄지는 경우가 많다. 네트워크에 침입한 공격자는 백업을 중단시키고 최적의 공격 타이밍이 올 때까지 잠복한다.    랜섬웨어의 역사는 1989년으로 거슬러 올라간다. 당시 랜섬웨어는 플로피 디스크를 통해 사용자 컴퓨터에 침입했다. 이후 3일째 되는 날에 컴퓨터 정보를 볼모로 삼아 사용자에게 몸값을 요구했다. 최근 화제가 됐던 랜섬웨어 공격은 미 동부 연안의 송유관 업체인 콜로니얼 파이프라인을 겨냥해 이뤄졌다. 이 공격으로 인해 기름 수요가 폭증하고 주유소가 폐쇄되는 사태가 빚어졌다. 해당 송유관 회사에 대한 여론도 악화됐다 (그리고 회사가 해커 조직인 다크사이드에게 수백만 달러의 몸값을 지불했다는 얘기도 있었다). 이는 랜섬웨어가 기업에 어떤 영향을 미칠 수 있는지 생생하게 보여주는 사례였다. 백업, 백업 그리고 또 백업할 것 필자는 보안과 랜섬웨어를 주제로 한 페이스북 그룹을 공동 운영하고 있다. 사용자들이 랜섬웨어 공격으로 인한 피해를 복구하는 방법에 대해 질문할 때, 필자는 백업 여부를 되묻곤 한다. 여기서 백업이란 사용자 컴퓨터로부터 ‘에어갭’이 된 외장 하드 드라이...

2021.05.18

향후 10년간 주목할 기술 과제는?··· “복잡성 vs. 적합성”

엔터프라이즈 IT 인프라에 존재하는 수많은 융합 및 분산형 서비스부터 클라우드, 데이터베이스, 마이크로서비스, 컨테이너까지 기술 복잡성이 급증하고 있다. 이 모든 요소를 어떻게 관리할지가 바로 향후 10년 간의 기술 과제다.    기술이 갈수록 진화하며, 점점 더 복잡해지고 있다. 기술 업계가 선보이고 ‘받아들이게끔(embrace)’ 하려는 증강(Augmentation), 향상(Enhancement), 확장(Expansion)된 모든 새로운 기술과 관련해 일반적으로 설계 및 엔지니어링한 이후에 관리해야 하는 세분화된 내부 복잡성이 존재한다.  따라서 기업은 ‘규정 준수’와 ‘생산적인 운영 관리’를 모두 이행하며 IT를 발전시켜 나가야 하고, ‘복잡성(complexity) vs. 적합성(conformity)’은 앞으로 10년 간의 기술 과제라고 할 수 있다. 이는 규제 거버넌스 표준에 관한 적합성과 규정 준수뿐만 아니라 기업이 실제로 관리하는 실시간 프로덕션 환경에 투입되는 새로운 기술에 관한 것이기도 하다.  어디에서나 ‘관찰’할 수 있다 모든 주요 공급업체는 인공지능 및 머신러닝으로 실행되며, 거의 항상 ‘인사이트(insights)’라는 용어로 지칭하는 복잡한 시스템을 기업이 관리, 제어할 수 있도록 지원하고 있다.  ‘자율운영 데이터베이스(autonomous database)’를 선보인 오라클이 대표적인 예다. 자율운영 데이터베이스는 데이터베이스 관리자(DBA)가 해야 할 작업을 소프트웨어에 넘겨, 더 많은 작업을 자동으로 실행되도록 한다.  이를테면 데이터베이스 관리자가 휴식하거나 자는 동안, 혹은 (아마 더 주요하게는) 비즈니스 사용자에 고부가가치 서비스를 제공하고자 집중하는 동안 시스템 패치, 데이터 복제 또는 중복 제거, 업그레이드, 조각 모음 및 단순한 유지보수 등이 이뤄질 수 있다. 그리고 지난 10월 6일 오라클은 ‘오라클 클라우드 관찰 및 관리 플랫폼(Oracle Cloud ...

IT 인프라 클라우드 데이터베이스 마이크로서비스 컨테이너 복잡성 적합성 IT 관리 데이터관리 인공지능 파이프라인 오라클 수모로직 자율운영 데이터베이스 데브옵스

2020.10.20

엔터프라이즈 IT 인프라에 존재하는 수많은 융합 및 분산형 서비스부터 클라우드, 데이터베이스, 마이크로서비스, 컨테이너까지 기술 복잡성이 급증하고 있다. 이 모든 요소를 어떻게 관리할지가 바로 향후 10년 간의 기술 과제다.    기술이 갈수록 진화하며, 점점 더 복잡해지고 있다. 기술 업계가 선보이고 ‘받아들이게끔(embrace)’ 하려는 증강(Augmentation), 향상(Enhancement), 확장(Expansion)된 모든 새로운 기술과 관련해 일반적으로 설계 및 엔지니어링한 이후에 관리해야 하는 세분화된 내부 복잡성이 존재한다.  따라서 기업은 ‘규정 준수’와 ‘생산적인 운영 관리’를 모두 이행하며 IT를 발전시켜 나가야 하고, ‘복잡성(complexity) vs. 적합성(conformity)’은 앞으로 10년 간의 기술 과제라고 할 수 있다. 이는 규제 거버넌스 표준에 관한 적합성과 규정 준수뿐만 아니라 기업이 실제로 관리하는 실시간 프로덕션 환경에 투입되는 새로운 기술에 관한 것이기도 하다.  어디에서나 ‘관찰’할 수 있다 모든 주요 공급업체는 인공지능 및 머신러닝으로 실행되며, 거의 항상 ‘인사이트(insights)’라는 용어로 지칭하는 복잡한 시스템을 기업이 관리, 제어할 수 있도록 지원하고 있다.  ‘자율운영 데이터베이스(autonomous database)’를 선보인 오라클이 대표적인 예다. 자율운영 데이터베이스는 데이터베이스 관리자(DBA)가 해야 할 작업을 소프트웨어에 넘겨, 더 많은 작업을 자동으로 실행되도록 한다.  이를테면 데이터베이스 관리자가 휴식하거나 자는 동안, 혹은 (아마 더 주요하게는) 비즈니스 사용자에 고부가가치 서비스를 제공하고자 집중하는 동안 시스템 패치, 데이터 복제 또는 중복 제거, 업그레이드, 조각 모음 및 단순한 유지보수 등이 이뤄질 수 있다. 그리고 지난 10월 6일 오라클은 ‘오라클 클라우드 관찰 및 관리 플랫폼(Oracle Cloud ...

2020.10.20

쿠버네티스용 머신러닝 툴킷 '쿠버플로우' 정식 버전 공개

데이터 과학자가 머신러닝 워크플로우를 손쉽게 관리, 배포, 확장할 수 있도록 지원하는 쿠버네티스용 머신러닝 툴킷의 정식 버전이 출시됐다.  구글이 2017년 첫 공개했던 쿠버플로우의 1.0 버전이 정식 출시됐다. 쿠버플로우는 쿠버네티스 환경에서 머신러닝 워크플로우를 관리하고 배포할 수 있도록 돕는 솔루션이다.    회사에 따르면 쿠버플로우는 머신러닝 프로젝트의 2가지 주요 문제를 해결하고자 개발됐다. 첫째, 통합된 엔드투엔드 워크플로우의 필요성이다. 둘째, 쉽고 직관적이며 확장이 간편한 배포의 필요성이다.  쿠버플로우를 이용해 데이터 과학자는 쿠버네티스 상에서 머신러닝 워크플로우를 구축하는 것은 물론 쿠버네티스 혹은 그 내부구조를 알 필요 없이 머신러닝 모델을 배포, 관리, 확장할 수 있다. 쿠버플로우는 코드 작성부터 컨테이너 생성 및 할당, 모델 학습, 해당 모델의 서빙까지 머신러닝 프로젝트의 모든 모든 단계를 관리하도록 설계됐다. 또한 쿠버플로우 1.0은 데이터 분석을 위한 데이터 주피터 노트북(Jupyter notebooks)과 웹 기반 대시보드 UI 같은 도구들을 제공해 각 단계를 지원한다. 구글은 쿠버플로우가 모델 학습과 서빙뿐만 아니라 개발 및 연구 작업에서 반복성, 독립성, 확장성, 유연성을 제공한다고 강조했다. 쿠버플로우에서 실행되는 주피터 노트북은 리소스 제한적(resource-limited)인 동시에 프로세스 제한적(process-limited)이다. 또한 구성, 기밀 접근(access to secrets), 데이터 소스를 재사용할 수 있다고 회사 측은 전했다. 쿠버플로우에는 여러 컴포넌트가 있다. 파이프라인(Pipeline)은 파이선을 사용해 복잡한 머신러닝 워크플로우 작성을 자동화하는 컴포넌트다. 메타데이터(Metadata)는 개별 모델, 데이터세트, 모델 학습, 예측 실행에 대한 세부 정보를 추적해준다. 카티브(Katib)는 쿠버플로우의 하이퍼파라미터 튜닝 컴포넌트다. 코드 변환...

구글 쿠버플로우 카티브 주피터노트북 머신러닝툴킷 파이프라인 쿠버네티스 데이터과학 머신러닝 메타데이터 워크플로우 하이퍼파라미터튜닝

2020.03.05

데이터 과학자가 머신러닝 워크플로우를 손쉽게 관리, 배포, 확장할 수 있도록 지원하는 쿠버네티스용 머신러닝 툴킷의 정식 버전이 출시됐다.  구글이 2017년 첫 공개했던 쿠버플로우의 1.0 버전이 정식 출시됐다. 쿠버플로우는 쿠버네티스 환경에서 머신러닝 워크플로우를 관리하고 배포할 수 있도록 돕는 솔루션이다.    회사에 따르면 쿠버플로우는 머신러닝 프로젝트의 2가지 주요 문제를 해결하고자 개발됐다. 첫째, 통합된 엔드투엔드 워크플로우의 필요성이다. 둘째, 쉽고 직관적이며 확장이 간편한 배포의 필요성이다.  쿠버플로우를 이용해 데이터 과학자는 쿠버네티스 상에서 머신러닝 워크플로우를 구축하는 것은 물론 쿠버네티스 혹은 그 내부구조를 알 필요 없이 머신러닝 모델을 배포, 관리, 확장할 수 있다. 쿠버플로우는 코드 작성부터 컨테이너 생성 및 할당, 모델 학습, 해당 모델의 서빙까지 머신러닝 프로젝트의 모든 모든 단계를 관리하도록 설계됐다. 또한 쿠버플로우 1.0은 데이터 분석을 위한 데이터 주피터 노트북(Jupyter notebooks)과 웹 기반 대시보드 UI 같은 도구들을 제공해 각 단계를 지원한다. 구글은 쿠버플로우가 모델 학습과 서빙뿐만 아니라 개발 및 연구 작업에서 반복성, 독립성, 확장성, 유연성을 제공한다고 강조했다. 쿠버플로우에서 실행되는 주피터 노트북은 리소스 제한적(resource-limited)인 동시에 프로세스 제한적(process-limited)이다. 또한 구성, 기밀 접근(access to secrets), 데이터 소스를 재사용할 수 있다고 회사 측은 전했다. 쿠버플로우에는 여러 컴포넌트가 있다. 파이프라인(Pipeline)은 파이선을 사용해 복잡한 머신러닝 워크플로우 작성을 자동화하는 컴포넌트다. 메타데이터(Metadata)는 개별 모델, 데이터세트, 모델 학습, 예측 실행에 대한 세부 정보를 추적해준다. 카티브(Katib)는 쿠버플로우의 하이퍼파라미터 튜닝 컴포넌트다. 코드 변환...

2020.03.05

서비스로서의 CI/CD : 클라우드의 지속적 통합과 제공을 위한 10가지 툴

클라우드와 지속적 통합(Continuous Integration, CI)은 잘 맞는 한 쌍이다. 클라우드는 물리 서버를 설치하고 유지보수하는 고통을 없애고, CI는 코드를 빌드, 테스트, 배포하는 데 따르는 힘든 작업의 대부분을 자동화한다. 두 가지 기술 모두 개발 팀이 짊어지는 부담을 덜어주는 데 목표를 두니, 둘을 결합해서 더 많은 단순 작업을 없앨 수 있다면 금상첨화일 것이다. CI 서비스는 숫자도 많고 적어도 추상적 관점에서는 기능도 대부분 동일하다. CI 서비스에서 가장 먼저 하는 일은 사용자가 개발한 새로운 소프트웨어의 뛰어남을 온 세상에 알리기 전에 해야 할 일, 즉 컴파일, 테스트와 같은 작업을 목록화하는 것이다. 코드를 작성해서 커밋하면 툴이 체크리스트에 따라 장애물이 있는지 여부를 살핀다. 장애물이 없다면 최상이다.   누구나 소프트웨어 개발 프로젝트에서 CI를 사용할 수 있지만, 가장 큰 이득을 얻는 쪽은 팀, 주로 상호 연계되는 코드 블록으로 작업하는 대규모 팀이다. 철저한 CI 구현은 빌드와 테스트를 계속 반복하면서 여러 팀원이 각자의 코드를 체크인하는 과정에서 발생했을지도 모를 새로운 오류와 비호환성을 찾는다. 지속적 통합 서버는 모든 프로그래머의 작업을 동기화하고 문제를 발견하도록 돕는다. 테스트를 CI 서버 작업 목록의 마지막 요소로 보는 시각도 있지만, 최근에는 신규 코드 배포, 즉 “지속적 배포(Continuous Deployment)” 프로세스를 포함하도록 작업 목록을 확장하는 팀이 늘고 있다. 완전히 자동화된 배포에 안심하지 못하는 사람들은 프로세스에 몇 가지 수작업을 추가하는 경우가 많다. 책임 소재와 사람의 확인이 있어야만 안심이 되기 때문이다. 이러한 혼합적 접근 방식을 “지속적 제공(Continuous Delivery, CD)”이라고 지칭한다. 코드는 스테이징 또는 테스팅 클러스터로 전달된 후 거기서 사람이 프로덕션으로 푸시하는 최종 단계를 기다리게 된다...

파이프라인 CI/CD 지속적통합 클라우드비즈

2019.03.22

클라우드와 지속적 통합(Continuous Integration, CI)은 잘 맞는 한 쌍이다. 클라우드는 물리 서버를 설치하고 유지보수하는 고통을 없애고, CI는 코드를 빌드, 테스트, 배포하는 데 따르는 힘든 작업의 대부분을 자동화한다. 두 가지 기술 모두 개발 팀이 짊어지는 부담을 덜어주는 데 목표를 두니, 둘을 결합해서 더 많은 단순 작업을 없앨 수 있다면 금상첨화일 것이다. CI 서비스는 숫자도 많고 적어도 추상적 관점에서는 기능도 대부분 동일하다. CI 서비스에서 가장 먼저 하는 일은 사용자가 개발한 새로운 소프트웨어의 뛰어남을 온 세상에 알리기 전에 해야 할 일, 즉 컴파일, 테스트와 같은 작업을 목록화하는 것이다. 코드를 작성해서 커밋하면 툴이 체크리스트에 따라 장애물이 있는지 여부를 살핀다. 장애물이 없다면 최상이다.   누구나 소프트웨어 개발 프로젝트에서 CI를 사용할 수 있지만, 가장 큰 이득을 얻는 쪽은 팀, 주로 상호 연계되는 코드 블록으로 작업하는 대규모 팀이다. 철저한 CI 구현은 빌드와 테스트를 계속 반복하면서 여러 팀원이 각자의 코드를 체크인하는 과정에서 발생했을지도 모를 새로운 오류와 비호환성을 찾는다. 지속적 통합 서버는 모든 프로그래머의 작업을 동기화하고 문제를 발견하도록 돕는다. 테스트를 CI 서버 작업 목록의 마지막 요소로 보는 시각도 있지만, 최근에는 신규 코드 배포, 즉 “지속적 배포(Continuous Deployment)” 프로세스를 포함하도록 작업 목록을 확장하는 팀이 늘고 있다. 완전히 자동화된 배포에 안심하지 못하는 사람들은 프로세스에 몇 가지 수작업을 추가하는 경우가 많다. 책임 소재와 사람의 확인이 있어야만 안심이 되기 때문이다. 이러한 혼합적 접근 방식을 “지속적 제공(Continuous Delivery, CD)”이라고 지칭한다. 코드는 스테이징 또는 테스팅 클러스터로 전달된 후 거기서 사람이 프로덕션으로 푸시하는 최종 단계를 기다리게 된다...

2019.03.22

'데이터 입력, 지능 출력' 알기 쉽게 설명하는 머신러닝 파이프라인

머신러닝을 보면 마법의 블랙 박스 같다는 생각이 들곤 한다. 상자에 데이터를 집어넣으면 반대쪽에서 예측이 튀어나온다. 그러나 그 과정에 마법은 없다. 데이터와 알고리즘, 그리고 알고리즘을 통해 데이터를 처리해 만들어진 모델이 있을 뿐이다. 머신러닝을 통해 데이터에서 행동 가능한 통찰력을 끌어내는 일을 하는 사람에게는 이 프로세스를 구체적으로 아는 것이 도움이 된다. 그 상자 내부가 어떻게 돌아가는지 잘 알수록 데이터가 예측으로 변환되는 과정의 각 단계에 대한 이해도를 높이고 예측의 정확도를 향상시킬 수 있다. 데브옵스 사람들은 소스 코드에서 배포에 이르기까지 소프트웨어의 제작 과정을 “파이프라인 빌드”라고 표현한다. 데이터에도 여러 머신러닝 솔루션을 거치는 흐름, 즉 파이프라인이 있다. 이 파이프라인의 구성 원리를 마스터하면 머신러닝을 속속들이 이해할 수 있다. 머신러닝을 위한 데이터 소스와 흡수 위키본 리서치(Wikibon Research) 분석가 조지 길버트의 설명에 따르면 머신러닝 파이프라인은 4단계로 구성된다. 1. 데이터 흡수(ingest) 2. 데이터 준비(데이터 탐색 및 거버넌스 포함) 3. 모델 교육 4. 예측 제공 머신러닝 파이프라인이 시작되려면 교육에 사용할 데이터, 그리고 교육을 수행할 알고리즘, 두 가지가 필요하다. 대부분의 경우 데이터는 다음 두 가지 형태 중 하나로 유입된다. 1. 정기적으로 업데이트되는 예측을 수행하기 위해 이미 어딘가에 수집해서 집계하고 있는 라이브 데이터. 2. 다운로드해서 그대로 사용하거나 ETL 작업을 통해 기존 데이터 소스에서 얻은 “동결된” 데이터 집합. 동결된 데이터의 경우 일반적으로 한 가지 종류의 처리만 수행한다. 즉, 데이터로 모델을 교육하고 그 모델을 배포하고 필요한 경우 정기적으로 모델을 업데이트한다. 그러나 스트리밍되는 데이터의 경우 데이터에서...

프로세스 학습 인공지능 과정 파이프라인

2017.06.14

머신러닝을 보면 마법의 블랙 박스 같다는 생각이 들곤 한다. 상자에 데이터를 집어넣으면 반대쪽에서 예측이 튀어나온다. 그러나 그 과정에 마법은 없다. 데이터와 알고리즘, 그리고 알고리즘을 통해 데이터를 처리해 만들어진 모델이 있을 뿐이다. 머신러닝을 통해 데이터에서 행동 가능한 통찰력을 끌어내는 일을 하는 사람에게는 이 프로세스를 구체적으로 아는 것이 도움이 된다. 그 상자 내부가 어떻게 돌아가는지 잘 알수록 데이터가 예측으로 변환되는 과정의 각 단계에 대한 이해도를 높이고 예측의 정확도를 향상시킬 수 있다. 데브옵스 사람들은 소스 코드에서 배포에 이르기까지 소프트웨어의 제작 과정을 “파이프라인 빌드”라고 표현한다. 데이터에도 여러 머신러닝 솔루션을 거치는 흐름, 즉 파이프라인이 있다. 이 파이프라인의 구성 원리를 마스터하면 머신러닝을 속속들이 이해할 수 있다. 머신러닝을 위한 데이터 소스와 흡수 위키본 리서치(Wikibon Research) 분석가 조지 길버트의 설명에 따르면 머신러닝 파이프라인은 4단계로 구성된다. 1. 데이터 흡수(ingest) 2. 데이터 준비(데이터 탐색 및 거버넌스 포함) 3. 모델 교육 4. 예측 제공 머신러닝 파이프라인이 시작되려면 교육에 사용할 데이터, 그리고 교육을 수행할 알고리즘, 두 가지가 필요하다. 대부분의 경우 데이터는 다음 두 가지 형태 중 하나로 유입된다. 1. 정기적으로 업데이트되는 예측을 수행하기 위해 이미 어딘가에 수집해서 집계하고 있는 라이브 데이터. 2. 다운로드해서 그대로 사용하거나 ETL 작업을 통해 기존 데이터 소스에서 얻은 “동결된” 데이터 집합. 동결된 데이터의 경우 일반적으로 한 가지 종류의 처리만 수행한다. 즉, 데이터로 모델을 교육하고 그 모델을 배포하고 필요한 경우 정기적으로 모델을 업데이트한다. 그러나 스트리밍되는 데이터의 경우 데이터에서...

2017.06.14

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9