Offcanvas

������ ������

솔라윈즈, 차세대 ‘병렬 빌드’ 시스템 발표… 보안 내재화에 총력

솔라윈즈가 치명적인 피해를 본 공급망 공격을 교훈 삼아 보안을 한층 강화한 새 소프트웨어 개발 시스템을 구축했다고 30일 밝혔다.    2020년, 한 해커 조직이 ‘선버스트(Sunburst)’라 불리는 악성 코드를 솔라윈즈의 소프트웨어 개발 시스템 오리온(Orion)에 심어 큰 타격을 가한 이래로 이 회사는 공급망 공격의 대명사격이 됐다. 선버스트는 오리온을 업데이트한 전 세계의 수많은 정부와 기업 고객에게 유포되어 막대한 피해를 줬다.  솔라윈즈는 이 사태로 뼈아픈 교훈을 얻었다. 그리고 교훈의 결과로 지난 22일(현지 시각) 차세대 빌드 시스템(Next-Generation Build System)을 발표했다. 소프트웨어 개발 환경의 무결성을 강화하는 일련의 기술을 포함한 시스템이다. 업계 최초로 적용한 ‘병렬 빌드(parallel build)’ 프로세스가 특징이라고 회사는 밝혔다. 이 프로세스에서는 소프트웨어 개발이 여러 개의 안전한 중복 경로를 거쳐 이뤄지면서 무결성 검사를 위한 기반을 구축한다는 설명이다.  451 리서치(451 Research)의 정보 보안 및 네트워킹 연구 책임자 다니엘 케네디는 "빌드 시스템에 컴파일된 바이너리가 해당 바이너리를 생성하는 데 쓰인 소스 코드와 일치하는지 확인하는 무결성 검사 절차가 없는 경우, 이러한 새 접근방식은 보안을 크게 강화할 것”이라고 평가했다. 그는 “새로운 시스템이 (예상보다) 비교적 이른 시일 안에 개발되었기 때문에 완성도가 높으리라고 보장하기는 어렵다. 다만 새로운 위협 발생 시 더 신속하게 대응하는 듯하다. 또한 새 시스템은 설계상 더 높은 투명성을 확보해 소프트웨어 개선, 유지, 개발의 속도와 안정성을 높일 것이다”라고 덧붙였다.  기술 자문 회사 옴디아(Omdia)의 사이버 보안 부문 수석 애널리스트 릭 터너는 "앱데브(AppDev)에 대한 CI/CD 파이프라인 접근 방식은 선형적일 뿐만 아니라 기본적으로 단일 경로에 의존한다. 따...

무결성 병렬 처리 병렬빌드 솔라윈즈 솔라윈즈 해킹

2022.06.30

솔라윈즈가 치명적인 피해를 본 공급망 공격을 교훈 삼아 보안을 한층 강화한 새 소프트웨어 개발 시스템을 구축했다고 30일 밝혔다.    2020년, 한 해커 조직이 ‘선버스트(Sunburst)’라 불리는 악성 코드를 솔라윈즈의 소프트웨어 개발 시스템 오리온(Orion)에 심어 큰 타격을 가한 이래로 이 회사는 공급망 공격의 대명사격이 됐다. 선버스트는 오리온을 업데이트한 전 세계의 수많은 정부와 기업 고객에게 유포되어 막대한 피해를 줬다.  솔라윈즈는 이 사태로 뼈아픈 교훈을 얻었다. 그리고 교훈의 결과로 지난 22일(현지 시각) 차세대 빌드 시스템(Next-Generation Build System)을 발표했다. 소프트웨어 개발 환경의 무결성을 강화하는 일련의 기술을 포함한 시스템이다. 업계 최초로 적용한 ‘병렬 빌드(parallel build)’ 프로세스가 특징이라고 회사는 밝혔다. 이 프로세스에서는 소프트웨어 개발이 여러 개의 안전한 중복 경로를 거쳐 이뤄지면서 무결성 검사를 위한 기반을 구축한다는 설명이다.  451 리서치(451 Research)의 정보 보안 및 네트워킹 연구 책임자 다니엘 케네디는 "빌드 시스템에 컴파일된 바이너리가 해당 바이너리를 생성하는 데 쓰인 소스 코드와 일치하는지 확인하는 무결성 검사 절차가 없는 경우, 이러한 새 접근방식은 보안을 크게 강화할 것”이라고 평가했다. 그는 “새로운 시스템이 (예상보다) 비교적 이른 시일 안에 개발되었기 때문에 완성도가 높으리라고 보장하기는 어렵다. 다만 새로운 위협 발생 시 더 신속하게 대응하는 듯하다. 또한 새 시스템은 설계상 더 높은 투명성을 확보해 소프트웨어 개선, 유지, 개발의 속도와 안정성을 높일 것이다”라고 덧붙였다.  기술 자문 회사 옴디아(Omdia)의 사이버 보안 부문 수석 애널리스트 릭 터너는 "앱데브(AppDev)에 대한 CI/CD 파이프라인 접근 방식은 선형적일 뿐만 아니라 기본적으로 단일 경로에 의존한다. 따...

2022.06.30

애저 데이터브릭스, ‘포톤 쿼리 엔진’ 프리뷰 공개

마이크로소프트가 애저 데이터브릭스 클라우드 애널리틱스 및 AI 서비스용 벡터화된 쿼리 엔진, ‘포톤 기반 델타 엔진(Photon powered Delta Engine)’ 프리뷰를 공개했다. 애저 데이터브릭스(Azure Databricks)는 아파치 스파크(Apache Spark)를 기반으로 하는 데이터 애널리틱스 플랫폼이며, 데이터브릭스와의 제휴로 제공된다.    마이크로소프트는 데이터 중심 의사결정 체제를 도입하는 기업이 늘어나면서 방대한 양과 유형의 데이터를 신속하게 분석할 수 있는 플랫폼을 확보하는 것은 필수적이라고 밝혔다.  ‘포톤’은 C++로 작성됐으며 스파크 API(Spark APIs)와 호환된다. 회사에 따르면 이 벡터화된 쿼리 엔진은 최신 CPU 아키텍처와 델타 레이크(Delta lake) 오픈소스 트랜잭션 스토리지 계층을 활용해 아파치 스파크 3.0 성능을 최대 20배까지 향상시킨다.    포톤은 데이터와 명령어 수준에서 CPU 처리의 더 큰 병렬성을 제공한다. 델타 엔진의 다른 구성요소에는 개선된 쿼리 최적화 프로그램과 캐싱 계층이 있다. 이러한 기술 조합은 데이터 엔지니어링, 머신러닝, 데이터 과학, 데이터 애널리틱스를 포함한 빅데이터 사용 사례를 강화한다.  한편 애저 데이터브릭스를 사용하면 최적화된 아파치 스파크 환경을 빠르게 설정할 수 있다. 또한 애저 액티브 디렉토리(Azure Active Directory), 애저 시냅스 애널리틱스(Azure Synapse Analytics), 애저 머신러닝(Azure Machine Learning)과 같은 여러 애저 클라우드 서비스와의 통합을 지원한다. 이를 통해 사용자는 엔드투엔드 데이터 웨어하우스, 머신러닝, 실시간 분석 애널리틱스 솔루션 등을 구축할 수 있다. ciokr@idg.co.kr  

마이크로소프트 애저 데이터브릭스 애저 데이터브릭스 포톤 쿼리 엔진 CPU 병렬 처리 애널리틱스 아파치 스파크 C++ 데이터 엔지니어링 머신러닝 데이터 과학 빅데이터

2020.09.29

마이크로소프트가 애저 데이터브릭스 클라우드 애널리틱스 및 AI 서비스용 벡터화된 쿼리 엔진, ‘포톤 기반 델타 엔진(Photon powered Delta Engine)’ 프리뷰를 공개했다. 애저 데이터브릭스(Azure Databricks)는 아파치 스파크(Apache Spark)를 기반으로 하는 데이터 애널리틱스 플랫폼이며, 데이터브릭스와의 제휴로 제공된다.    마이크로소프트는 데이터 중심 의사결정 체제를 도입하는 기업이 늘어나면서 방대한 양과 유형의 데이터를 신속하게 분석할 수 있는 플랫폼을 확보하는 것은 필수적이라고 밝혔다.  ‘포톤’은 C++로 작성됐으며 스파크 API(Spark APIs)와 호환된다. 회사에 따르면 이 벡터화된 쿼리 엔진은 최신 CPU 아키텍처와 델타 레이크(Delta lake) 오픈소스 트랜잭션 스토리지 계층을 활용해 아파치 스파크 3.0 성능을 최대 20배까지 향상시킨다.    포톤은 데이터와 명령어 수준에서 CPU 처리의 더 큰 병렬성을 제공한다. 델타 엔진의 다른 구성요소에는 개선된 쿼리 최적화 프로그램과 캐싱 계층이 있다. 이러한 기술 조합은 데이터 엔지니어링, 머신러닝, 데이터 과학, 데이터 애널리틱스를 포함한 빅데이터 사용 사례를 강화한다.  한편 애저 데이터브릭스를 사용하면 최적화된 아파치 스파크 환경을 빠르게 설정할 수 있다. 또한 애저 액티브 디렉토리(Azure Active Directory), 애저 시냅스 애널리틱스(Azure Synapse Analytics), 애저 머신러닝(Azure Machine Learning)과 같은 여러 애저 클라우드 서비스와의 통합을 지원한다. 이를 통해 사용자는 엔드투엔드 데이터 웨어하우스, 머신러닝, 실시간 분석 애널리틱스 솔루션 등을 구축할 수 있다. ciokr@idg.co.kr  

2020.09.29

김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (1)

LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(high-level trigger)에서 수행되는 이벤트 데이터 파편(fragment)들을 검출기 센서의 위치에 맞게 배치, 병합하고, 물리학자들이 물리학적인 분석이 가능하도록 기초적인 메타데이터를 추가하는 자동화된 데이터 분석 과정이었다. 이렇게 자동화된 데이터 분석 과정은 물리학자들이 힉스 보존과 같은 새로운 입자를 쉽게 찾게 해주거나, 입자의 특성을 더 정밀하게 분석하길 원하는 입자에서 필요한 정보를 쉽게 계산해낼 수 있도록 이벤트 데이터를 가공하는 과정이다. 위와 같이 검출기의 온라인 데이터 수집 시스템을 통해서 이벤트 데이터를 자동으로 가공한 후에는 물리학적인 분석을 위한 단계에 들어간다. 이런 추가의 물리학적인 정밀한 분석이 필요한 이유는 자동화된 분석 단계에서 쓰이는 인공지능 기술이 아직 물리학자들이 물리학적 분석을 하는 것과 같이 복잡하고 창조적인 작업을 할 수 있을 정도로 발전하지 않았기 때문이다. 현재 LHC 이벤트 데이터 분석 과정에서 자동화된 부분은 앞서 여섯 번째 글에서 소개한 바와 같이 시뮬레이션을 통해 생성된 이벤트 데이터와 실제 수집된 이벤트 데이터를 비교하여 원시 이벤트 데이터에 시뮬레이션 데이터에서 추정된 메타데이터를 덧붙이는 패턴 매칭 과정이라고 소개한 바 있다. CMS를 비롯한 LHC의 각 검출기들이 초당 4천만 번의 횟수로 일어나는 양성자 빔 충돌로 인해 Level-1 트리거를 거치기 전에는 1TB이상의 많은 원시 데이터를 쏟아내지만, 양성자 빔 충돌 한번의 이벤트 데이터는 2MB 정도로 그렇게 큰 편이 아니다. 각각의 양성자 빔 충돌 이벤트는 서로 상호 연관이 없는 통계적으로 독립적인 이벤트들로 볼 수 있기 때문에 각 이벤트 데이터를 개별적으로 분석해도 ...

구글 빅데이터 아파치 하둡 스파크 텐서플로 김진철 CERN 병렬 처리

2018.03.23

LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(high-level trigger)에서 수행되는 이벤트 데이터 파편(fragment)들을 검출기 센서의 위치에 맞게 배치, 병합하고, 물리학자들이 물리학적인 분석이 가능하도록 기초적인 메타데이터를 추가하는 자동화된 데이터 분석 과정이었다. 이렇게 자동화된 데이터 분석 과정은 물리학자들이 힉스 보존과 같은 새로운 입자를 쉽게 찾게 해주거나, 입자의 특성을 더 정밀하게 분석하길 원하는 입자에서 필요한 정보를 쉽게 계산해낼 수 있도록 이벤트 데이터를 가공하는 과정이다. 위와 같이 검출기의 온라인 데이터 수집 시스템을 통해서 이벤트 데이터를 자동으로 가공한 후에는 물리학적인 분석을 위한 단계에 들어간다. 이런 추가의 물리학적인 정밀한 분석이 필요한 이유는 자동화된 분석 단계에서 쓰이는 인공지능 기술이 아직 물리학자들이 물리학적 분석을 하는 것과 같이 복잡하고 창조적인 작업을 할 수 있을 정도로 발전하지 않았기 때문이다. 현재 LHC 이벤트 데이터 분석 과정에서 자동화된 부분은 앞서 여섯 번째 글에서 소개한 바와 같이 시뮬레이션을 통해 생성된 이벤트 데이터와 실제 수집된 이벤트 데이터를 비교하여 원시 이벤트 데이터에 시뮬레이션 데이터에서 추정된 메타데이터를 덧붙이는 패턴 매칭 과정이라고 소개한 바 있다. CMS를 비롯한 LHC의 각 검출기들이 초당 4천만 번의 횟수로 일어나는 양성자 빔 충돌로 인해 Level-1 트리거를 거치기 전에는 1TB이상의 많은 원시 데이터를 쏟아내지만, 양성자 빔 충돌 한번의 이벤트 데이터는 2MB 정도로 그렇게 큰 편이 아니다. 각각의 양성자 빔 충돌 이벤트는 서로 상호 연관이 없는 통계적으로 독립적인 이벤트들로 볼 수 있기 때문에 각 이벤트 데이터를 개별적으로 분석해도 ...

2018.03.23

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13