빅데이터부터 블록체인까지···될성부른 오픈소스 프로젝트 8가지

소투스 레이크(Sawtooth Lake) 소투스 레이크는 하이퍼레저(Hyperledger) 프로젝트를 위한 인텔의 새로운 분산 원장 플랫폼으로, 기존 블록체인 기술, 특히 비트코인의 확장성과 보안에 대한 우려를 해결하기 위해 개발됐다. 모듈형 솔루션과 위조 방지 합의 알고리즘을 제공하는데, 이 알고리즘은 비트코인의 작업 증명(Proof of Work)보다 부담이 훨씬 적은 경과 시간 증명(Proof of Elapsed Time)을 기반으로 새로운 블록을 주장하는 무작위 리더 선정을 위한 알고리즘이며 덤으로 보안도 더 강화해준다. 소투스 레이크는 영역에 대한 규칙이 사전 정의되고 트랜잭션이 그 안에서 실행되는 영역별 트랜잭션 모음을 설정해서 많은 사용 사례를 지원하는 것이 특징이다. 블록체인의 비즈니스 애플리케이션 적합성을 위한 중요한 진전이라 할 수 있다.

카본 데이터(Carbon Data) 아파치 카본데이터는 쿼리 최적화를 위해 스파크와 통합되는, 완전 색인화 컬럼 기반 하둡 네이티브 데이터 저장소다. 데이터 구조, 다중 수준 색인화 및 최적화에 대한 이 독특한 접근 방식은 데이터 필터링 속도 증가, 압축 효율 향상, 검색 및 쿼리 처리 성능 증대로 이어져 연산 리소스를 더 효율적으로 사용할 수 있다. 딕셔너리 인코딩은 집계 이후 “지연된 디코딩”이 실행되는 방식으로 집계 속도를 높이는 특징이 있다. 카본데이터의 유연함은 OLAP 쿼리, 순차 접근(빅 스캔–big scan) 및 임의 접근(내로우 스캔–narrow scan)과 같은 상이한 데이터 접근 패턴에 대해 하나의 파일 형식을 사용하는 데 기인한다.

딥 스케일러블 스파스 텐서 네트워크 엔진(DSSTNE) 아마존의 DSSTNE(“데스티니”라고 읽음)는 데이터 희소성과 확장성에 최적화되고 다중 GPU의 최적 사용에 초점을 맞춤으로써 신경망 분야에 변화를 일으키고 있다. 아마존 상품 추천 기능의 대규모 저지연 컴퓨팅 요구 사항에 대처하기 위해 시작된 DSSTNE는 대규모 네트워크, 희소 데이터 집합, 병렬 교육을 지원하도록 설계됐다. 아마존은 DSSTNE가 희소 데이터 집합을 처리할 때 구글 텐서플로우에 비해 2~15배 더 빠르다고 주장한다. DSSTNE는 만능을 지향하지 않는다. 규모와 희소 데이터에 집중하는 특성은 전자상거래와 엔터프라이즈를 위한 딥 러닝 프레임워크 및 추천 엔진으로 적합하다.

오픈코드(OpenCORD) 소프트웨어 정의 네트워크를 최대한 활용하는 데 중점을 두는 비영리 조직인 오픈 네트워킹 랩(Open Networking Lab)은 SDN, NFV, 클라우드를 일반 인프라와 결합해 서비스 제공업체에게 데이터센터급 규모와 민첩성을 제공하는 종단간 솔루션인 오픈코드를 추진하고 있다(오픈코드에서 “코드(CORD)”는 Central Office Rearchitected as a Datacenter의 약어). 오픈코드의 범위는 통신 사업자 중앙 사무실, 액세스, 가정, 엔터프라이즈를 포괄하며, 일반적인 인프라와 공개 빌딩 블록을 사용해서 자본 비용과 운영 비용을 모두 줄이고 프로그램 가능한 유연한 네트워크로 출시 시간을 줄여준다. 오픈코드는 AT&T, SKT, 차이나 유니콤, NTT 등의 지원을 받고 있으며 오픈소스 소프트웨어 및 소프트웨어 정의 표준을 사용하는 네트워크 솔루션을 추진하기 위해 오픈 네트워킹 재단(Open Networking Foundation)과도 힘을 합쳤다.

포세이돈(Poseidon) 올해 두 개의 조직이 최첨단 머신 러닝과 소프트웨어 정의 네트워크 기능을 활용한 네트워크 보안 혁명을 이끌고 있다. 기술 투자자인 인큐텔(In-Q-Tel, IQT)의 지원을 받고 미국 정부, 학계 및 미 정보 기관과 긴밀히 협력하는 실험적 연구소 랩41(Lab41)과 사이버리부트(CyberReboot)가 포세이돈 프로젝트를 출범했다. 포세이돈은 네트워크에서 추가 또는 제거되는 항목과 생성되는 트래픽에 대한 상황 인식을 통해 ‘네트워크에 무엇이 있고, 그게 무엇을 하고 있는가?’라는 두 가지 중요한 질문에 답한다. 머신 러닝 기술을 사용해서 네트워크의 상호작용을 조사하고 허용되지 않은 또는 악성 활동의 확실한 단서를 학습한다. 포세이돈은 몇 차례 예비 테스트에서 악성 활동의 84%를 잡아냈으며 오탐지율은 2.2%에 불과했다.

트라이림(Trireme) 트라이림은 ‘어떻게 리눅스 환경을 강화하고 컨테이너를 효율적으로, 안전하게 실행할 것인가?’라는 중대한 질문에 대한 답을 제시한다. SDN, 보안 정책과 규모, 교정 효율성의 융합을 지속적으로 모색하는 클라우드 보안 신생업체 아포레토(Aporeto)는 분산 애플리케이션을 위한 클라우드 네이티브 보안 솔루션인 트라이림 프로젝트를 출범했다. 종단간 인증 및 권한 부여를 통해 대규모 보안 정책 생성이 가능하다. 아포레토는 유연한 네트워크 정책 프레임워크와 빠르게 성장 중인 커뮤니티, 클라우드 네이티브 애플리케이션 및 규모에 대한 세심한 관심을 이유로 퀴베르네시스(Kubernetes)와도 긴밀히 협력하고 있다.

앤서블 컨테이너(Ansible Container) 앤서블 컨테이너는 앤서블 개발 팀이 마련한 도커 파일의 대안이다. 앤서블 플레이북(Playbook)을 사용해서 컨테이너 빌드, 배포 및 관리 프로세스를 자동화한다. 앤서블 컨테이너는 플랫폼을 가리지 않으며 쿠버네티스와 오픈시프트(OpenShift)를 포함한 일반적인 컨테이너 오케스트레이션 엔진 대부분을 지원한다. 이 모듈성 덕분에 예를 들어 간단한 구성 변경만으로 개발 중에는 도커를, 배포 중에는 쿠버네티스를 대상으로 설정할 수 있다. 이 프로젝트는 2016년 여름 도커콘(DockerCon)에서 공개된 이후 확고한 커뮤니티를 확보하고 기술적으로도 성장했다. 2017년 1.0 릴리스를 앞두고 현재 더 폭넓은 사용 사례 및 역할로 서비스를 확장하는 데 주력하고 있다.

콜리브리(Kolibri) 온라인 교육 비영리 조직인 러닝 이퀄리티(Learning Equality)는 콜리브리 애플리케이션으로 전 세계 곳곳의 낙후된 지역을 위한 교육 혁명을 꾀하고 있다. 아직 공개 다운로드로는 제공되지 않는 콜리브리는 시골 학교, 방과후 프로그램부터 난민촌, 고아원에 이르기까지 교육 자원이 부족한 지역의 학생과 교사들이 학습 리소스를 이용할 수 있도록 해준다. 콜리브리는 대화형 수업, 자율 학습 리소스, 협력 학습 도구를 제공하고 학생과 교사에게 모두 실시간 피드백 및 지침을 제공한다. 콜리브리는 리소스를 효율적으로 전파하기 위해 인터넷을 통해 엔드포인트 기기에 설치 프로그램, 업데이트 및 콘텐츠를 “심는다”. 이러한 기기는 오프라인 로컬 네트워크를 통해 다른 기기와 새로운 콘텐츠와 업데이트를 공유한다. 콜리브리는 품질 손실을 최소화하면서 콘텐츠를 압축해 저가의 소형 기기에서도 대량의 콘텐츠를 유지할 수 있도록 한다.