2017.01.25

클라우드 뷔페로의 재정립··· AWS 최신 서비스 10종

Peter Wayner | InfoWorld

초창기 클라우드에서의 삶은 단순했다. 신용카드 번호를 입력해 결제하고, 랙에 설치할 필요가 없는 가상 머신을 도입하는 수준에 그쳤다. 하지만 이제 상황은 크게 달라졌다.

클라우드가 복잡해지고 다기능화 되어감에 따라 '클라우드'라는 모호하고 다양한 의미를 갖는 단어로는 이제 제대로 정의되지 않는다. 여전히 임대한 머신에 루트 로그인을 하지만 데이터를 쪼개고, 자르고, 저장하기 위한 수많은 서비스들이 있다. 프로그래머는 코드를 쓰고 설치할 필요가 없지만 가입(Subscribe)와 구성(Configure) 작업을 해야 한다.

아마존이 이러한 변화를 주도했다. 경쟁이 없지는 않았다. 마이크로소프트와 구글, IBM, 랙스페이스, 조이넷 등이 클라우드를 위한 스마트한 솔루션과 소프트웨어 패키지를 공급하고 있다. 그러나 아마존만큼 클라우드용 기능과 특징이 풍부한 서비스를 만든 회사는 단 한 곳도 없다.

아마존 웹 서비스는 클라우드가 비어 있다는 생각을 날려버리는 새로운 상품들을 줄기차게 내놓고 있다. 아마존이 클라우드 컴퓨팅을 어떻게 재정립하고 있는지 보여주는 새로운 서비스 10가지를 정리했다.

- 글루(Glue)
- FPGA
- 블록스(Blox)
- X-레이(X-Ray)
- 레코그니션(Rekognition)
- 아테나(Athena)
- 람다앳엣지(Lambda@Edge)
- 스노우볼엣지(Snowball Edge)
- 핀포인트(Pinpoint)
- 폴리(Polly)




글루(Glue)
데이터 사이언스를 많이 다뤄 본 사람들은 분석보다 데이터 수집이 더 큰 도전과제가 되는 경우가 많다는 점을 잘 안다. 심지어 데이터를 수집해 표준 데이터 형식으로 바꾸는 작업이 전체 부하의 90% 이상을 차지하기도 한다.

글루는 새로운 파이선(Python) 스크립트다. 자동으로 데이터 소스를 찾아 변환하고, 아마존 클라우드에 통합시킨다. 데이터 소스에 접근해, JSON, CSV, JDBC 등 표준 데이터를 수집한다. 데이터를 수집한 후, 스키마를 분석해 제안할 수도 있다.

파이선 계층이 흥미로운 이유는 파이선을 쓰거나 이해하지 않아도 이용할 수 있기 때문이다. 물론 맞춤화를 원할 경우 파이선 지식이 도움이 된다. 글루는 데이터 흐름을 유지하는데 필요한 작업들을 처리해준다. 사용자 대신 생각까지 해주는 것은 아니지만, 많은 세부 사항을 처리, 사용자가 큰 그림만 생각하도록 도와준다.

FPGA
FPGA(Field Programmable Gate Arrays)는 하드웨어 설계자의 오랜 '비밀 무기'였다. 누구나 소프트웨어를 통해 '전용 칩'을 구축할 수 있다. 커스텀 마스크를 구축할 필요가 없으며, 수많은 트랜지스터를 조밀한 실리콘으로 구현하는 과정을 고민하지 않게 해준다.

아마존의 새 AWS EC2 F1은 이런 FGPA의 '힘'을 클라우드로 가져오는 서비스다. EC2 F1 인스턴스는 고도로 구조화돼 있고, 반복적인 컴퓨팅 구현에 적합하다. EC2 F1으로 가상 칩에 대한 소프트웨어 서식을 만들어, 가장 짧은 시간에 답을 연산할 소수 게이트로 컴파일 할 수 있다. 유일하게 더 빠른 대안은 트랜지스터를 실제 실리콘으로 만드는 것 뿐이다.

누가 필요할까? 이를테면 매일 여러 차례 도일한 암호화 해시 함수를 연산하는 비트코인 채굴자들이 있다. 검색 속도를 높이기 위해 FPGA를 이용하는 비트코인 채굴자들이 많은 이유다. 또 유사하게 컴팩트하고 반복적인 알고리즘을 실리콘으로 구현해야 하는 사람들의 경우에도 적당할 수 있다. FPGA 인스턴스가 대여한 시스템으로 이를 즉시 처리할 수 있도록 해준다.

즉 쉽게 표준 명령 세트로 매핑할 수 없는 연산을 실행해야 하는 사람들이 누릴 수 있는 혜택이 가장 크다. 비트 수준의 함수, 기타 비표준 비산술 연산을 처리해야 하는 사람들을 예로 들 수 있다. 수열을 추가하기만 하는 경우, 표준 인스턴스가 더 나을 것이다. 그러나 EC2와 FGPA로 큰 효과를 보는 이들이 있다.

블록스(Blox)
도커(Docker)가 스택으로 통합되면서, 아마존은 언제 어느 때나 도커 인스턴스를 쉽게 실행할 수 있도록 만들려 시도하고 있다. 블록스는 인스턴스 클러스트를 처리, 더도 덜도 아닌 최적의 수만 실행되도록 만든다.

블록스는 이벤트 기반이다. 따라서 더 간단히 논리를 작성할 수 있다. 계속해서 머신에서 실행되는 것을 조사할 필요가 없다. 모든 보고를 보내오기 때문에, 최적의 수를 실행시킬 수 있다. 블록스는 또 오픈소스이기에 필요할 경우 아마존 클라우드 외부에서도 간편하게 재활용할 수 있다.




2017.01.25

클라우드 뷔페로의 재정립··· AWS 최신 서비스 10종

Peter Wayner | InfoWorld

초창기 클라우드에서의 삶은 단순했다. 신용카드 번호를 입력해 결제하고, 랙에 설치할 필요가 없는 가상 머신을 도입하는 수준에 그쳤다. 하지만 이제 상황은 크게 달라졌다.

클라우드가 복잡해지고 다기능화 되어감에 따라 '클라우드'라는 모호하고 다양한 의미를 갖는 단어로는 이제 제대로 정의되지 않는다. 여전히 임대한 머신에 루트 로그인을 하지만 데이터를 쪼개고, 자르고, 저장하기 위한 수많은 서비스들이 있다. 프로그래머는 코드를 쓰고 설치할 필요가 없지만 가입(Subscribe)와 구성(Configure) 작업을 해야 한다.

아마존이 이러한 변화를 주도했다. 경쟁이 없지는 않았다. 마이크로소프트와 구글, IBM, 랙스페이스, 조이넷 등이 클라우드를 위한 스마트한 솔루션과 소프트웨어 패키지를 공급하고 있다. 그러나 아마존만큼 클라우드용 기능과 특징이 풍부한 서비스를 만든 회사는 단 한 곳도 없다.

아마존 웹 서비스는 클라우드가 비어 있다는 생각을 날려버리는 새로운 상품들을 줄기차게 내놓고 있다. 아마존이 클라우드 컴퓨팅을 어떻게 재정립하고 있는지 보여주는 새로운 서비스 10가지를 정리했다.

- 글루(Glue)
- FPGA
- 블록스(Blox)
- X-레이(X-Ray)
- 레코그니션(Rekognition)
- 아테나(Athena)
- 람다앳엣지(Lambda@Edge)
- 스노우볼엣지(Snowball Edge)
- 핀포인트(Pinpoint)
- 폴리(Polly)




글루(Glue)
데이터 사이언스를 많이 다뤄 본 사람들은 분석보다 데이터 수집이 더 큰 도전과제가 되는 경우가 많다는 점을 잘 안다. 심지어 데이터를 수집해 표준 데이터 형식으로 바꾸는 작업이 전체 부하의 90% 이상을 차지하기도 한다.

글루는 새로운 파이선(Python) 스크립트다. 자동으로 데이터 소스를 찾아 변환하고, 아마존 클라우드에 통합시킨다. 데이터 소스에 접근해, JSON, CSV, JDBC 등 표준 데이터를 수집한다. 데이터를 수집한 후, 스키마를 분석해 제안할 수도 있다.

파이선 계층이 흥미로운 이유는 파이선을 쓰거나 이해하지 않아도 이용할 수 있기 때문이다. 물론 맞춤화를 원할 경우 파이선 지식이 도움이 된다. 글루는 데이터 흐름을 유지하는데 필요한 작업들을 처리해준다. 사용자 대신 생각까지 해주는 것은 아니지만, 많은 세부 사항을 처리, 사용자가 큰 그림만 생각하도록 도와준다.

FPGA
FPGA(Field Programmable Gate Arrays)는 하드웨어 설계자의 오랜 '비밀 무기'였다. 누구나 소프트웨어를 통해 '전용 칩'을 구축할 수 있다. 커스텀 마스크를 구축할 필요가 없으며, 수많은 트랜지스터를 조밀한 실리콘으로 구현하는 과정을 고민하지 않게 해준다.

아마존의 새 AWS EC2 F1은 이런 FGPA의 '힘'을 클라우드로 가져오는 서비스다. EC2 F1 인스턴스는 고도로 구조화돼 있고, 반복적인 컴퓨팅 구현에 적합하다. EC2 F1으로 가상 칩에 대한 소프트웨어 서식을 만들어, 가장 짧은 시간에 답을 연산할 소수 게이트로 컴파일 할 수 있다. 유일하게 더 빠른 대안은 트랜지스터를 실제 실리콘으로 만드는 것 뿐이다.

누가 필요할까? 이를테면 매일 여러 차례 도일한 암호화 해시 함수를 연산하는 비트코인 채굴자들이 있다. 검색 속도를 높이기 위해 FPGA를 이용하는 비트코인 채굴자들이 많은 이유다. 또 유사하게 컴팩트하고 반복적인 알고리즘을 실리콘으로 구현해야 하는 사람들의 경우에도 적당할 수 있다. FPGA 인스턴스가 대여한 시스템으로 이를 즉시 처리할 수 있도록 해준다.

즉 쉽게 표준 명령 세트로 매핑할 수 없는 연산을 실행해야 하는 사람들이 누릴 수 있는 혜택이 가장 크다. 비트 수준의 함수, 기타 비표준 비산술 연산을 처리해야 하는 사람들을 예로 들 수 있다. 수열을 추가하기만 하는 경우, 표준 인스턴스가 더 나을 것이다. 그러나 EC2와 FGPA로 큰 효과를 보는 이들이 있다.

블록스(Blox)
도커(Docker)가 스택으로 통합되면서, 아마존은 언제 어느 때나 도커 인스턴스를 쉽게 실행할 수 있도록 만들려 시도하고 있다. 블록스는 인스턴스 클러스트를 처리, 더도 덜도 아닌 최적의 수만 실행되도록 만든다.

블록스는 이벤트 기반이다. 따라서 더 간단히 논리를 작성할 수 있다. 계속해서 머신에서 실행되는 것을 조사할 필요가 없다. 모든 보고를 보내오기 때문에, 최적의 수를 실행시킬 수 있다. 블록스는 또 오픈소스이기에 필요할 경우 아마존 클라우드 외부에서도 간편하게 재활용할 수 있다.


X