Offcanvas

S3

클라우드 오브젝트 스토리지, 꼭 백업해야 하나?

클라우드 블록-스토리지 서비스에 저장된 데이터는 제대로 백업하지 않으면 영원히 소실될 가능성이 있다. 오브젝트 스토리지가 블록 스토리지와 서로 얼마나 다르고, 얼마나 더 우수한 빌트-인 보호를 제공하는지 알아보자.     오브젝트 스토리지란 무엇인가?  클라우드 사업자는 오브젝트 스토리지 서비스를 제공한다. 예를 들어 아마존의 심플 스토리지 서비스(Simple Storage Service, S3), 애저의 블롭 스토어, 구글의 클라우드 스토리지 같은 것들이다.  오브젝트 스토리지 시스템은 계층적 디렉토리 및 서브디렉토리 구조가 없는 일종의 파일 시스템이라 할 수 있다. 파일 시스템은 파일을 식별하고 위치를 파악하는데 디렉토리 구조와 파일 이름의 조합을 이용하는 데 비해, 오브젝트 스토리지 시스템에 저장된 모든 오브젝트는 이의 콘텐츠에 따라 고유 식별자(Unique IDentifier, UID)가 주어진다.   그때부터 UID는 오브젝트를 식별하고 회수하는 방법으로 사용된다. UID는 파일 콘텐츠를 SHA-1과 같은 암호 알고리즘을 통해 실행시킴으로써 생성된다(SHA-1이 어떻게 작용하는지 알려면 임의의 양의 텍스트를 삽입해 SHA-1 해시를 스스로 생성해보라). 파일이든, 블록이든, 파일이나 블록 집단이든, 또는 블록이나 파일의 부분이든, 어떤 항목이든 오브젝트로 저장될 수 있다.  오브젝트 스토리지와 블록 스토리지 간의 큰 차이라면 오브젝트 스토리지에 저장된 모든 오브젝트는 최소한 3곳의 가용 구역으로 자동으로 복사된다는 점이다. 이는 자연재해 등으로 인해 2곳의 가용 구역이 파괴되더라도, 오브젝트 스토리지 시스템 내에 저장된 데이터가 계속 존재할 것이라는 의미다. 블록 스토리지는 일반적으로 한 가용 구역 내에만 복제되어, 한 번의 큰 정전만으로 데이터가 소실될 수 있다.  복제가 이루어지는 방식 역시 매우 상이하다. 오브젝트 복제는 오브젝트 수준에서 이루어지는 반면, 클라우드 블록 스...

구글 Unique IDentifier UID 무결성 클라우드 스토리지 오브젝트 스토리지 S3 심플 스토리지 서비스 마이크로소프트 애저 백업 아마존 블롭 스토어

2019.10.29

클라우드 블록-스토리지 서비스에 저장된 데이터는 제대로 백업하지 않으면 영원히 소실될 가능성이 있다. 오브젝트 스토리지가 블록 스토리지와 서로 얼마나 다르고, 얼마나 더 우수한 빌트-인 보호를 제공하는지 알아보자.     오브젝트 스토리지란 무엇인가?  클라우드 사업자는 오브젝트 스토리지 서비스를 제공한다. 예를 들어 아마존의 심플 스토리지 서비스(Simple Storage Service, S3), 애저의 블롭 스토어, 구글의 클라우드 스토리지 같은 것들이다.  오브젝트 스토리지 시스템은 계층적 디렉토리 및 서브디렉토리 구조가 없는 일종의 파일 시스템이라 할 수 있다. 파일 시스템은 파일을 식별하고 위치를 파악하는데 디렉토리 구조와 파일 이름의 조합을 이용하는 데 비해, 오브젝트 스토리지 시스템에 저장된 모든 오브젝트는 이의 콘텐츠에 따라 고유 식별자(Unique IDentifier, UID)가 주어진다.   그때부터 UID는 오브젝트를 식별하고 회수하는 방법으로 사용된다. UID는 파일 콘텐츠를 SHA-1과 같은 암호 알고리즘을 통해 실행시킴으로써 생성된다(SHA-1이 어떻게 작용하는지 알려면 임의의 양의 텍스트를 삽입해 SHA-1 해시를 스스로 생성해보라). 파일이든, 블록이든, 파일이나 블록 집단이든, 또는 블록이나 파일의 부분이든, 어떤 항목이든 오브젝트로 저장될 수 있다.  오브젝트 스토리지와 블록 스토리지 간의 큰 차이라면 오브젝트 스토리지에 저장된 모든 오브젝트는 최소한 3곳의 가용 구역으로 자동으로 복사된다는 점이다. 이는 자연재해 등으로 인해 2곳의 가용 구역이 파괴되더라도, 오브젝트 스토리지 시스템 내에 저장된 데이터가 계속 존재할 것이라는 의미다. 블록 스토리지는 일반적으로 한 가용 구역 내에만 복제되어, 한 번의 큰 정전만으로 데이터가 소실될 수 있다.  복제가 이루어지는 방식 역시 매우 상이하다. 오브젝트 복제는 오브젝트 수준에서 이루어지는 반면, 클라우드 블록 스...

2019.10.29

2002년부터 현재까지 굵직한 사건으로 본 AWS 역사

2006년 전자상거래 거물 아마존에서 출발한 아마존웹서비스(AWS)는 광범위한 클라우드 컴퓨팅으로 IT산업을 근본적으로 바꿔 놓으며 시장을 선도하고 있다.  시너지 리서치 그룹(Synergy Research Group)이 2018년에 발표한 자료에 따르면 퍼블릭 IaaS와 PaaS 서비스 시장에서 AWS는 40%로 명실공히 세계 1위를 차지했으며, 마이크로소프트 17%), 구글(8%), 알리바바(5%)가 뒤를 이었다. 마이크로소프트와 구글은 최근 몇 년 동안 퍼블릭 클라우드 시장에서 AWS에 큰 위협이 됐다. 대기업이 점점 더 많은 워크로드를 자체 운영 데이터센터에서 클라우드로 이전할 방법을 고려하기 때문이다. 동시에 클라우드 도입은 일부 지역에서 아직 초기 단계에 머물러 있다. 가트너는 2020년까지 전세계 IaaS 시장이 미화 715억 달러까지 성장할 것으로 예측했다. AWS가 선두 자리에 오르기까지 어떤 여정을 지나왔는지 굵직굵직한 사건을 중심으로 정리했다.  1. 2002년 아마존웹서비스의 시작   AWS가 공식적으로 등장한 시점은 2002년으로 당시에는 아마존의 자체 사이트인 아마존닷컴(Amazon.com)에 기능을 넣어 무료 서비스로 제공했다. 초기에 아마존웹서비스는 개발자가 아마존닷컴의 많은 고유 기능을 웹 사이트에 통합할 수 있는 애플리케이션과 툴을 개발할 수 있도록 지원했다. 2. 2006년 S3와 EC2 발표   AWS는 2006년에 첫 번째 클라우드 제품을 공식 출시하여 아마존 인프라를 사용하여 자체 애플리케이션을 구축할 수 있게 했다. 맨 처음 발표된 것이 싱글 스토리지 서비스(S3)고 그다음 등장한 것이 서버 임대 및 호스팅 서비스인 엘라스틱 컴퓨트 클라우드(EC2)다. EC2에는 수년간 CPU, 메모리, 스토리지, 네트워킹 용량 등 구성을 제공하는 다양한 인스턴스 유형이 추가됐다. 두 상품 모두 AWS 고객에게 인기를 끌었다.  3. 2008년 구글과 마이크로소프트의 클라우드...

구글 시너지 리서치 그룹 S3 아마존웹서비스 알렉사 가상비서 Re:Invent 하이브리드 클라우드 인공지능 CIA EC2 공공 AWS 마이크로소프트 IBM 정부 아마존 펜타곤

2019.03.13

2006년 전자상거래 거물 아마존에서 출발한 아마존웹서비스(AWS)는 광범위한 클라우드 컴퓨팅으로 IT산업을 근본적으로 바꿔 놓으며 시장을 선도하고 있다.  시너지 리서치 그룹(Synergy Research Group)이 2018년에 발표한 자료에 따르면 퍼블릭 IaaS와 PaaS 서비스 시장에서 AWS는 40%로 명실공히 세계 1위를 차지했으며, 마이크로소프트 17%), 구글(8%), 알리바바(5%)가 뒤를 이었다. 마이크로소프트와 구글은 최근 몇 년 동안 퍼블릭 클라우드 시장에서 AWS에 큰 위협이 됐다. 대기업이 점점 더 많은 워크로드를 자체 운영 데이터센터에서 클라우드로 이전할 방법을 고려하기 때문이다. 동시에 클라우드 도입은 일부 지역에서 아직 초기 단계에 머물러 있다. 가트너는 2020년까지 전세계 IaaS 시장이 미화 715억 달러까지 성장할 것으로 예측했다. AWS가 선두 자리에 오르기까지 어떤 여정을 지나왔는지 굵직굵직한 사건을 중심으로 정리했다.  1. 2002년 아마존웹서비스의 시작   AWS가 공식적으로 등장한 시점은 2002년으로 당시에는 아마존의 자체 사이트인 아마존닷컴(Amazon.com)에 기능을 넣어 무료 서비스로 제공했다. 초기에 아마존웹서비스는 개발자가 아마존닷컴의 많은 고유 기능을 웹 사이트에 통합할 수 있는 애플리케이션과 툴을 개발할 수 있도록 지원했다. 2. 2006년 S3와 EC2 발표   AWS는 2006년에 첫 번째 클라우드 제품을 공식 출시하여 아마존 인프라를 사용하여 자체 애플리케이션을 구축할 수 있게 했다. 맨 처음 발표된 것이 싱글 스토리지 서비스(S3)고 그다음 등장한 것이 서버 임대 및 호스팅 서비스인 엘라스틱 컴퓨트 클라우드(EC2)다. EC2에는 수년간 CPU, 메모리, 스토리지, 네트워킹 용량 등 구성을 제공하는 다양한 인스턴스 유형이 추가됐다. 두 상품 모두 AWS 고객에게 인기를 끌었다.  3. 2008년 구글과 마이크로소프트의 클라우드...

2019.03.13

AWS의 클라우드 구성 오류 문제, 해법은?

아마존이 AWS S3 구성 오류 확률을 줄이기 위해 2가지 신규 툴, 젤코바(Zelkova)와 타이로스(Tiros)를 준비 중이다. 이는 누가 데이터와 리소스에 접근하는가와 이들이 할 수 있는 것을 한층 명확히 정의할 것이다. 이들 툴은 액세스 컨트롤을 분석하고 평가하고, 고객의 클라우드 환경의 개방성을 매핑한다. 아마존웹서비스(AWS)는 고객의 클라우드 환경의 보안을 보장하는 데 늘 문제가 있다. 구성 오류는 흔한 일이고, 이로 인해 엄청난 양의 기밀 데이터가 노출되었다. 버라이즌(Verizon), 부즈 앨런(Booz Allen), 해밀턴(Hamilton), WWE 재단(the WWE Foundation), 알터릭스(Alteryx), 전미 신용 연맹(the U.S. National Credit Federation), 호주공영방송(the Australian Broadcasting Corporation, ABC), 액센추어(Accenture) 등은 구성 오류로 정보 노출을 경험하기도 했다. AWS가 서비스의 보안을 개선하고, 구성 오류 확률을 낮추기 위해 과거 여러 노력을 했음에도 불구하고 이런 일이 벌어진 것이다. 지난해 아마존은 AWS에 저장된 기밀 데이터를 자동으로 발견하고 보호하도록 설계된 메이시(Macie)라는 머신러닝 툴을 도입하였고 아울러 기본 암호화, 상세 인벤토리 보고서, 권한 확인 등의 새 기능들로 S3 보안을 개선하였다. 2018년 2월 페덱스(FedEx)가 여권, 운전면허증, 고객 기록 등 10만 건이 넘는 문서를 노출시켰다는 뉴스가 나온 지 며칠 후 AWS는 S3 버킷 권한 확인 서비스를 모든 이용자에게 무료로 제공했다. AWS 심플 스토리지 서비스(Simple Storage Service, S3)는 아마존의 객체 스토리지 상품이다. 스카이하이 네트웍스에 따르면, 전체 S3 버킷의 7%가 무제한으로 공공 접근이 가능하고 35%는 암호화되지 않은 상태다. 데이터가 노출되어 방치된 최근의 사례는 50만 대가 넘는 ...

CSO 젤코바 구성 오류 S3 심플 스토리지 서비스 아마존웹서비스 시맨틱 취약점 AWS 타이로스

2018.08.23

아마존이 AWS S3 구성 오류 확률을 줄이기 위해 2가지 신규 툴, 젤코바(Zelkova)와 타이로스(Tiros)를 준비 중이다. 이는 누가 데이터와 리소스에 접근하는가와 이들이 할 수 있는 것을 한층 명확히 정의할 것이다. 이들 툴은 액세스 컨트롤을 분석하고 평가하고, 고객의 클라우드 환경의 개방성을 매핑한다. 아마존웹서비스(AWS)는 고객의 클라우드 환경의 보안을 보장하는 데 늘 문제가 있다. 구성 오류는 흔한 일이고, 이로 인해 엄청난 양의 기밀 데이터가 노출되었다. 버라이즌(Verizon), 부즈 앨런(Booz Allen), 해밀턴(Hamilton), WWE 재단(the WWE Foundation), 알터릭스(Alteryx), 전미 신용 연맹(the U.S. National Credit Federation), 호주공영방송(the Australian Broadcasting Corporation, ABC), 액센추어(Accenture) 등은 구성 오류로 정보 노출을 경험하기도 했다. AWS가 서비스의 보안을 개선하고, 구성 오류 확률을 낮추기 위해 과거 여러 노력을 했음에도 불구하고 이런 일이 벌어진 것이다. 지난해 아마존은 AWS에 저장된 기밀 데이터를 자동으로 발견하고 보호하도록 설계된 메이시(Macie)라는 머신러닝 툴을 도입하였고 아울러 기본 암호화, 상세 인벤토리 보고서, 권한 확인 등의 새 기능들로 S3 보안을 개선하였다. 2018년 2월 페덱스(FedEx)가 여권, 운전면허증, 고객 기록 등 10만 건이 넘는 문서를 노출시켰다는 뉴스가 나온 지 며칠 후 AWS는 S3 버킷 권한 확인 서비스를 모든 이용자에게 무료로 제공했다. AWS 심플 스토리지 서비스(Simple Storage Service, S3)는 아마존의 객체 스토리지 상품이다. 스카이하이 네트웍스에 따르면, 전체 S3 버킷의 7%가 무제한으로 공공 접근이 가능하고 35%는 암호화되지 않은 상태다. 데이터가 노출되어 방치된 최근의 사례는 50만 대가 넘는 ...

2018.08.23

클라우드 뷔페로의 재정립··· AWS 최신 서비스 10종

초창기 클라우드에서의 삶은 단순했다. 신용카드 번호를 입력해 결제하고, 랙에 설치할 필요가 없는 가상 머신을 도입하는 수준에 그쳤다. 하지만 이제 상황은 크게 달라졌다. 클라우드가 복잡해지고 다기능화 되어감에 따라 '클라우드'라는 모호하고 다양한 의미를 갖는 단어로는 이제 제대로 정의되지 않는다. 여전히 임대한 머신에 루트 로그인을 하지만 데이터를 쪼개고, 자르고, 저장하기 위한 수많은 서비스들이 있다. 프로그래머는 코드를 쓰고 설치할 필요가 없지만 가입(Subscribe)와 구성(Configure) 작업을 해야 한다. 아마존이 이러한 변화를 주도했다. 경쟁이 없지는 않았다. 마이크로소프트와 구글, IBM, 랙스페이스, 조이넷 등이 클라우드를 위한 스마트한 솔루션과 소프트웨어 패키지를 공급하고 있다. 그러나 아마존만큼 클라우드용 기능과 특징이 풍부한 서비스를 만든 회사는 단 한 곳도 없다. 아마존 웹 서비스는 클라우드가 비어 있다는 생각을 날려버리는 새로운 상품들을 줄기차게 내놓고 있다. 아마존이 클라우드 컴퓨팅을 어떻게 재정립하고 있는지 보여주는 새로운 서비스 10가지를 정리했다. - 글루(Glue) - FPGA - 블록스(Blox) - X-레이(X-Ray) - 레코그니션(Rekognition) - 아테나(Athena) - 람다앳엣지(Lambda@Edge) - 스노우볼엣지(Snowball Edge) - 핀포인트(Pinpoint) - 폴리(Polly) 글루(Glue) 데이터 사이언스를 많이 다뤄 본 사람들은 분석보다 데이터 수집이 더 큰 도전과제가 되는 경우가 많다는 점을 잘 안다. 심지어 데이터를 수집해 표준 데이터 형식으로 바꾸는 작업이 전체 부하의 90% 이상을 차지하기도 한다. 글루는 새로운 파이선(Python) 스크립트다. 자동으로 데이터 소스를 찾아 변환하고, 아마존 클라우드에 통합시킨다. 데이터 소스에 접근해, JSON, CSV, JD...

아마존 핀포인트 스노우볼엣지 람다앳엣지 아테나 레코그니션 X-레이 글루 블록스 S3 FPGA 클라우드 서비스 AWS 폴리

2017.01.25

초창기 클라우드에서의 삶은 단순했다. 신용카드 번호를 입력해 결제하고, 랙에 설치할 필요가 없는 가상 머신을 도입하는 수준에 그쳤다. 하지만 이제 상황은 크게 달라졌다. 클라우드가 복잡해지고 다기능화 되어감에 따라 '클라우드'라는 모호하고 다양한 의미를 갖는 단어로는 이제 제대로 정의되지 않는다. 여전히 임대한 머신에 루트 로그인을 하지만 데이터를 쪼개고, 자르고, 저장하기 위한 수많은 서비스들이 있다. 프로그래머는 코드를 쓰고 설치할 필요가 없지만 가입(Subscribe)와 구성(Configure) 작업을 해야 한다. 아마존이 이러한 변화를 주도했다. 경쟁이 없지는 않았다. 마이크로소프트와 구글, IBM, 랙스페이스, 조이넷 등이 클라우드를 위한 스마트한 솔루션과 소프트웨어 패키지를 공급하고 있다. 그러나 아마존만큼 클라우드용 기능과 특징이 풍부한 서비스를 만든 회사는 단 한 곳도 없다. 아마존 웹 서비스는 클라우드가 비어 있다는 생각을 날려버리는 새로운 상품들을 줄기차게 내놓고 있다. 아마존이 클라우드 컴퓨팅을 어떻게 재정립하고 있는지 보여주는 새로운 서비스 10가지를 정리했다. - 글루(Glue) - FPGA - 블록스(Blox) - X-레이(X-Ray) - 레코그니션(Rekognition) - 아테나(Athena) - 람다앳엣지(Lambda@Edge) - 스노우볼엣지(Snowball Edge) - 핀포인트(Pinpoint) - 폴리(Polly) 글루(Glue) 데이터 사이언스를 많이 다뤄 본 사람들은 분석보다 데이터 수집이 더 큰 도전과제가 되는 경우가 많다는 점을 잘 안다. 심지어 데이터를 수집해 표준 데이터 형식으로 바꾸는 작업이 전체 부하의 90% 이상을 차지하기도 한다. 글루는 새로운 파이선(Python) 스크립트다. 자동으로 데이터 소스를 찾아 변환하고, 아마존 클라우드에 통합시킨다. 데이터 소스에 접근해, JSON, CSV, JD...

2017.01.25

아마존, 1년 이상 잠자는 데이터 위한 '클라우드 스토리지 옵션' 출시

아마존 웹 서비스가 ‘자주 접근하지 않는(Infrequently Accessed : IA) 데이터’를 위한 클라우드 스토리지 옵션을 출시했다. 새로 출시된 아마존의 심플 스토리지 서비스(S3) IA는 이 회사의 표준 S3와 글래시어 서비스(Glacier Service)를 대체하게 된다. 현재 아마존이 제공하는 스토리지 서비스는 3개며, 각각의 특징은 다음과 같다. - S3 : 데이터의 빠른 접근 - S3 IA : 가용성 면에서 S3의 절충안으로 사용할 수 있고 S3보다 저렴 - 글래시어 : 가용성은 높지만 데이터 전환에서 시간이 오래 걸리기 때문에 가격 저렴   AWS는 고객의 데이터 빈도에 따라 스토리지 서비스를 바꿀 수 있다고 밝혔다. 가용성 99%의 IA의 월 사용료는 0.03/GB며 IA는 월 0.0125달러/GB고 글래시어는 0.007달러/GB에서 각각 시작된다. AWS는 IA를 발표하면서 글래시어의 사용료는 0.01달러/GB/월에서 0.007/GB/월로 내렸다. AWS는 엘라스틱 컴퓨트 클라우드(EC2) 가상기기를 위한 영구 차단 수준의 스토리지를 제공해 주는 엘라스틱 블록 스토리지(EBS) 시리즈들도 있다.   올해 초 구글이 니어라인(Nearline)이라는 아카이빙 데이터용 새로운 스토리지 서비스를 발표했는데 AWS는 이와 경쟁하고자 S3 IA를 내놓은 것으로 풀이된다. 니어라인의 월 사용료는 0.01달러/GB에서 시작한다. 이러한 움직임은 기업들이 더 이상 데이터를 회사 안에 있는 기기에 저장하지 않아도 된다는 많은 이유를 설명하면서 퍼블릭 IaaS 클라우드 업체들이 계속해서 자사의 플랫폼을 혁신하고 다른 업체들과 서비스를 두고 경쟁하고 있음을 나타내고 있다. AWS의 좀더 자세한 발표 내용은 블로그에서 읽을 수 있다. ciokr@idg.co.kr  

스토리지 글래시어 S3 IA S3 심플 스토리지 서비스 콜드 데이터 아마존 웹 서비스 저장공간 클라우드 스토리지 AWS 아마존 구글 니어라인

2015.09.18

아마존 웹 서비스가 ‘자주 접근하지 않는(Infrequently Accessed : IA) 데이터’를 위한 클라우드 스토리지 옵션을 출시했다. 새로 출시된 아마존의 심플 스토리지 서비스(S3) IA는 이 회사의 표준 S3와 글래시어 서비스(Glacier Service)를 대체하게 된다. 현재 아마존이 제공하는 스토리지 서비스는 3개며, 각각의 특징은 다음과 같다. - S3 : 데이터의 빠른 접근 - S3 IA : 가용성 면에서 S3의 절충안으로 사용할 수 있고 S3보다 저렴 - 글래시어 : 가용성은 높지만 데이터 전환에서 시간이 오래 걸리기 때문에 가격 저렴   AWS는 고객의 데이터 빈도에 따라 스토리지 서비스를 바꿀 수 있다고 밝혔다. 가용성 99%의 IA의 월 사용료는 0.03/GB며 IA는 월 0.0125달러/GB고 글래시어는 0.007달러/GB에서 각각 시작된다. AWS는 IA를 발표하면서 글래시어의 사용료는 0.01달러/GB/월에서 0.007/GB/월로 내렸다. AWS는 엘라스틱 컴퓨트 클라우드(EC2) 가상기기를 위한 영구 차단 수준의 스토리지를 제공해 주는 엘라스틱 블록 스토리지(EBS) 시리즈들도 있다.   올해 초 구글이 니어라인(Nearline)이라는 아카이빙 데이터용 새로운 스토리지 서비스를 발표했는데 AWS는 이와 경쟁하고자 S3 IA를 내놓은 것으로 풀이된다. 니어라인의 월 사용료는 0.01달러/GB에서 시작한다. 이러한 움직임은 기업들이 더 이상 데이터를 회사 안에 있는 기기에 저장하지 않아도 된다는 많은 이유를 설명하면서 퍼블릭 IaaS 클라우드 업체들이 계속해서 자사의 플랫폼을 혁신하고 다른 업체들과 서비스를 두고 경쟁하고 있음을 나타내고 있다. AWS의 좀더 자세한 발표 내용은 블로그에서 읽을 수 있다. ciokr@idg.co.kr  

2015.09.18

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.31