에버노트가 3PB 데이터를 구글 클라우드로 옮긴 이유과 방법

다행히 이런 이전을 위해 클라이언트를 바꿀 필요는 없었다. 이것이 에버노트가 마이그레이션을 성공적으로 완료할 수 있었던 중요한 이유 중 하나였다. 모든 서비스 사용자가 제때 자신의 소프트웨어를 업그레이드 한 것이 이유가 아니다.

구글 엔지니어들은 맥코맥에게 꽤 큰 놀라움을 선물했다. 매일 24시간 원격으로 에버노트의 문제를 지원했다. 구글은 여기에 그치지 않고, 소속 엔지니어들을 에버노트로 보내 마이그레이션 작업을 도왔다.

구글 엔지니어들은 중요한 마이그레이션 작업이 있던 어느 일요일에 모든 사람들을 위해 도넛을 가져오기도 했다. 맥코믹은 구글 엔지니어들의 협력 정신에 깊은 인상을 받았다. 맥코믹은 "구글 클라우드 스토리지와 상호작용할 코드를 구글 엔지니어들이 검토하고, 피드백을 줬다. 진정한 파트너십을 느꼈다. 이를 경험하는 경우는 아주 드물다. 구글은 우리의 성공을 원했고, 성공할 수 있도록 도움을 줄 의지를 갖고 있었다"고 설명했다.

계약을 체결하고 마이그레이션을 완료하는데 약 70일이 소요됐다. 12월에 약 10일 동안 이뤄진 마이그레이션이 중요했었다.

모든 워크로드에 대비하라
쿤두와 맥코맥이 확실히 깨달은 교훈 한 가지가 있다. 정말 잘 수립된 계획에도 새 환경에 적응할 의지를 가진 팀이 필요하다는 것이다. 에버노트의 마이그레이션은 상황을 평가하고, 제시된 상황에 대응하는 방식을 수정하고, 수 많은 테스트와 시뮬레이션 후 이를 반복하는 단계로 구성된 프로세스였다.

데이터를 클라우드로 이전한 후에도 마이그레이션은 끝나지 않는다. 수 많은 테스트를 했지만, 에버노트 팀은 수 많은 에버노트 사용자들이 실제 사용하는 프로덕션 환경에서 구글 플랫폼을 가동하면서 새로운 문제점에 직면했다.

예를 들어, 패치를 적용하고 하드웨어 문제를 해결하기 위해 특정 호스트의 가상 머신을 다른 곳으로 옮길 때, 구글은 라이브 마이그레이션 기법을 이용한다. 소요되는 시간이 아주 짧지만, '풀 로드' 상태의 에버노트 서비스에 문제가 발생했다. 지금도 마찬가지이지만, 최적화가 필요했다.

에버노트는 구글 클라우드 플랫폼으로의 이전에 앞서 라이브 마이그레이션을 테스트했지만, 그것만으로 충분하지 않았다. 애플리케이션을 프로덕션 환경에 배치했을 때, 사용자 행동과 로드가 테스트 상황과 다를 수 있었다. 쿤두는 "이런 상황을 다룰 준비가 되어 있어야 한다. 마이그레이션이 끝나도 관련 작업이 끝난 것은 아니라는 점을 인식해야 한다. 한 달 후 등 미래에 문제에 직면할 수 있다"고 강조했다.

맥코맥에 따르면, 또 다른 중요 교훈은 클라우드는 모든 종류의 워크로드를 처리할 준비가 되어 있다는 것이다. 에버노트는 매년 한 번씩은 마이그레이션을 검토했었다. 그렇지만 클라우드 이전을 성공시킬 수 있다고 확신한 때는 13개월 전이었다. 맥코맥은 "클라우드가 성숙하고, 많은 기능이 도입됐다. 클라우드에서 서비스를 가동할 준비가 된 것이다"라고 말했다.

물론 아무런 노력도 필요 없었다는 의미는 아니다. 클라우드는 자체 데이터센터를 운영할 때 얻지 못했던 이점들을 제공하지만, 환경을 통제할 수 있는 권리를 포기해야 하고, 자체 데이터센터를 운영하면서 획득했었던 '텔레매트리' 일부를 포기해야 한다.

에버노트 엔지니어들은 기존에 자동화와 관련된 많은 작업을 했다. 이렇게 준비한 한 쌍의 자동화 시스템으로 온프레미스 인프라의 사용자 데이터를 구글 클라우드 스토리지로 옮기고 있다. 사용자 노트 데이터 마이그레이션에는 퍼핏(Puppet)과 앤시블(Ansible)을 이용했다.

마이그레이션과 동시에 얻을 수 있는 이점
에버노트는 구글 클라우드로 이전한 후 지연시간을 줄이고, 해외 고객들의 연결성을 강화할 수 있었다. 에버노트의 백엔드는 지리적으로 분산되어 운영되지 않는다. 그러나 구글의 전세계를 대상으로 한 네트워킹 투자가 이런 성능 향상을 가져다 주었다.

맥코맥은 "애플리케이션 일부에서 페이지 로딩 시간이 아주 크게 줄었다. 모든 부분에서 그렇다는 이야기는 아니다. 그러나 글로벌 네트워크의 트래픽 연결과 관련한 구글의 역량과 서비스 범위가 이점을 제공하기 시작했다"고 설명했다.

에버노트는 현재 사용자 첨부파일 중 나머지를 구글 클라우드 플랫폼으로 마이그레이션 하는 과정에 있다. 이 작업이 완료될 경우, 서비스에 보관된 사용자 데이터가 암호화된다. 구글 클라우드 기능 덕분이다.

에버노트 관점에서, 엔지니어들이 더 자유롭게 클라우드 서비스를 이용해 업무를 완료할 수 있다. 개발자들은 새 기능을 도입하기 위해 프로비저닝과 물리적 인프라를 다룰 필요가 없다. 새 서비스의 다양한 옵션을 이용해 기능을 개발해 배포할 수 있다.

현재 구현된 구글 클라우드의 기능을 이용하고, 예산을 감안해 액세스를 하고, 개발을 할 수 있다. 또한 백업, 서비스 중단, 실패 측면에서 더 많은 유연성과 안정성을 제공한다.

구글 클라우드의 신기능 적극 활용
에버노트는 구글의 기존 서비스, 앞으로 도입될 서비스를 적극적으로 활용할 계획이다. 개발자가 이벤트 트리거에 대응해 실행되는 코드를 개발할 수 있는 구글 클라우드 펑션스(Google Cloud Functions)를 이용하는 방법을 검토하고 있다.

또한 아직 출시되지 않은 구글 클라우드 플랫폼 서비스 일부를 테스트하고 있다. 쿤두는 이에 대해 자세한 설명을 하지는 않았다. 향후 에버노트가 개발해 도입할 기능에 대해서도 자세히 이야기하지 않았지만, 마이그레이션 덕분에 몇몇 신기능이 도입될 수 있을 것이라고 강조했다.  editor@itworld.co.kr