Offcanvas

데이터센터 / 빅데이터 | 애널리틱스 / 클라우드

사례 | ‘바이오 기관 간 빅 데이터 전송’ NZGL CIO의 도전

2014.01.17 Divina Paredes  |  CIO New Zealand

필립 린제이 박사가 NZGL(New Zealand Genomics Limited)의 CIO로 부임했을 때, 빅 데이터로 비롯된 새로운 도전이 그를 기다리고 있었다.

NZGL은 정부의 지원을 받아 뉴질랜드 학계를 대상으로 유전체 연구 및 임상, 의학 실험 서비스를 제공하는 단체다. 오타고 대학(University of Otago)에 위치해 있으며, 오클랜드 대학 및 매시 대학과 협력 관계에 있다.

핵심 업무는 이들 3개 대학의 유전체 연구원들과 뉴질랜드 전역의 기업 및 비기업 고객들을 대상으로 프라이빗 클라우드 및 고성능 컴퓨터 클러스트를 이용해 바이오인포매틱스(생물정보학) 서비스를 제공하는 것이다.

린제이는 "간단히 설명하면, 대용량의 데이터를 일정 시간 간격으로 전국에 전송해야 한다. 일단 이렇게 전송할 수 있는 대역폭을 확보하는 데 어려움이 따랐다. 즉 이 대용량 파일을 더 청정한 네트워크 경로를 통해 효율적으로 전송해야 한다. 더욱이 더 큰 데이터가 나날이 생산되고 있다"고 말했다. 참고로 이들이 지원하는 배열 기계(sequencing machines)은 최대 4 테라바이트(terabyte)의 고용량 데이터를 생성하고 있다.



린제이는 그간 여러 이유로 대학 캠퍼스의 WAN 게이트웨이에 대한 투자가 미흡했었다고 설명하며, 이에 따라 대량의 배열 데이터 파일을 전송하기가 점점 힘들어졌다고 회고했다.

그의 설명에 따르면, 모든 조직은 기업 수준의 보안이 구축된 환경에 네트워크를 구축하고 있었다. 그리고 조직의 보안 정책을 바꿀 수 없다는 데 어려움이 따랐다. 각자의 요건에 맞는 환경을 바꾸기란 적절하지 않기 때문이다.

NZGL은 이를 해결하기 위해 REANNZ(Research and Education Advanced Network New Zealand)에 개발을 요청했다. NZGL과 클라이언트 조직을 연결하는 고용량 방화벽 바이패스를 개발해달라는 요구였다. 보안 수준을 유지하면서도 속도가 낮춰진 전송률이 패킷을 떨어뜨리는 영향을 없애는 것이 중요했다.

REANNZ의 스티브 코터 CEO는 "사실 최고 수준의 IP 네트워크라면 대부분의 용도에 적합하다. 그러나 최근 과학 분야에서는 데이터가 더 집약적이 되는 경향이 있다. 우리는 로렌스 버클리 국립 연구소에서 개발한 개념을 NZGL에 제안했다”라고 전했다.

그는 이어 “네트워크 일부를 방화벽 외부로 이동시키는 보안 DMZ 개념과 동일한 개념을 과학 DMZ에 적용했다. NZGL에 필요한 고성능 기반에도 동일한 개념을 적용시켰다. 방화벽 외부에 데이터 저장소를 구현한 것이다. 그러나 여전히 안전하고 고속 전송이 가능한 저장소다. 이후 백본으로 전송을 하면 협력 단체나 조직의 기반으로 자유로이 이동을 시킬 수 있다. 가장 힘들었던 부분은 IT 팀에게 이것이 안전한 방식이라는 점을 설득시키는 것이었다"고 설명했다.

코터는 또 "연구원들이 데이터 전송 속도가 늦다고 불평을 한다고 해서 CIO가 해임되는 법은 없다. 그러나 보안 침해 사고가 발생하면 해고를 당할 수 있다"고 덧붙였다.

과학 DMZ는 실용적이었다. 연구원들이 요구하는 성능을 제공하면서도, 캠퍼스의 인프라 전체를 업그레이드할 필요는 없었기 때문이다.

코터는 "이는 각 기관과 조직이 연구원들에게 연구 데이터에 적합한 보안 정책과 성능을 제공하면서, 비즈니스 서비스와 데스크톱 애플리케이션 보호에 필요한 보안 대책을 저해하지 않도록 해줬다"고 설명했다.

참고로 REANNZ는 NZGL의 무손실 방화벽 링크의 엔드포인트로 주니퍼 네트웍스(Juniper Networks)의 EX3300 이더넷 스위치를 선택했다. 주니퍼의 EX3300은 데이터센터 운영 기준에 맞춰 개발된 것으로, 배선실의 액세스 스위치에 필요한 것보다 더 나은 사양을 채택한 제품이다.

린제이는 "유선 기준으로 10 기가비트의 이더넷 연결을 처리할 수 있으며, 패킷 드롭도 없다. 많은 조직들의 네트워크에 고성능 장비가 많지 않았다. 이에 REANNZ에게 우리가 티어 1급의 장비를 원한다는 점을 분명히 했다"고 말했다.

그는 이어 "주니퍼를 직접 요청하지는 않았다. 그러나 REANNZ가 주니퍼 솔루션을 제시했고, 우리는 이 솔루션에 만족했다. 특히 과학 DMZ의 장점 중 하나는 네트워크 방향 전환과 관련된 처리 능력이다. 우리는 향후 활용을 할 것으로 기대하고 있는 SDN(Software Defined Networking) 개념을 도입했다"고 덧붙였다.

NZGL은 현재 부분적으로 과학 DMZ를 배치했으며, 오타고 대학의 유전체 연구원들이 첫 사용자가 됐다. 향후 2-3개월 이내에 시스템을 연결할 계획이다. 린제이는 "우리는 NZGL의 모든 중요 고객에게 이를 적용하기 희망한다"고 강조했다.

코터는 NZGL에 이어 뉴질랜드 내 다른 조직들도 REANNZ에 유사한 시스템을 도입할 수 있는지 자신들의 아키텍처를 조사해줄 것을 요청하고 있다고 전했다. 코터는 "많은 사람들이 관심을 갖고 있다”면서 데이터 집약 과학을 수용하는 것이 국가 경쟁력 구현에 중요하다고 강조했다. ciokr@idg.co.kr
 

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.