2016.04.21

한 온라인 부동산 업체의 '하둡 최적화' 활용법

Thor Olavsrud | CIO
트룰리아는 매일 밤 새로 생성된 1TB의 데이터를 분석하고 2PB의 기존 데이터를 참고한다. 이를 통해 고객에게 최신 부동산 정보를 제공한다. 하둡 클러스터로 서비스의 질을 유지하고 있는 트룰리아의 기법을 공개한다.



미국 샌프란시스코에 위치한 온라인 주거 부동산 업체인 트룰리아에게 데이터는 생사를 좌우하는 주제다. 오늘날의 주택 시장에서 살아남으려면 고객에게 최신 부동산 정보를 제공해야만 하기 때문이다. 매일같이 치러야 하는 전쟁이다.

온라인 부동산 데이터베이스 업체 질로우가 지난 2014년 35억 달러에 인수한 트룰리아는 월평균 웹사이트 방문자가 5,500만 명을 넘어선다. 즉 온라인 주거형 부동산 업계에서 최대 규모의 업체에 해당한다.

중심에는 ‘하둡’
방대한 양의 데이터를 저장·처리하기 위해서 트룰리아는 2008년 처음으로 하둡을 도입했고, 그 후 하둡은 데이터 인프라의 중심축이 되었다. 이 회사는 이후 다양한 클러스터를 사용하고 있었던 다른 데이터 엔지니어링 부서에도 하둡을 도입했다. 이로 인해 트룰리아는 하루 1TB 이상의 데이터를 분석할 수 있는 정교한 데이터 사이언스 모델을 구축하고, 이를 통해 개인별로 맞춤화된 추천 정보를 고객에게 제공할 수 있게 됐다. 이러한 데이터는 각종 리스트, 공공 기록, 사용자 행동 정보 등을 바탕으로 조직되며, 새로 추가된 부동산이 있을 때 고객에게 신속하게 안내할 수 있도록 검색 기준에 맞춰 분석된 후 제공된다.

트룰리아의 데브옵스 수석 엔지니어인 제인 윌리엄슨은 “공공 기록, 각종 목록, 사용자 행동 정보 등 새로 생성된 정보를 매일 1TB 이상 처리하고 있다. 이러한 데이터를 다수의 하둡 클러스터에서 처리한 후, 사용자에게 이메일로 보내거나 푸시 알림으로 발송하고 있다. 그렇게 해서 사용자가 다시 홈페이지를 방문하고 피드백을 남기게 되는 것이다. 일상적으로 이뤄지는 일이기 때문에 매우 중요한 일이다. 신뢰성과 업무별 정시 마감이 정말로 중요하다”라고 말했다.

그러나 이 과정을 원활히 진행하기 위해서는 매일 밤 수십 단계의 업무 처리 절차를 따르고 수백 건의 복잡한 업무를 제때 처리해야 한다. 회사 업무 특성상 처리가 지연되거나 돌발 상황이 발생할 경우 심각한 문제가 발생할 수 있기 때문이다. 

비교적 최근에 입사한 윌리엄슨은 “상당히 고된 과정이다”라며 “신뢰성을 유지하면서 데이터 처리 사이클을 운영하고, 마감을 지키며, 문제를 수정해 나가는 일은 상당히 어려운 일이다. 문제 수정 작업에만 며칠씩 걸리기도 한다”라고 말했다.

이에 따라 트룰리아로서는 업무를 제 시간 안에 처리하기 위해서 하둡을 오히려 가급적 적게 사용해야만 하기도 했었다.

하둡 관리는 ‘페퍼데이터’
트룰리아는 이러한 애로사항을 해결하고 하둡 업무 시 신뢰성을 높이기 위해 페퍼데이터(Pepperdata)를 사용하고 있다. 페퍼데이터는 맞춤형 하둡 성능 관리 전문 업체다.

페퍼데이터는 사용자의 하둡 클러스터에서 발생하는 모든 사항을 상세히 보여주며, 업무, 세부 업무, 사용자, 그룹 단위별로 CPU, 메모리, 디스크 입출력, 네트워크 등을 세심히 관리해 준다. 특히 페이퍼데이터의 ‘핵심 기능'(pièce de résistance)은 문제 상황이 발생했을 때 빠르게 인지할 수 있도록 클러스터 전체적으로나 노드, 사용자, 큐(queue), 업무, 세부 업무 등의 요소별로 알림을 설정할 수 있는 신기능이다.

페퍼데이터의 공동창업주이자 CEO인 션 주크터는 “클러스터 상의 모든 애플리케이션이 주로 어떻게 하드웨어를 사용하고 있는지 감독하는 기능성을 갖췄다. 처리 사항과 리소스가 많이 필요한 후순위 임시 처리 사항 사이에서 충돌이 발생한다면, 이를 확인한 후 속도를 낮춘다. 아니면 후순위 사항의 경우 리소스를 처리할 수 있을 정도로만 조정해 우선 처리 사항의 서비스 질을 높인다”라고 설명했다.

그는 이어 “즉 우리 솔루션은 클러스터의 복잡성이 가중되고 처리 규모가 커져도 성능을 높일 수 있다. 복잡성이 가중될수록, 구동하는 애플리케이션이 많아질수록, 거주자 정보가 늘어날수록 우리는 더 잘 해낼 수 있다. 초단위로 해결할 수 있으며, 다양한 최적화를 지원한다. 그렇게 될수록 환경은 더 복잡해지지만 (상관없다)”라고 말했다.

페퍼데이터는 하둡 안에서 발생하는 문제의 원인을 사전에 확인할 수 있도록 이 알림 기능을 사용해 상세 알림을 생성한다. 이러한 대시보드와 알람 기능을 통해 트룰리아는 더 쉽고 빠르게 문제를 확인할 수 있게 됐다. 트룰리아는 이 기능으로 하둡 사용을 최적화하고 사용성을 극대화할 수 있었다.

윌리엄슨은 “작년부터 페퍼데이터를 사용하기 시작했다”라면서 “문제를 진단함에 있어 정말 놀라운 툴이다. 며칠씩 걸리지 않고도 단 몇 시간 만에 무엇이 발생하고 문제를 일으키는지 확인할 수 있게 됐다”라고 말했다.

그는 현재 페퍼데이터를 사용해 노드가 12~40개로 다양한 5개의 하둡 클러스터를 관리하고 있다고 전했다. 모든 클러스터는 2PB의 데이터를 처리한다. 한편 트룰리아는 페퍼데이터가 관리하지 않는 AWS용 클러스터도 다수 사용하고 있다. 이들 클러스터들은 지속적이지 않은 배치 주도적 EMR 워크로드용으로 사용된다. 

윌리엄슨은 AWS 클러스터도 페퍼데이터가 관리할 수 있도록 현재 논의하고 있다. 윌리엄슨은 “이는 개인적인 로드맵이다. 좀더 진전돼야 윤곽이 잡힐 것 같다”라고 말했다. ciokr@idg.co.kr 
2016.04.21

한 온라인 부동산 업체의 '하둡 최적화' 활용법

Thor Olavsrud | CIO
트룰리아는 매일 밤 새로 생성된 1TB의 데이터를 분석하고 2PB의 기존 데이터를 참고한다. 이를 통해 고객에게 최신 부동산 정보를 제공한다. 하둡 클러스터로 서비스의 질을 유지하고 있는 트룰리아의 기법을 공개한다.



미국 샌프란시스코에 위치한 온라인 주거 부동산 업체인 트룰리아에게 데이터는 생사를 좌우하는 주제다. 오늘날의 주택 시장에서 살아남으려면 고객에게 최신 부동산 정보를 제공해야만 하기 때문이다. 매일같이 치러야 하는 전쟁이다.

온라인 부동산 데이터베이스 업체 질로우가 지난 2014년 35억 달러에 인수한 트룰리아는 월평균 웹사이트 방문자가 5,500만 명을 넘어선다. 즉 온라인 주거형 부동산 업계에서 최대 규모의 업체에 해당한다.

중심에는 ‘하둡’
방대한 양의 데이터를 저장·처리하기 위해서 트룰리아는 2008년 처음으로 하둡을 도입했고, 그 후 하둡은 데이터 인프라의 중심축이 되었다. 이 회사는 이후 다양한 클러스터를 사용하고 있었던 다른 데이터 엔지니어링 부서에도 하둡을 도입했다. 이로 인해 트룰리아는 하루 1TB 이상의 데이터를 분석할 수 있는 정교한 데이터 사이언스 모델을 구축하고, 이를 통해 개인별로 맞춤화된 추천 정보를 고객에게 제공할 수 있게 됐다. 이러한 데이터는 각종 리스트, 공공 기록, 사용자 행동 정보 등을 바탕으로 조직되며, 새로 추가된 부동산이 있을 때 고객에게 신속하게 안내할 수 있도록 검색 기준에 맞춰 분석된 후 제공된다.

트룰리아의 데브옵스 수석 엔지니어인 제인 윌리엄슨은 “공공 기록, 각종 목록, 사용자 행동 정보 등 새로 생성된 정보를 매일 1TB 이상 처리하고 있다. 이러한 데이터를 다수의 하둡 클러스터에서 처리한 후, 사용자에게 이메일로 보내거나 푸시 알림으로 발송하고 있다. 그렇게 해서 사용자가 다시 홈페이지를 방문하고 피드백을 남기게 되는 것이다. 일상적으로 이뤄지는 일이기 때문에 매우 중요한 일이다. 신뢰성과 업무별 정시 마감이 정말로 중요하다”라고 말했다.

그러나 이 과정을 원활히 진행하기 위해서는 매일 밤 수십 단계의 업무 처리 절차를 따르고 수백 건의 복잡한 업무를 제때 처리해야 한다. 회사 업무 특성상 처리가 지연되거나 돌발 상황이 발생할 경우 심각한 문제가 발생할 수 있기 때문이다. 

비교적 최근에 입사한 윌리엄슨은 “상당히 고된 과정이다”라며 “신뢰성을 유지하면서 데이터 처리 사이클을 운영하고, 마감을 지키며, 문제를 수정해 나가는 일은 상당히 어려운 일이다. 문제 수정 작업에만 며칠씩 걸리기도 한다”라고 말했다.

이에 따라 트룰리아로서는 업무를 제 시간 안에 처리하기 위해서 하둡을 오히려 가급적 적게 사용해야만 하기도 했었다.

하둡 관리는 ‘페퍼데이터’
트룰리아는 이러한 애로사항을 해결하고 하둡 업무 시 신뢰성을 높이기 위해 페퍼데이터(Pepperdata)를 사용하고 있다. 페퍼데이터는 맞춤형 하둡 성능 관리 전문 업체다.

페퍼데이터는 사용자의 하둡 클러스터에서 발생하는 모든 사항을 상세히 보여주며, 업무, 세부 업무, 사용자, 그룹 단위별로 CPU, 메모리, 디스크 입출력, 네트워크 등을 세심히 관리해 준다. 특히 페이퍼데이터의 ‘핵심 기능'(pièce de résistance)은 문제 상황이 발생했을 때 빠르게 인지할 수 있도록 클러스터 전체적으로나 노드, 사용자, 큐(queue), 업무, 세부 업무 등의 요소별로 알림을 설정할 수 있는 신기능이다.

페퍼데이터의 공동창업주이자 CEO인 션 주크터는 “클러스터 상의 모든 애플리케이션이 주로 어떻게 하드웨어를 사용하고 있는지 감독하는 기능성을 갖췄다. 처리 사항과 리소스가 많이 필요한 후순위 임시 처리 사항 사이에서 충돌이 발생한다면, 이를 확인한 후 속도를 낮춘다. 아니면 후순위 사항의 경우 리소스를 처리할 수 있을 정도로만 조정해 우선 처리 사항의 서비스 질을 높인다”라고 설명했다.

그는 이어 “즉 우리 솔루션은 클러스터의 복잡성이 가중되고 처리 규모가 커져도 성능을 높일 수 있다. 복잡성이 가중될수록, 구동하는 애플리케이션이 많아질수록, 거주자 정보가 늘어날수록 우리는 더 잘 해낼 수 있다. 초단위로 해결할 수 있으며, 다양한 최적화를 지원한다. 그렇게 될수록 환경은 더 복잡해지지만 (상관없다)”라고 말했다.

페퍼데이터는 하둡 안에서 발생하는 문제의 원인을 사전에 확인할 수 있도록 이 알림 기능을 사용해 상세 알림을 생성한다. 이러한 대시보드와 알람 기능을 통해 트룰리아는 더 쉽고 빠르게 문제를 확인할 수 있게 됐다. 트룰리아는 이 기능으로 하둡 사용을 최적화하고 사용성을 극대화할 수 있었다.

윌리엄슨은 “작년부터 페퍼데이터를 사용하기 시작했다”라면서 “문제를 진단함에 있어 정말 놀라운 툴이다. 며칠씩 걸리지 않고도 단 몇 시간 만에 무엇이 발생하고 문제를 일으키는지 확인할 수 있게 됐다”라고 말했다.

그는 현재 페퍼데이터를 사용해 노드가 12~40개로 다양한 5개의 하둡 클러스터를 관리하고 있다고 전했다. 모든 클러스터는 2PB의 데이터를 처리한다. 한편 트룰리아는 페퍼데이터가 관리하지 않는 AWS용 클러스터도 다수 사용하고 있다. 이들 클러스터들은 지속적이지 않은 배치 주도적 EMR 워크로드용으로 사용된다. 

윌리엄슨은 AWS 클러스터도 페퍼데이터가 관리할 수 있도록 현재 논의하고 있다. 윌리엄슨은 “이는 개인적인 로드맵이다. 좀더 진전돼야 윤곽이 잡힐 것 같다”라고 말했다. ciokr@idg.co.kr 
X