2016.05.16

'오해 풀고 협력키로' 아파치 하둡 관련 두 단체

Thor Olavsrud | CIO
ODPi가 아파치 하둡 생태계 프로젝트에 부당한 영향력을 행사하도록 고안된 벤더 조직이라는 오해를 풀기 위한 노력으로 리눅스재단이 ASF의 골프 스폰서가 되겠다고 발표했다.

지난해 하둡 생태계의 복잡성을 줄이고자 만들어진 리눅스 재단의 협업 프로젝트인 ODPi(Open Data Platform initiative)는, 아파치 프로젝트에 영향력을 행사할 수 있는 외부 조직으로 ASF(Apache Software Foundation)에 파문을 일으켰다.

지난주 캐나다 밴쿠버에서 열린 ‘아파치: 빅데이터 북미 컨퍼런스’에서 ODPi는 ASF의 후원과 대화를 통해 이러한 우려를 줄이고자 했다.

ODPi의 창설 배경에는 빅데이터 커널을 아파치 하둡, 아파치 암바리, 관련 아파치 소스들의 검증된 레퍼런스 코어 형태로 제공하려는 목적이 있었다. ODPi는 올해 초 런타임 스펙과 테스트 스위트를 배포했다.

유명 빅데이터 회원들
이 조직의 회원사는 10개다. 그들 대부분은 호튼웍스, 피보탈, EMC, IBM, SAS 등 빅데이터 솔루션 제공업체다. 몇몇 최종사용자들 역시 섞여 있고 조직도 더 많은 최종사용자들을 포함한 신규 멤버 참여를 권하고 있는데, ASF내 한가지 우려는 ODPi가 현재 하둡 생태계 프로젝트에 위임자 대다수를 채용하고 있다는 점이다.

캐피털 원(Capital One)의 테크 펠로우(Tech Fellows) 프로그램 선임 디렉터이자 ASF의 개발자이자 창립자중 한 명인 짐 자기엘스키는 현지시각 11일 이 문제에 대해 패널에서 “현재 ODPi는 하둡 업체들의 거대한 조직 같은 존재다”며 “최악에는 기본적으로 ODPi가 원하지만 전체 커뮤니티는 원하지 않는 하둡 생태계를 만들어내는 단일 독립체의 합치된 노력이 나올 수 있다”고 이야기했다.

“이는 우리가 지켜봐야 할 부분이다”고 그는 덧붙였다. 또 자기엘스키는 “ASF 모델을 다른 수많은 모델과 차별화시키는 요인은 바로 개별 개발자들에게 초점을 맞췄다는 점이다”고 강조했다.

예를 들어 현재 하둡 생태계에는 두 가지 정도 겹치는 인증과 데이터 보안에 대한 프로젝트가 있다. 아파치 센트리(Apache Sentry)는 하둡 배포 업체인 클라우데라가 지원하는 최고 수준의 프로젝트고, (인큐베이팅) 아파치 레인저(apache Ranger)는 하둡 배포 업체인 호튼웍스가 지원하는 프로젝트다. 클라우데라는 ODPi의 회원사는 아니지만 호튼웍스는 멤버다. 만약 ODPi 인증이 최종사용자들에게 차별화 요소가 되면 ODPi가 이유를 막론하고 아파치 레인저 이행의 손을 들어줄 잠재성이 존재한다.

그런데도 자기엘스키는 그 시나리오가 비현실적이라고 지적했다.

“뒤에서 큰돈을 쓰는 ODPi와 사람들이 실제로 많이 간섭하고 있다는 것을 깨닫게 될 것이다”고 그는 이야기했다.

합리적인 방법
ASF가 프로젝트 위임자들의 명부를 지워버리고 완전히 새로운 팀을 짜는 충격적 옵션도 가지고 있다는 점을 명심해야 한다.

ASF의 몇몇 회원사가 표현한 또 다른 걱정거리는 아파치 개발자와 최종사용자들의 중간자로서 ODPi의 존재가 혁신에 악영향을 미칠 수 있다는 점이다.

자기엘스키는 “ODPi같은 조직에 대한 우려 중 하나는 ODPi가 하둡 개발자와 최종 사용자들 사이에 어쩌면 과도한 층을 형성한다는 점이다”고 밝혔다. 이어서 “오픈소스는 일반적으로 코드 개발자와 코드 최종 사용자들 사이의 매우 밀접한 피드백 루프에 의존한다. 우리가 걱정하는 것 중 하나는 피드백 루프가 어떤 방식으로도 축소되지 않도록 하는 것이다”고 전했다.

하지만 ODPi와 리눅스 재단에서 오픈 메인프레임 프로젝트의 프로그램 매니지먼트 디렉터 존 머틱은 ODPi가 다운스트림 사용자들에게 초점을 맞추고 있다고 주장했다. ODPi는 ISV와 다른 최종사용자들로부터 통찰을 수집하고 그 통찰을 ASF의 프로젝트 커뮤니티에 표면화시키려 한다.

자기엘스키는 “ASF가 수많은 회원사와 손잡기 위해 조직된 게 아니다”며 “궁극적인 목적은 ODPi가 우리에게 도움을 줘서 정말 빛날 수 있는 분야에 주력하기 위해서다”고 말했다.

머틱은 “ODPi에서 우리가 직접 소프트웨어를 개발하는 것은 아니다”고 밝혔다. 이어서 “우리가 하는 일중에 가장 우선순위에 두는 일은 이 기술이 기업이든 중소기업이든, 어떤 문화를 가진 기업이든 간에 어디서든 쓰일 수 있게 만드는 것이다. 나는 우리가 이를 오픈소스 방식으로 최대한 많은 사람에게 전하는데 어느 정도 사회적 의무가 있다고 생각한다”고 설명했다.

ODPi는 자신들이 ASF의 하둡 생태계 프로젝트를 지원하며, 재단의 영역에 침범해 들어가는 게 아니라는 것을 보여주기 위한 노력으로 11일 재단의 골드 스폰서가 돼 피보탈, IBM, WANDisco, 호튼웍스 등(모두 ODPi 멤버들이다) 기존의 ASF 후원사 대열에 합류하겠다고 발표했다.

“우리는 다양한 회원사를 아주 많이 보유하고 있지만 ASF를 공식적으로 지원한다고 밝히고 싶었다”고 머틱은 설명했다. 이어서 “우리는 ASF의 방향을 지원한다. 이는 지속적인 대화를 시작하겠다는 의미다. 우리는 하둡을 갈라놓으려 하는 게 아니다. 우리는 그 생각을 없애고 싶다”고 강조했다. 끝으로 머틱은 다음과 같은 의견을 내놨다.

“우리가 처음 등장했을 때 아마도 ASF와 제대로 일하지 못했을 것이다. 하지만 바로 그때 ASF와 대화를 해야 했다. 우리는 둘 다 하둡의 성공을 바란다는 같은 목적에 집중하고 있다. 서로 경쟁관계에 있고 싶지 않다. 하둡 채택에 수많은 장벽이 있는데 그걸 해결하기 위해 우리가 어떤 것을 할 수 있을까?” ciokr@idg.co.kr
 
2016.05.16

'오해 풀고 협력키로' 아파치 하둡 관련 두 단체

Thor Olavsrud | CIO
ODPi가 아파치 하둡 생태계 프로젝트에 부당한 영향력을 행사하도록 고안된 벤더 조직이라는 오해를 풀기 위한 노력으로 리눅스재단이 ASF의 골프 스폰서가 되겠다고 발표했다.

지난해 하둡 생태계의 복잡성을 줄이고자 만들어진 리눅스 재단의 협업 프로젝트인 ODPi(Open Data Platform initiative)는, 아파치 프로젝트에 영향력을 행사할 수 있는 외부 조직으로 ASF(Apache Software Foundation)에 파문을 일으켰다.

지난주 캐나다 밴쿠버에서 열린 ‘아파치: 빅데이터 북미 컨퍼런스’에서 ODPi는 ASF의 후원과 대화를 통해 이러한 우려를 줄이고자 했다.

ODPi의 창설 배경에는 빅데이터 커널을 아파치 하둡, 아파치 암바리, 관련 아파치 소스들의 검증된 레퍼런스 코어 형태로 제공하려는 목적이 있었다. ODPi는 올해 초 런타임 스펙과 테스트 스위트를 배포했다.

유명 빅데이터 회원들
이 조직의 회원사는 10개다. 그들 대부분은 호튼웍스, 피보탈, EMC, IBM, SAS 등 빅데이터 솔루션 제공업체다. 몇몇 최종사용자들 역시 섞여 있고 조직도 더 많은 최종사용자들을 포함한 신규 멤버 참여를 권하고 있는데, ASF내 한가지 우려는 ODPi가 현재 하둡 생태계 프로젝트에 위임자 대다수를 채용하고 있다는 점이다.

캐피털 원(Capital One)의 테크 펠로우(Tech Fellows) 프로그램 선임 디렉터이자 ASF의 개발자이자 창립자중 한 명인 짐 자기엘스키는 현지시각 11일 이 문제에 대해 패널에서 “현재 ODPi는 하둡 업체들의 거대한 조직 같은 존재다”며 “최악에는 기본적으로 ODPi가 원하지만 전체 커뮤니티는 원하지 않는 하둡 생태계를 만들어내는 단일 독립체의 합치된 노력이 나올 수 있다”고 이야기했다.

“이는 우리가 지켜봐야 할 부분이다”고 그는 덧붙였다. 또 자기엘스키는 “ASF 모델을 다른 수많은 모델과 차별화시키는 요인은 바로 개별 개발자들에게 초점을 맞췄다는 점이다”고 강조했다.

예를 들어 현재 하둡 생태계에는 두 가지 정도 겹치는 인증과 데이터 보안에 대한 프로젝트가 있다. 아파치 센트리(Apache Sentry)는 하둡 배포 업체인 클라우데라가 지원하는 최고 수준의 프로젝트고, (인큐베이팅) 아파치 레인저(apache Ranger)는 하둡 배포 업체인 호튼웍스가 지원하는 프로젝트다. 클라우데라는 ODPi의 회원사는 아니지만 호튼웍스는 멤버다. 만약 ODPi 인증이 최종사용자들에게 차별화 요소가 되면 ODPi가 이유를 막론하고 아파치 레인저 이행의 손을 들어줄 잠재성이 존재한다.

그런데도 자기엘스키는 그 시나리오가 비현실적이라고 지적했다.

“뒤에서 큰돈을 쓰는 ODPi와 사람들이 실제로 많이 간섭하고 있다는 것을 깨닫게 될 것이다”고 그는 이야기했다.

합리적인 방법
ASF가 프로젝트 위임자들의 명부를 지워버리고 완전히 새로운 팀을 짜는 충격적 옵션도 가지고 있다는 점을 명심해야 한다.

ASF의 몇몇 회원사가 표현한 또 다른 걱정거리는 아파치 개발자와 최종사용자들의 중간자로서 ODPi의 존재가 혁신에 악영향을 미칠 수 있다는 점이다.

자기엘스키는 “ODPi같은 조직에 대한 우려 중 하나는 ODPi가 하둡 개발자와 최종 사용자들 사이에 어쩌면 과도한 층을 형성한다는 점이다”고 밝혔다. 이어서 “오픈소스는 일반적으로 코드 개발자와 코드 최종 사용자들 사이의 매우 밀접한 피드백 루프에 의존한다. 우리가 걱정하는 것 중 하나는 피드백 루프가 어떤 방식으로도 축소되지 않도록 하는 것이다”고 전했다.

하지만 ODPi와 리눅스 재단에서 오픈 메인프레임 프로젝트의 프로그램 매니지먼트 디렉터 존 머틱은 ODPi가 다운스트림 사용자들에게 초점을 맞추고 있다고 주장했다. ODPi는 ISV와 다른 최종사용자들로부터 통찰을 수집하고 그 통찰을 ASF의 프로젝트 커뮤니티에 표면화시키려 한다.

자기엘스키는 “ASF가 수많은 회원사와 손잡기 위해 조직된 게 아니다”며 “궁극적인 목적은 ODPi가 우리에게 도움을 줘서 정말 빛날 수 있는 분야에 주력하기 위해서다”고 말했다.

머틱은 “ODPi에서 우리가 직접 소프트웨어를 개발하는 것은 아니다”고 밝혔다. 이어서 “우리가 하는 일중에 가장 우선순위에 두는 일은 이 기술이 기업이든 중소기업이든, 어떤 문화를 가진 기업이든 간에 어디서든 쓰일 수 있게 만드는 것이다. 나는 우리가 이를 오픈소스 방식으로 최대한 많은 사람에게 전하는데 어느 정도 사회적 의무가 있다고 생각한다”고 설명했다.

ODPi는 자신들이 ASF의 하둡 생태계 프로젝트를 지원하며, 재단의 영역에 침범해 들어가는 게 아니라는 것을 보여주기 위한 노력으로 11일 재단의 골드 스폰서가 돼 피보탈, IBM, WANDisco, 호튼웍스 등(모두 ODPi 멤버들이다) 기존의 ASF 후원사 대열에 합류하겠다고 발표했다.

“우리는 다양한 회원사를 아주 많이 보유하고 있지만 ASF를 공식적으로 지원한다고 밝히고 싶었다”고 머틱은 설명했다. 이어서 “우리는 ASF의 방향을 지원한다. 이는 지속적인 대화를 시작하겠다는 의미다. 우리는 하둡을 갈라놓으려 하는 게 아니다. 우리는 그 생각을 없애고 싶다”고 강조했다. 끝으로 머틱은 다음과 같은 의견을 내놨다.

“우리가 처음 등장했을 때 아마도 ASF와 제대로 일하지 못했을 것이다. 하지만 바로 그때 ASF와 대화를 해야 했다. 우리는 둘 다 하둡의 성공을 바란다는 같은 목적에 집중하고 있다. 서로 경쟁관계에 있고 싶지 않다. 하둡 채택에 수많은 장벽이 있는데 그걸 해결하기 위해 우리가 어떤 것을 할 수 있을까?” ciokr@idg.co.kr
 
X