Offcanvas

��������� ���������

아파치 카프카, ‘주키퍼(ZooKeeper)’ 제거한다

분산 이벤트 스트리밍 플랫폼 ‘아파치 카프카(Apache Kafka)’의 메타데이터 관리 도구 ‘주키퍼(ZooKeeper)’가 단계적으로 제거될 예정이다.    아파치 카프카 프로젝트 관리 위원회(Apache Kafka project Management Committee)의 멤버이자 컨플루언트(Confluent)의 엔지니어 콜린 맥케이브는 “주키퍼를 사용하면 클러스터 메타데이터를 저장하고 동적 구성, 토픽, 토픽 내 파티션을 관리할 수 있지만 관리 계층을 추가하는 문제점이 있다”라면서, “하지만 카프카 내부에 메타데이터를 저장하면 더 쉽게 관리할 수 있고, 버전 관리 등의 문제를 해결할 수 있다”라고 말했다.  주키퍼는 내부적으로 관리되는 메타데이터용 프토로콜인 ‘카프카 라프트(Kafka Raft) 또는 크라프트(KRaft)’로 대체된다. 크라프트 모드에서 카프카 메타데이터는 분산 로그에 저장된다. 맥케이브는 “확장성이 주된 이점이다. 아울러 관리도 개선될 것”이라고 밝혔다. 카프카 사용자는 카프카 클러스터를 관리하기 위해 별도의 시스템을 구축할 필요가 없다고 그는 덧붙였다.  주키퍼 지원이 정확히 언제 중단될지는 발표되지 않았다. 현재는 카프카 3.3 릴리즈에서 크라프트를 GA 버전으로 제공하고, 카프카 4.0에서 주키퍼를 제거할 계획이다. 오는 8월에 출시될 카프카 3.3에는 주키퍼와 크라프트 옵션이 모두 포함된다. 맥케이브는 “크라프트 모드가 곧 프로덕션으로 전환될 예정이다. 이는 해당 프로젝트의 큰 발전일 것”이라고 전했다.  크라프트 모드는 지난 2021년 4월 릴리즈된 카프카 2.8부터 사용할 수 있었지만 프로덕션 준비 상태는 아니었다. 이는 카프카 3.3에서 프로덕션 준비 릴리즈로 제공될 예정이다. 맥케이브는 “주키퍼를 사용해왔던 개발자의 학습 곡선이 가파르지는 않을 것”이라면서, “개발자를 위해 동일한 API가 지원된다. 운영자는 몇 가지 학습해야 할 것이 있을 수 있다. 새로운 관리자가 이를...

아파치 카프카 데이터 관리 소프트웨어 개발 자바

2022.05.10

분산 이벤트 스트리밍 플랫폼 ‘아파치 카프카(Apache Kafka)’의 메타데이터 관리 도구 ‘주키퍼(ZooKeeper)’가 단계적으로 제거될 예정이다.    아파치 카프카 프로젝트 관리 위원회(Apache Kafka project Management Committee)의 멤버이자 컨플루언트(Confluent)의 엔지니어 콜린 맥케이브는 “주키퍼를 사용하면 클러스터 메타데이터를 저장하고 동적 구성, 토픽, 토픽 내 파티션을 관리할 수 있지만 관리 계층을 추가하는 문제점이 있다”라면서, “하지만 카프카 내부에 메타데이터를 저장하면 더 쉽게 관리할 수 있고, 버전 관리 등의 문제를 해결할 수 있다”라고 말했다.  주키퍼는 내부적으로 관리되는 메타데이터용 프토로콜인 ‘카프카 라프트(Kafka Raft) 또는 크라프트(KRaft)’로 대체된다. 크라프트 모드에서 카프카 메타데이터는 분산 로그에 저장된다. 맥케이브는 “확장성이 주된 이점이다. 아울러 관리도 개선될 것”이라고 밝혔다. 카프카 사용자는 카프카 클러스터를 관리하기 위해 별도의 시스템을 구축할 필요가 없다고 그는 덧붙였다.  주키퍼 지원이 정확히 언제 중단될지는 발표되지 않았다. 현재는 카프카 3.3 릴리즈에서 크라프트를 GA 버전으로 제공하고, 카프카 4.0에서 주키퍼를 제거할 계획이다. 오는 8월에 출시될 카프카 3.3에는 주키퍼와 크라프트 옵션이 모두 포함된다. 맥케이브는 “크라프트 모드가 곧 프로덕션으로 전환될 예정이다. 이는 해당 프로젝트의 큰 발전일 것”이라고 전했다.  크라프트 모드는 지난 2021년 4월 릴리즈된 카프카 2.8부터 사용할 수 있었지만 프로덕션 준비 상태는 아니었다. 이는 카프카 3.3에서 프로덕션 준비 릴리즈로 제공될 예정이다. 맥케이브는 “주키퍼를 사용해왔던 개발자의 학습 곡선이 가파르지는 않을 것”이라면서, “개발자를 위해 동일한 API가 지원된다. 운영자는 몇 가지 학습해야 할 것이 있을 수 있다. 새로운 관리자가 이를...

2022.05.10

‘아파치 카프카’, 개념부터 사용례까지

2011년 링크드인(LinkedIn)에서 개발된 ‘아파치 카프카(Apache Kafka)’는 이벤트 스트리밍에서 널리 쓰이는 플랫폼 중 하나다. 카프카는 고성능 데이터 파이프라인, 스트리밍 애널리틱스, 데이터 통합, 미션 크리티컬 애플리케이션에 사용된다.  모든 데이터를 데이터 웨어하우스에 저장하고 야간 배치 처리를 사용하여 분석하는 것만으로는 더 이상 비즈니스 또는 프로세스를 적시에 모니터링 및 관리하기가 충분하지 않다. 대신에 이후의 심층 분석을 위해 데이터 저장 외에 간단한 데이터 스트림 실시간 분석을 수행해야 한다.    카프카의 부속물에는 아파치 플링크(Apache Flink), 아파치 삼자(Apache Samza), 아파치 스파크(Apache Spark), 아파치 스톰(Apache Storm), 데이터브릭스(Databricks), 버베리카(Ververica) 등이 있다. 카프카의 대안으로는 아마존 키네시스(Amazon Kinesis), 아파치 펄사(Apache Pulsar), 애저 스트림 애널리틱스(Azure Stream Analytics), 컨플루언트(Confluent), 구글 클라우드 데이터플로(Google Cloud Dataflow) 등이 있다. 단, 카프카의 단점은 대규모 카프카 클러스터 구성이 까다로울 수 있다는 것이다. 컨플루언트 클라우드(Confluent Cloud)와 아파치 카프카용 아마존 관리형 스트리밍(Amazon Managed Streaming) 등 카프카의 상용 클라우드 버전을 사용하면 이 문제와 다른 문제를 해결할 수 있다(유료). 아파치 카프카란? 아파치 카프카는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션을 위한 오픈소스, 자바/스칼라, 분산 이벤트 스트리밍 플랫폼이다. 카프카 이벤트는 토픽별로 구성되고 저장된다. 카프카의 핵심 API는 5개이며, 다음과 같다.  • Admin API: 토픽, 브로커, 기타 카프카 객체를 관리하고 검사한다...

아파치 카프카 이벤트 스트리밍 데이터 데이터 파이프라인 데이터 웨어하우스 링크드인 컨플루언트 애널리틱스 소프트웨어 개발

2022.03.02

2011년 링크드인(LinkedIn)에서 개발된 ‘아파치 카프카(Apache Kafka)’는 이벤트 스트리밍에서 널리 쓰이는 플랫폼 중 하나다. 카프카는 고성능 데이터 파이프라인, 스트리밍 애널리틱스, 데이터 통합, 미션 크리티컬 애플리케이션에 사용된다.  모든 데이터를 데이터 웨어하우스에 저장하고 야간 배치 처리를 사용하여 분석하는 것만으로는 더 이상 비즈니스 또는 프로세스를 적시에 모니터링 및 관리하기가 충분하지 않다. 대신에 이후의 심층 분석을 위해 데이터 저장 외에 간단한 데이터 스트림 실시간 분석을 수행해야 한다.    카프카의 부속물에는 아파치 플링크(Apache Flink), 아파치 삼자(Apache Samza), 아파치 스파크(Apache Spark), 아파치 스톰(Apache Storm), 데이터브릭스(Databricks), 버베리카(Ververica) 등이 있다. 카프카의 대안으로는 아마존 키네시스(Amazon Kinesis), 아파치 펄사(Apache Pulsar), 애저 스트림 애널리틱스(Azure Stream Analytics), 컨플루언트(Confluent), 구글 클라우드 데이터플로(Google Cloud Dataflow) 등이 있다. 단, 카프카의 단점은 대규모 카프카 클러스터 구성이 까다로울 수 있다는 것이다. 컨플루언트 클라우드(Confluent Cloud)와 아파치 카프카용 아마존 관리형 스트리밍(Amazon Managed Streaming) 등 카프카의 상용 클라우드 버전을 사용하면 이 문제와 다른 문제를 해결할 수 있다(유료). 아파치 카프카란? 아파치 카프카는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션을 위한 오픈소스, 자바/스칼라, 분산 이벤트 스트리밍 플랫폼이다. 카프카 이벤트는 토픽별로 구성되고 저장된다. 카프카의 핵심 API는 5개이며, 다음과 같다.  • Admin API: 토픽, 브로커, 기타 카프카 객체를 관리하고 검사한다...

2022.03.02

은행∙핀테크와 경쟁∙∙∙ 英 뮤추얼펀드의 투자 우선순위는?

영국에 본사를 둔 뮤추얼펀드 회사인 네이션와이드 빌딩 소사이어티(Nationwide Building Society)는 현재 솔루션 구축 업체인 콘플루언트(Confluent)의 도움을 받아 몬조(Monzo)나 스탈링(Starling) 같은 좀더 민첩한 도전자인 은행들과 경쟁하고자 거래 데이터에 대해 접근하는 속도를 높이고 복원력을 높이기 위해 스트리밍 데이터 기술인 아파치 카프카(Apache Kafka)를 중심으로 시스템을 재설계하고 있다.   지난해 9월, 네이션와이드는 향후 5년간 41억 파운드를 기술에 투자하겠다고 선언했다. 지난주 런던에서 열린 카프카 서밋에서 네이션와이드의 애플리케이션 아키텍처 책임자인 롭 잭슨은 "카프카와 이 [스트리밍] 아키텍처가 어떻게 해서 투자 우선순위에 놓이게 됐는지 말하겠다”라고 밝혔다.  대부분 은행과 마찬가지로 네이션와이드는 많은 구형 기술을 가지고 있으며 애자일 핀테크 공급업체들과 도전자인 은행들의 방해를 받고 있다. "우리가 시스템과 데이터, 앱으로 좋은 모습을 보여주지 못하면 우리의 경쟁업체들이 우리는 몰아낼 것이다. 그렇기 때문에 우리도 대응해야 한다"라고 잭슨은 말했다. 오픈뱅킹과 같은 새로운 규제도 추가된다. 즉, 제3자가 고객 거래 데이터에 대한 액세스를 요청하면서 은행이 점점 더 새롭고 예측 불가능한 데이터양 때문에 타격을 받게 될 것이며, 구식 데이터 아키텍처로는 그러한 데이터의 양이 줄어들지 않을 것이다. 잭슨은 "고객들이 앱에 로그인하고 더 많은 결제를 하게 되면서 실시간 데이터를 기대하게 되었다"라고 말했다. 몬조나 버드(Bud)와 같은 최신 뱅킹 앱의 고객들은 그들의 거래를 바로 볼 수 있기를 기대하며, 그들은 그것들을 유형화해서 더 나은 자금 관리를 위한 규칙을 세우기를 원한다.  이 모든 것들이 원칙상 훌륭하기는 하지만, 네이션와이드와 같은 은행의 경우, "우리의 기존 플랫폼은 우리가 그러한 것들...

ROI 스트리밍 플랫폼 오픈뱅킹 뮤추얼펀드 마이크로서비스 콘플루언트 핀테크 몽고DB 카산드라 메인프레임 알리바바 은행 유니시스 아파치 카프카

2019.05.24

영국에 본사를 둔 뮤추얼펀드 회사인 네이션와이드 빌딩 소사이어티(Nationwide Building Society)는 현재 솔루션 구축 업체인 콘플루언트(Confluent)의 도움을 받아 몬조(Monzo)나 스탈링(Starling) 같은 좀더 민첩한 도전자인 은행들과 경쟁하고자 거래 데이터에 대해 접근하는 속도를 높이고 복원력을 높이기 위해 스트리밍 데이터 기술인 아파치 카프카(Apache Kafka)를 중심으로 시스템을 재설계하고 있다.   지난해 9월, 네이션와이드는 향후 5년간 41억 파운드를 기술에 투자하겠다고 선언했다. 지난주 런던에서 열린 카프카 서밋에서 네이션와이드의 애플리케이션 아키텍처 책임자인 롭 잭슨은 "카프카와 이 [스트리밍] 아키텍처가 어떻게 해서 투자 우선순위에 놓이게 됐는지 말하겠다”라고 밝혔다.  대부분 은행과 마찬가지로 네이션와이드는 많은 구형 기술을 가지고 있으며 애자일 핀테크 공급업체들과 도전자인 은행들의 방해를 받고 있다. "우리가 시스템과 데이터, 앱으로 좋은 모습을 보여주지 못하면 우리의 경쟁업체들이 우리는 몰아낼 것이다. 그렇기 때문에 우리도 대응해야 한다"라고 잭슨은 말했다. 오픈뱅킹과 같은 새로운 규제도 추가된다. 즉, 제3자가 고객 거래 데이터에 대한 액세스를 요청하면서 은행이 점점 더 새롭고 예측 불가능한 데이터양 때문에 타격을 받게 될 것이며, 구식 데이터 아키텍처로는 그러한 데이터의 양이 줄어들지 않을 것이다. 잭슨은 "고객들이 앱에 로그인하고 더 많은 결제를 하게 되면서 실시간 데이터를 기대하게 되었다"라고 말했다. 몬조나 버드(Bud)와 같은 최신 뱅킹 앱의 고객들은 그들의 거래를 바로 볼 수 있기를 기대하며, 그들은 그것들을 유형화해서 더 나은 자금 관리를 위한 규칙을 세우기를 원한다.  이 모든 것들이 원칙상 훌륭하기는 하지만, 네이션와이드와 같은 은행의 경우, "우리의 기존 플랫폼은 우리가 그러한 것들...

2019.05.24

IDG 설문조사

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.8