2 posts tagged with "kafka"

ここではSetup Apache Kafka - Confluent ver. (JPver.)で作成したKafka clusterに対しPub/Subを行うProducer/Consumer applicationを作成する。簡単のためまずはLocal上でAppを開発し、その後Kafka Cluster構築時に作成したAMIをベースにEC2を起動し、EC2上で対象のAppを稼働させる。具体的には以下の内容を実施する。

1. Initial setup
2. Running Producer app
3. Running Consumer app

ここではKafka clusterやKafka clientなどのsetupを行う。具体的には以下のような構成で行う。

Kafka自体には以下のようなDistributionがあり、今回はConfluent dist.を先に確認する (この後Community ver.のclusterも立ち上げる)。

• Community ver. from Apache Software Foundation
• Cofluent ver. from Cofluent
• CDK (Clouera Distribution of Apacke Kafka) from Cloudera
• HDP (Hortonworks Data Platform)