博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
快速入门kafka② kafka集群搭建(初级体验)
阅读量:3953 次
发布时间:2019-05-24

本文共 1288 字,大约阅读时间需要 4 分钟。

一、搭建环境前提

安装jdk,安装zookeeper并保证zk服务正常启动

二、下载并解压

wget

tar –zxvf  kafka_2.11-1.0.0.tgz -C /export/servers/

三、node01服务修改配置文件

node01执行以下命令进入到kafka的配置文件目录,修改配置文件

node01执行以下命令创建数据文件存放目录
mkdir -p  /export/servers/kafka_2.11-1.0.0/logs
cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
================
# broker.id 唯一的
broker.id=0
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
zookeeper.connect=node01:2181,node02:2181,node03:2181
delete.topic.enable=true
# host.name 在那个节点上就写那个
host.name=node01

 四、安装包分发到其他的节点上

scp -r kafka_2.11-1.0.0/ node02:$PWD

scp -r kafka_2.11-1.0.0/ node03:$PWD

五、kafka集群启动与关闭

bin/kafka-server-start.sh config/server.properties &

bin/kafka-server-stop.sh 

 六、kafka 初级体验

创建一个Topic

bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 2 --partitions 3 --topic AA
执行结果
Created topic "AA".
查询创建的Topic
bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
模拟生产者生产数据:当出来>(说明是创建成功了)
bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic BB1
--broker-list 指的是存储数据的kafka节点
模拟消费者消费数据
bin/kafka-console-consumer.sh --topic BB --zookeeper node01:2181,node02:2181,node03:2181 --from-beginning
-zookeepe: 消费者在二次进入启动中,在那个位置开始消费
-from-beginning: 记录消费者消费到那条数据,记录的是偏移量,每条数据都有唯一的偏移量

1

转载地址:http://jakzi.baihongyu.com/

你可能感兴趣的文章
大数据读心术丨这15条数据统计准爆了!
查看>>
大数据预测报告:2018年春节长假居民最喜欢去这些地方
查看>>
趣图:有时候我写的代码,就是这样子的
查看>>
大数据读心术丨这15条数据统计准爆了!
查看>>
500款各领域机器学习数据集,总有一个是你要找的
查看>>
收藏 | Linux常用156个命令汇总!
查看>>
十张图看懂未来大数据世界
查看>>
“揭秘”大数据的10个神话!
查看>>
《中国区块链行业发展报告2018》全文发布!
查看>>
高盛发布区块链报告:从理论到实践(中文版)
查看>>
用Python从零开始创建区块链
查看>>
使用 Charles 抓取 app 数据包
查看>>
Linux time subsystem 详解(1) ----概述
查看>>
大牛很通俗地介绍《信号与系统》
查看>>
执行程序(例如UltraEdit)在WIN7下添加到右键菜单
查看>>
flash and root your Nexus10
查看>>
深入学习Make命令和Makefile(上)(2)
查看>>
深入学习Make命令和Makefile(下)(2)
查看>>
10大玄机为你揭开炒土豆丝爽脆的秘密——尖椒土豆丝
查看>>
grep与正则表达式
查看>>