Kafka集群搭建以及使用

一、集群搭建

1、在Kafka官网下载安装包,并解压到/opt/module目录

$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

2、进入到/opt/module目录,修改解压后的文件名称

$ cd /opt/module

$ mv kafka_2.11-0.11.0.0/ kafka

3、在/opt/module/kafka 目录下创建 logs 文件夹

$ mkdir logs

4、修改配置文件

$ cd /opt/module/config/

$ vi server.properties

对于该配置文件,需要修改以下几个地方:

(1)broker 的全局唯一编号,不能重复

broker.id=0

该项配置一定不能重复,如果我们有5台机器,则其它机器上broker.id的值可以是1、2、3、4。

(2)删除 topic 功能使能

delete.topic.enable=true

(3)Kafka 运行日志存放的路径

log.dirs=/opt/module/kafka/logs

(4)配置连接 Zookeeper 集群地址

默认为zookeeper.connect=localhost:2181,可以根据自己的实际情况做调整,如:

zookeeper.connect=slave1:2181,slave2:2181,slave3:2181

5、将安装包分发到其它机器

$ xsync /opt/module/kafka/

6、分发完之后记得修改broker.id的值,不能重复

7、集群启动和关闭

分别在每一台机器执行Shell命令

$ cd /opt/module/kafka

$ bin/kafka-server-start.sh -daemon config/server.properties

$ bin/kafka-server-stop.sh stop

在每一台机器都执行Shell命令过于麻烦,可以使用群起(群关)脚本,具体请看Kafka群起(关闭)脚本

二、命令行操作

以下操作全部在/opt/module/kafka目录下执行。

1、查看当前服务器中的所有 topic

$ bin/kafka-topics.sh --zookeeper localhost:2181 --list

–zookeeper localhost:2181 指定要连接的Zookeeper

2、创建topic

$ bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 --topic goods

–replication-factor 3 指定副本数量为3

–partitions 1 指定分区数为1

–topic goods 指定创建的topic名称为goods

3、删除topic

$ bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic goods

需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic goods

> Hello World

> Hadoop Spark

> Python

5、消费消息

$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic goods

6、查看某个topic的详情

$ bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic first

7、修改分区数

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic first --partitions 6

点个赞呗:程序员虾说 » Kafka集群搭建以及使用

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

请作者喝杯咖啡~

支付宝扫一扫打赏

微信扫一扫打赏