当前位置:首页 > 服务端 > Kafka快速入门(安装集群)

Kafka快速入门(安装集群)

2022年09月17日 11:22:13服务端6

安装部署

1. 集群规划

hadoop102 hadoop103 hadoop104
zk zk zk
kafka kafka kafka

2. 集群部署

0) 官方下载地址:官网

1)解压安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

2)修改解压后的文件名称

 mv kafka_2.12-3.0.0/ kafka

3)进入到/opt/module/kafka 目录,修改配置文件

cd config/
vim server.properties

输入以下内容:update标识为需要修改的地方

#broker 的全局唯一编号,不能重复,只能是数字。update
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔 update
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=10737418
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)update
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

4)分发安装包

5)分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties中的 broker.id=1broker.id=2

注:broker.id 不得重复,整个集群中唯一。

6)配置环境变量

(1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置

 sudo vim /etc/profile.d/my_env.sh

增加如下内容:

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

(2)刷新一下环境变量。

 source /etc/profile

(3)分发环境变量文件到其他节点,并 source。

7)启动集群

(1)先启动 Zookeeper 集群,然后启动 Kafka。

 zk.sh start

(2)依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka。

bin/kafka-server-start.sh -daemon config/server.properties

8)关闭集群

 bin/kafka-server-stop.sh

3. 集群启停脚本

1)在/home/atguigu/bin 目录下创建文件 kf.sh 脚本文件

vim kf.sh
#! /bin/bash
case $1 in
"start"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------启动 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -
daemon /opt/module/kafka/config/server.properties"
 done
};;
"stop"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------停止 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
 done
};;
esac

2)添加执行权限

 chmod +x kf.sh

3)启动集群命令

 kf.sh start

4)停止集群命令

 kf.sh stop

注意:停止 Kafka 集群时,一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息,Zookeeper 集群一旦先停止,Kafka 集群就没有办法再获取停止进程的信息,只能手动杀死 Kafka 进程了。


笔记来自b站尚硅谷

作者:鱼找水需要时间
来源链接:https://blog.csdn.net/weixin_43847283/article/details/124530141

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42399.html

分享给朋友:

“Kafka快速入门(安装集群)” 的相关文章

kafka入门及安装部署

kafka入门及安装部署

kafka入门及安装部署 kafka安装包下载 kafka简介及应用场景 简介 应用场景 kafka安装部署...

Kafka安装

Lison <cundream@163.com>, v1.0.3, 2019.03.27 摘要 解决和排查kafka安装过程中,由于kafka安装版本所使用zookeeper版本与本地zookeeper安装版本不兼容,导致kafk...

spring-kafka 实战

spring-kafka 实战

spring-kafka实战 1.       kafka介绍   1.1.       主要功能 根据官网的介绍,Apach...

Kafka安装之二 在CentOS 7上安装Kafka

Kafka安装之一  Zookeeper Kafka安装之二 在CentOS 7上安装Kafka 一、简介         Kafka是由Apache软件基金会开发的一个开...

Ubuntu20.04安装kafka

Ubuntu20.04安装kafka

文章目录 简介 为什么需要消息中间件 Kafka一代 - 消息队列 Kafka二代 - Partition Kafka三代 - Broker集群...

mac/linux 下kafka安装

Kafka安装和配置,依赖zookeeper  安装和启动zookeeper (1)下载 http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar...

kafka也没那么难--kafka的安装与简单使用

kafka也没那么难--kafka的安装与简单使用

前言 前短时间在腾讯云上买了一个linux 服务器,决心把kafka这一模快的知识补充起来啦。所以就搞起来。 安装 安装算是比较简单的,可以直接用wget 下载,也可以将安装包下载下来,上传到服务器上,都是一样的。 kafka 安装包网...

Kafka Tool 可视化工具安装使用

Kafka Tool 可视化工具安装使用

Kafka Tool 可视化工具安装使用 它能做什么? 安装准备 安装配置 测试说明...

kafka伪分布式安装

kafka伪分布式安装

kafka伪分布式安装 启动Kafka前需先启动zookeeper,如果已装zookeeper,请忽略 1.预备工作 1.一台服务器 2.伪分布式kafka 1,2,3 3.创建Kafka目录结构 kafkalog_1/2/3 用于存...

mac下的kafka安装步骤

mac下的kafka安装步骤

好久不用kafka了,自己复习一下kafka吧,把安装过程记录如下: 1、安装 brew install kafka 2、安装完成后进入 /usr/local/etc/kafka/ 下 3、启动zookeeper 我使用的命令是: zoo...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。