当前位置:首页 > 服务端 > Kafka集群安装部署

Kafka集群安装部署

2022年11月09日 13:25:08服务端12

Kafka安装部署:
前提:jdk zookeeper安装部署,并能正常启动。
1、下载软件包并解压

tar zxvf kafka_2.11-1.0.0.tgz -C …/servers/

2、修改kafka配置文件

/export/servers/kafka_2.11-1.0.0/conf/

vim server.properties

Broker.id=0 (每个节点不能相同)
log.dirs=/export/servers/kafka_2.11-1.0.0/logs/
zookeeper.connect=node01:2181,node02:2181,node03:2181
delete.topic.enable=true
host.name=node01(每个节点不能相同)
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

3、多节点复制(复制后修改配置)

scp -r kafka_2.11-1.0.0 hadoop02:/ P W D s c p − r k a f k a 2 . 11 − 1.0.0 h a d o o p 03 : / PWD scp -r kafka_2.11-1.0.0 hadoop03:/ PWDscprkafka2.111.0.0hadoop03:/PWD

4、多节点启动kafka

启动zookeeper
zkstart.sh(自己编写的脚本)
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

启动kafka(到每个节点启动)

hadoop01: nohup ./bin/kafka-server-start.sh config/server.properties &
hadoop02: nohup ./bin/kafka-server-start.sh config/server.properties &
hadoop03s: nohup ./bin/kafka-server-start.sh config/server.properties &
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

kafka集群的操作
创建topic

bin/kafka-topics.sh --create --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --replication-factor 2 --partitions 3 --topic 18BD3401
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

查询 topic

bin/kafka-topics.sh --list --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

模拟成产者,生产数据

bin/kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic 18BD3401
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
broker-list 表示存储数据的服务器

模拟消费者,消费数据

bin/kafka-console-consumer.sh --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --topic 18BD3401 --from-beginning
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
from-beginning 表示从头开始消费
zookeeper 作用是记录数据消费到的位置(数据消费到了哪里/第几条)

Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
配置环境变量
cd /etc/profile.d/
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
创建kafka脚本
vim kafka.sh
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

export KAFKA_HOME=/export/servers/kafka_2.11-1.0.0
export PATH= P A T H : PATH: PATH:KAFKA_HOME/bin

source /etc/profile(环境变量生效)
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
3、创建文件夹:

创建一键启动脚本
vim kafka-start.sh

ssh $host “source /etc/profile;nohup /export/servers/kafka_2.11-1.0.0/config/server.properties >/dev/null 2>&1 &”
#!/bin/sh
for host in hadoop01 hadoop02 hadoop03
do
ssh KaTeX parse error: Expected 'EOF', got '&' at position 164: …s >/dev/null 2>&̲1 &" e…host kafka is running"
done

写好后保存,为脚本添加执行权限

chmod 777 kafka-start.sh
查看状态:

一键启动

./bin/kafka-start.sh
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
查看状态:
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

创建一键关闭脚本
vim kafka-stop.sh

#! /bin/sh
for host in hadoop01 hadoop02 hadoop03
do
ssh h o s t " s o u r c e / e t c / p r o f i l e ; / e x p o r t / s e r v e r s / k a f k a 2 . 11 − 1.0.0 / b i n / k a f k a − s e r v e r − s t o p . s h " e c h o " host "source /etc/profile; /export/servers/kafka_2.11-1.0.0/bin/kafka-server-stop.sh" echo " host"source/etc/profile;/export/servers/kafka2.111.0.0/bin/kafkaserverstop.sh"echo"host kafka is stopping"
done

写好后保存,为脚本添加执行权限

chmod 777 kafka-stop.sh

一键关闭
./bin/kafka-stop.sh
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记
查看状态kafka
Kafka集群安装部署 _ JavaClub全栈架构师技术笔记

作者:a大数据yyds
来源链接:https://blog.csdn.net/qq_45765882/article/details/104920612

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68842.html

分享给朋友:

“Kafka集群安装部署” 的相关文章

docker安装kafka

docker安装kafka

1.先pull zookeeper的镜像 docker pull wurstmeister/zookeeper:latest docker pull wurstmeister/kafka:latest 2.查看镜像 docker im...

kafka安装-windows环境

kafka安装-windows环境

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。   window环境下如何安装kafka呢?   下载地址: Zookeeper下载地址:   http://archive.a...

kafka安装步骤(版本2.12-2.5.0)

kafka安装步骤(版本2.12-2.5.0)

文章目录 1、kafka安装 1.1、 步骤 1.2、 脚本分发,启动 1、kafka安装 1.1、 步骤...

kafkaManager 安装

kafkaManager 安装

个人博客地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/11/kafkaManager安装/ Kafka Manager 安装 Kafka Manager是用于管理Apache Kafka的工...

Kafka系列:Kafka安装完整步骤

Kafka系列:Kafka安装完整步骤

目录 下载 修改配置 启动 #启动ZK #启动Kafka 验证 #查看分片情况   前提:安装JDK1.8   下载 http://kafka.apache.org/downloa...

Kafka的安装与入门基础

Kafka的安装与入门基础

0 Java消息服务(Java Message Service,JMS) Java消息服务(Java Message Service,JMS)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统...

Kafka 安装教程 windows版

Kafka 安装教程 windows版

一、官网下载 Index of /dist/kafka 个人使用2.7.2版本 下载时注意,windows版本不要下载带src的.tgz就行。 二、启动kafka 进入\bin\windows目录下打开cmd窗口 输入:启动注册...

Kafka安装部署启动

Kafka安装部署启动 上传压缩包(压缩包自己去下载吧:http://kafka.apache.org/downloads) 解压安装包 tar -zxvf /opt/software/kafka_2.11-2.4.1.t...

windows安装kafka 2.8.1以及创建主题(topic)生产者和消费者消息接收和发送

windows安装kafka 2.8.1以及创建主题(topic)生产者和消费者消息接收和发送

windows 安装kafka 2.8.1 电脑上的前置的条件为 1、在电脑上有安装jdk 2、2.8.1中的kafka版本里面有包含了zookeeper,故此本版本不需要安装zookeeper 第一步:到kafka官网上找安装包 我是使用的...

Kafka安装与配置

1. 安装JDK 2. 安装Zookeeper Zookeeper是安装Kafka集群的必要组件,Kafka通过Zookeeper来实施对元数据信息的管理,包括集群、broker、主题、分区等内容。 Zookeeper是一个开源的分布式协调服务。三个角色:lea...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。