当前位置:首页 > 服务端 > Kafka 安装部署及常用命令

Kafka 安装部署及常用命令

2022年11月06日 15:17:12服务端18

一、安装部署

1.1 集群规划

hadoop102 hadoop103 hadoop104
zk zk zk
kafka kafka kafka

1.2 jar包下载

http://kafka.apache.org/downloads
Kafka 安装部署及常用命令 _ JavaClub全栈架构师技术笔记

1.3 集群部署

1)解压安装包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2)修改解压后的文件名称

[atguigu@hadoop102 module]$ mv kafka_2.11-2.4.1/ kafka

3)在/opt/module/kafka目录下创建logs文件夹

[atguigu@hadoop102 kafka]$ mkdir logs

4)修改配置文件

[atguigu@hadoop102 kafka]$ cd config/
[atguigu@hadoop102 config]$ vi server.properties

修改内容如下

#broker的全局唯一编号,不能重复
broker.id=0

#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/log

#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

注:/kafka代表在zookeeper上自动创建的根节点的名称

5)配置环境变量

[atguigu@hadoop102 module]$ sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

记得同步到三台机器上

6)分发安装包

[atguigu@hadoop102 module]$ xsync kafka/
  • 注意: 分别在hadoop103和hadoop104上修改配置文件broker.id=1broker.id=2
  • 注:broker.id不得重复

7)启动集群
依次在hadoop102、hadoop103、hadoop104节点上启动kafka

[atguigu@hadoop102 kafka]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
[atguigu@hadoop103 kafka]$ kafka-server-start.sh -daemon  $KAFKA_HOME/config/server.properties
[atguigu@hadoop104 kafka]$ kafka-server-start.sh -daemon  $KAFKA_HOME/config/server.properties

8)关闭集群

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh

9)kafka群起脚本

#! /bin/bash 
case $1 in 
"start"){
      
    for i in hadoop102 hadoop103 hadoop104 
        do 
            echo " --------启动 $i Kafka-------" 
            ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties " 
        done 
};; 
 
"stop"){
      
    for i in hadoop102 hadoop103 hadoop104 
        do 
            echo " --------停止 $i Kafka-------" 
            ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop" 
        done 
};; 
 
esac

二、Kafka常用命令

1)查看当前服务器中的所有topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --list

2)创建topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--create --replication-factor 3 --partitions 1 --topic first

选项说明:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数

3)删除topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除。

4)发送消息(模拟生产者)

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh \
--broker-list hadoop102:9092 --topic first
>hello world
>atguigu  atguigu

5)消费消息(模拟消费者)

[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 --from-beginning --topic first
[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh \
--bootstrap-server hadoop102:9092 --from-beginning --topic first

--from-beginning:会把主题中以往所有的数据都读取出来。

6)查看某个Topic的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka \
--describe --topic first

7)修改分区数

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic first --partitions 6

作者:落花雨时
来源链接:https://blog.csdn.net/mengxianglong123/article/details/120624837

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68171.html

分享给朋友:

“Kafka 安装部署及常用命令” 的相关文章

SpringBoot进阶教程(六十二)整合Kafka

SpringBoot进阶教程(六十二)整合Kafka

在上一篇文章《Linux安装Kafka》中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息。这篇文章就介绍介绍SpringBoot整合Kafka。 在上一篇文章《Linux安装Kafka》中,...

spring-kafka 实战

spring-kafka 实战

spring-kafka实战 1.       kafka介绍   1.1.       主要功能 根据官网的介绍,Apach...

CentOs7 安装 Kafka 或 Docker 安装 Kafka

CentOs7 安装 Kafka 或 Docker 安装 Kafka

Kafka CentOs7 安装 安装zookeeper 安装 Kafka Docker 安装 安装zookeepe...

kafka安装配置实战 - 多个broker集群配置实战

kafka安装配置实战 - 多个broker集群配置实战

一、总体目标  版本: zookeeper3.4.14 二、安装kafka之前,首先安装zookeeper   2.1 zookeeper下载地址: (本次采用3.4.5,  cdh版本, 版本不同很容易出错...

Kafka集群安装配置,kafka后台运行的方式,Kafka配置文件中的参数说明

Kafka集群安装配置,kafka后台运行的方式,Kafka配置文件中的参数说明

1、Kafka集群部署 1.1集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 chkconfig i...

kafka-eagle安装

kafka-eagle安装

1、首先去官网下载eagle http://download.kafka-eagle.org/ 2、上传至服务器,解压到安装目录,我使用的是1.4.4版本 tar -xzf kafka-eagle-bin-1.4.4.tar.gz -C /apps/ cd /a...

Kafka 集群安装脚本

最近又在搞Kafka集群,安装kafka集群感觉太麻烦,所以就写了一个简单的kafka 集群安装脚本,但是有个前提,各个机器的 ssh 免密要配置好,然后jdk 要安装成功。 kafka 安装分两步,一是安装 zookkper ,二是安装配置集群。...

安装zookeeper及kafka集群

安装zookeeper及kafka集群

安装zookeeper及kafka集群 搭建zookeeper 不废话直接开始,请提前准备好镜像或者拉取新版本镜像 # 拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstm...

Docker安装启动Kafka

Docker安装启动Kafka 1、下载Kafka和Zookeeper镜像文件 docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 2、先运行zk...

kafka详细安装运行

1、Alt+p打开sftp,将kafka上传到linux,我上传到hdp-4,/root/apps sftp> cd apps sftp> put -r "C:\Users\ThinkPad\Documents\Tencent File...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。