当前位置:首页 > 服务端 > Kafka安装部署完整教程——包含常遇到的各种错误

Kafka安装部署完整教程——包含常遇到的各种错误

2022年09月16日 16:56:16服务端8

1. 安装zookeeper

1) apache官网地址

http://zookeeper.apache.org/

2) 点击Download进入下载入口

3) Linux虚拟机下载部署

a. 使用wget下载

# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz`

b. 可以将上面在官网下载的压缩包拷贝到虚拟机上

c. 将下载好的压缩包zookeeper-3.4.14.tar.gz放到相关的目录,例如:bobo,然后解压Zookeeper;

# cd /bobo;
# tar -zxvf zookeeper-3.4.14.tar.gz;    

d. 修改配置文件

进入/bobo/zookeeper-3.4.14/conf目录,将zoo_sample.cfg(样板配置文件)命名为zoo.cfg。

# cd /zookeeper-3.4.14/conf
# mv zoo_sample.cfg zoo.cfg

里面有两个比较重要的配置:

dataDir=/bobo/zookeeper-3.4.14/data # 数据存放位置,可根据 需要修改;
clientPort=2181 # 服务监听端口,可根据需要修改;
配置环境变量

export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

e. 常用操作

# cd /bobo/zookeeper-3.4.14/bin/
# ./zkServer.sh start     Zookeeper服务端启动;
# ./zkServer.sh stop      Zookeeper服务端停止;
# ./zkServer.sh restart    Zookeeper服务端重启;

# ps -ef|grep zookeeper;   查看Zookeeper进程;
# ./zkServer.sh status    查看Zookeeper服务端状态;
# ./zkCli.sh -server 127.0.0.1:2181   Zookeeper客户端登陆;

f. 测试

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

2. 下载Kafka

1) Kafka官网下载地址

http://kafka.apache.org/downloads

2) 将下载好的kafka_2.12-2.2.0.tgz包放到服务器上

3) 解压并进入kafka目录下

# tar -xzvf kafka_2.12-2.2.0.tgz
# cd kafka_2.12-2.2.0

4) 修改kafka的配置文件

在kafka主目录下 bin/config文件夹中找到 server.properties 并进行修改

# vim bin/config/server.properties   #出现权限问题使用sudo

broker.id=0
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181
delete.topic.enble=true     #这段代码会对以后删除kafka中的topic有影响,这段代码在文件尾部添加上即可

5) 配置kafka环境变量,配置zookeeper 和 kafka的全局命令

修改 profile 文件

# vim /etc/profile

添加下面这些配置

export KAFKA_HOME=/usr/kafka/kafka_2.12-2.2.0
export PATH=KAFKA_HOME/bin:$PATH

使配置生效

# source /etc/profile

最终配置文件如下:
Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

6) 使用如下命令启动Kafka

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记
可以看到如下信息,启动成功
Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

这种方法日志会打印在控制台,而且想关掉命令行窗口,服务就会停止
使用命令
Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

其中1>/dev/null 2>&1 是将命令产生的输入和错误都输入到空设备,也就是不输出的意思。/dev/null代表空设备。
但是并不能保证Kafka已经启动成功,输入jps查看进程,如果可以看到Kafka进程,表示启动成功

7) 创建topic

a) 命令:

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

b) 参数说明:

–zookeeper:指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样
–replication-factor:指定副本数量
–partitions:指定分区数量
–topic:主题名称

c) 创建成功

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

d) 查看所有的topic信息

命令:

kafka-topics.sh --list --zookeeper localhost:2181

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

8) 启动生产者

命令:

kafka-console-producer.sh --broker-list localhost:9092 --topic test

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

9) 启动消费者

命令:
第一次启动时用的低版本的命令,报错如下

# kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning(低版本kafka)

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记
网上查了一下说是因为版本过高,使用新的命令

# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning(高版本kafka)

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

10) 停止

停止Kafka server: bin/kafka-server-stop.sh
停止Zookeeper server: bin/zookeeper-server-stop.sh

3. 安装JDK8

如果JDK版本过低,会报错
Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

将JDK版本升到8

1) yum安装

# yum install java-1.8.0-openjdk* -y

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

2) 安装成功后,检查版本号

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

3) 配置环境变量

[root@n1 ~]# sudo vim /etc/profile   配置环境变量

Kafka安装部署完整教程——包含常遇到的各种错误 _ JavaClub全栈架构师技术笔记

4) 配置完成后

[root@n1 ~]# source /etc/profile 使配置生效

作者:博博博啊
来源链接:https://blog.csdn.net/qq_37842366/article/details/99966001

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41927.html

分享给朋友:

“Kafka安装部署完整教程——包含常遇到的各种错误” 的相关文章

kafka入门及安装部署

kafka入门及安装部署

kafka入门及安装部署 kafka安装包下载 kafka简介及应用场景 简介 应用场景 kafka安装部署...

Windows环境中Kafka的安装及使用

Windows环境中Kafka的安装及使用

Kafka安装及使用 1. 简介 2.环境搭建 2.1安装JDK(例如JDK1.8等) 2.2 安装Zookeeper 2.3 安装Kafka...

Kafka安装

Lison <cundream@163.com>, v1.0.3, 2019.03.27 摘要 解决和排查kafka安装过程中,由于kafka安装版本所使用zookeeper版本与本地zookeeper安装版本不兼容,导致kafk...

CentOS7 安装kafka教程及启动

CentOS7 安装kafka教程及启动

介绍 Kafka是分布式发布-订阅消息系统,最初由LinkedIn公司开发,之后成为之后成为Apache基金会的一部分,由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 它与传统系统相比,有以下不同:...

CentOs7 安装 Kafka 或 Docker 安装 Kafka

CentOs7 安装 Kafka 或 Docker 安装 Kafka

Kafka CentOs7 安装 安装zookeeper 安装 Kafka Docker 安装 安装zookeepe...

kafka 安装 测试 could not be established. Broker may not be available

liulux服务器,安装启动kafka服务 kafka_2.12-2.2.0.tgz 解压安装包,修改config目录中zookeeper.properties和server.properties配置文件,一般只需要修改日志和数据保存的路径,端口使用默认...

kafka安装使用

kafka安装使用

 先来说下kafka是个什么东西,它是一个消息中间件框架,只负责发布--订阅(帮忙存东西的)接着给大家看一张大致的kafka流程图         首先打个比方,kafka...

kafka监控工具:kafka eagle安装踩坑

kafka监控工具:kafka eagle安装踩坑

1、背景: 本人kafka使用小白,使用kafka produce生产数据的时候,从后台看kafka topic有没有数据很不方便,从网上找了找,发现有个开源工具kafka eagle比较好使。 2、软件准备: 官方网站链接:EFAK 刚开始下载了一个官方...

Ubuntu20.04安装kafka

Ubuntu20.04安装kafka

文章目录 简介 为什么需要消息中间件 Kafka一代 - 消息队列 Kafka二代 - Partition Kafka三代 - Broker集群...

kafka集群安装

kafka集群安装 前提 一、安装包获取 二、安装kafka 三、Kafka命令行操作 本人是一名在校大三学生,所选专业大数据技术,为了毕业能有一份可观的工作, 目...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。