当前位置:首页 > 服务端 > kafka安装及配置

kafka安装及配置

2022年08月05日 10:36:10服务端6

1、 集群规划

三台安装过zookeeper的虚拟机

2、jar包下载

http://kafka.apache.org/downloads.html

3 、集群部署

1)解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C

2)修改解压后的文件名称

[atguigu@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka

3)在/opt/module/kafka 目录下创建 logs 文件夹

mkdir logs

4)修改配置文件 kafka 目录下config中的service.properters

修改以下内容:

\#broker 的全局唯一编号,不能重复
​
broker.id=0
​
\#删除 topic 功能使能
​
delete.topic.enable=true
​
\#处理网络请求的线程数量
​
num.network.threads=3
​
\#用来处理磁盘 IO 的现成数量
​
num.io.threads=8
​
\#发送套接字的缓冲区大小
​
socket.send.buffer.bytes=102400
​
\#接收套接字的缓冲区大小
​
socket.receive.buffer.bytes=102400
​
\#请求套接字的缓冲区大小
​
socket.request.max.bytes=104857600
​
\#kafka 运行日志存放的路径
​
log.dirs=/opt/module/kafka/logs
​
\#topic 在当前 broker 上的分区个数
​
num.partitions=1
​
\#用来恢复和清理 data 下数据的线程数量
​
num.recovery.threads.per.data.dir=1
​
\#segment 文件保留的最长时间,超时将被删除
​
log.retention.hours=168
​
\#配置连接 Zookeeper 集群地址
​
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5)配置环境变量

 vim /etc/profile

7)分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties

中的 broker.id=1、broker.id=2

8)启动集群

依次在 hadoop102、hadoop103、hadoop104 节点上启动 kafka

kafka-server-start.sh -daemon  /opt/kafka/config/server.properties

9)关闭集群

bin/kafka-server-stop.sh stop

10)kafka 群起脚本

for i in hadoop102 hadoop103 hadoop104
​
do
​
echo "========== $i ==========" 
​
ssh $i 
​
'/opt/module/kafka/bin/kafka-server-start.sh 
​
-daemon 
​
/opt/module/kafka/config/server.properties'
​
done

11)Kafka Eagle安装及使用简介

  1. 前提:jdk环境

  2. 上传 jar 包 到 opt下 kafka-eagle-bin-1.2.4.tar.gz 路径:D:\java\1笔记资料及资源\大数据Hadoop\资料\kafka\20210107-kafka

  3. 配置环境变量 vi /etc/profile

  4. 进入kafka-eagle的conf目录下修改配置文件,配置基础配置

    kafka安装及配置 _ JavaClub全栈架构师技术笔记

    kafka安装及配置 _ JavaClub全栈架构师技术笔记

  5. 进入bin目录后会看到 ke.sh 文件先修改文件的权限 chomd 777 ke.sh

  6. 启动 ./ke.sh start

  7. Kafka Eagle安装及使用简介(详细教程)_Locky_LLL的博客-CSDN博客 完整配置教程

作者:柳奕坤
来源链接:https://blog.csdn.net/m0_50289266/article/details/123478891

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/17664.html

分享给朋友:

“kafka安装及配置” 的相关文章

kafka入门及安装部署

kafka入门及安装部署

kafka入门及安装部署 kafka安装包下载 kafka简介及应用场景 简介 应用场景 kafka安装部署...

kafka启动后没反应

kafka使用脚本启动后后台没有进程 然后删除data和log目录下的所有文件 开启kafka,成功解决 作者:nidiquge 来源链接:https://blog.csdn.net/nidiquge/article/detail...

Windows环境中Kafka的安装及使用

Windows环境中Kafka的安装及使用

Kafka安装及使用 1. 简介 2.环境搭建 2.1安装JDK(例如JDK1.8等) 2.2 安装Zookeeper 2.3 安装Kafka...

docker安装kafka

docker安装kafka

1.先pull zookeeper的镜像 docker pull wurstmeister/zookeeper:latest docker pull wurstmeister/kafka:latest 2.查看镜像 docker im...

Kafka安装之二 在CentOS 7上安装Kafka

Kafka安装之一  Zookeeper Kafka安装之二 在CentOS 7上安装Kafka 一、简介         Kafka是由Apache软件基金会开发的一个开...

windows安装kafka

windows安装kafka

一、下载kafka http://kafka.apache.org/downloads 选择二进制版本。 二、安装kafka 下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\w...

kafka安装部署(windows)

kafka安装部署(windows)

文章目录 前言 kafka安装部署(windows) 01 zookeeper中间件 安装部署 01::01 启动zook...

ubuntu安装kafka

我采用的是外部的zookeeper,而不是kafka自带的 如不知道安装zookeeper的参考:https://blog.csdn.net/weixin_36104843/article/details/80211404 1.下载 wget http...

kafka安装-windows环境

kafka安装-windows环境

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。   window环境下如何安装kafka呢?   下载地址: Zookeeper下载地址:   http://archive.a...

大聪明教你学kafka | Windows10系统下kafka安装及使用

大聪明教你学kafka | Windows10系统下kafka安装及使用

前言 Apache Kafka 是一款开源的消息系统,在开发各类系统的时候,我们经常会选择使用Kafka来帮助我们削峰、做异步处理、解耦,那么正好借此机会跟大家说说kafka的安装部署、应用场景以及简单的使用。 kafka的安装部署 想...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。