当前位置:首页 > 服务端 > kafka安装

kafka安装

2022年09月16日 10:16:48服务端4

一、kafka安装(集群模式)

1、安装前准备

机器:10.199.240.232,10.199.206.20

kafka版本:2.12-0.10.1.1

下载地址; https://mirrors.tuna.tsinghua.edu.cn/apache/

相关目录:

/apps/svr/kafka_2.12-0.10.1.1  kafka根目录

/apps/logs/kafka                       kafka日志目录

/apps/sh                                       kafka启动脚本

注意:笔者 zk 已经提前部署好;本文没有对zk的集群安装简述

2、安装步骤

(1)kafka booker1

cd /apps/svr/kafka_2.12-0.10.1.1/config

mv server.properties server.properties.bak

touch server.properties

vim server.properties

broker.id=1

listeners=PLAINTEXT://10.199.206.20:9092

advertised.listeners=PLAINTEXT://10.199.206.20:9092

host.name=10.199.206.20

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

num.partitions=3

num.recovery.threads.per.data.dir=1

log.dirs=/apps/logs/kafka

log.flush.interval.messages=10000

log.flush.interval.ms=1000

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=zk1:2181

zookeeper.connection.timeout.ms=6000

vim producer.properties

bootstrap.servers=10.199.240.232:9092,10.199.206.20:9092

compression.type=none

vim /etc/hosts

10.199.240.232 kafka2  zk2  db-t7pfx.vclound.com

10.199.206.20  kafka1  zk1  xupengzhang-gz5rn.vclound.com

 

(2)kafka broker2

cd /apps/svr/kafka_2.12-0.10.1.1/config

mv server.properties server.properties.bak

touch server.properties

vim server.properties

broker.id=2

listeners=PLAINTEXT://10.199.240.232:9092

advertised.listeners=PLAINTEXT://10.199.240.232:9092

host.name=10.199.240.232

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

num.partitions=3

num.recovery.threads.per.data.dir=1

log.dirs=/apps/logs/kafka

log.flush.interval.messages=10000

log.flush.interval.ms=1000

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=zk1:2181

zookeeper.connection.timeout.ms=6000

vim producer.properties

bootstrap.servers=10.199.240.232:9092,10.199.206.20:9092

compression.type=none

vim /etc/hosts

10.199.240.232 kafka2  zk2  db-t7pfx.vclound.com

10.199.206.20  kafka1  zk1  xupengzhang-gz5rn.vclound.com

(3)启动脚本

 1 source /etc/profile
 2 kafkaHome="/apps/svr/kafka_2.12-0.10.1.1"
 3 kafkaBin="$kafkaHome/bin"
 4 kafkaConf="$kafkaHome/config"
 5 zkHome="/apps/svr/zookeeper-3.4.11"
 6 zkBin="$zkHome/bin"
 7 
 8 function start() {
 9         echo "Starting bundle zookeeper..."
10         $zkHome/bin/zkServer.sh start &
11         sleep 3
12         echo "Starting kafka server..."
13         $kafkaHome/bin/kafka-server-start.sh -daemon $kafkaHome/config/server.properties &
14         return $?
15 }
16 
17 function stop() {
18         echo "Stoping kafka server..."
19         $kafkaHome/bin/kafka-server-stop.sh -daemon $kafkaHome/config/server.properties &
20         sleep 3
21         echo "Stoping bundle zookeeper..."
22         $zkHome/bin/zkServer.sh stop &
23         return $?
24 }
25 case "$1" in
26     start)
27         start
28     ;;
29     stop)
30         stop
31     ;;
32     restart)
33         stop
34         sleep 1
35         start
36     ;;

 

作者:xupeng.zhang
来源链接:https://www.cnblogs.com/xupengzhang/p/7931746.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41716.html

标签: Kafka
分享给朋友:

“kafka安装” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka集群搭建

kafka集群搭建

本文将记录使用kafka镜像,分别在两种场景下搭建3节点集群:1.在一台机器上使用容器方式安装kafka集群;2.在三台机器上使用容器方式安装kafka集群。 此次使用的是wurstmeister的,下载量是比较大的。使用下面命令下载: docker pull wur...

kafka消息长度限制

更改为10M 客户端代码增加:max_request_size=10485760, 服务端配置:replica.fetch.max.bytes=10485760,message.max.bytes=10485760...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

在CentOS 7上安装Kafka

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、S...

Kafka 安装和简单使用

Kafka 安装和简单使用

文章目录 Kafka 安装和简单使用 kafka下载地址 windows 系统...

kafka的基本概念和工作流程分析

kafka的基本概念和工作流程分析

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

Linux下Kafka下载与安装教程

Linux下Kafka下载与安装教程

原文链接:http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

Kafka 快速入门(安装)

Kafka 快速入门(安装)

kafka学习目录:kafka目录 二、Kafka 快速入门 2.1、windows版安装 2.1.1、Quick Start 本次安装学习在Windows操作系统进行。(Linux版本的差别不大,运行脚本文件后缀从bat...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。