当前位置:首页 > 服务端 > kafka集群安装与配置

kafka集群安装与配置

2022年09月16日 20:36:23服务端4

1、下载kafka安装包kafka_2.11-0.11.0.2.tgz到集群的某台节点上(hadoop1)

curl -O https://archive.apache.org/dist/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

2、将安装包远程传输到节点hadoop2、hadoop3上

scp -r kafka_2.11-0.11.0.2.tgz root@hadoop2:`pwd`
scp -r kafka_2.11-0.11.0.2.tgz root@hadoop3:`pwd`

3、解压安装包

tar -zxvf kafka_2.11-0.11.0.2.tgz

4、修改“xxx安装目录/kafka_2.11-0.11.0.2/config/”目录下的server.properties文件

主要修改broker.id、log.dirs、zookeeper.connect 3项
broker.id:集群中broker节点编号,需有1台设置的值为0;
log.dirs:日志消息存储目录,3个节点设置的值相同
zookeeper.connect:zookeeper集群地址

kafka集群安装与配置 _ JavaClub全栈架构师技术笔记
kafka集群安装与配置 _ JavaClub全栈架构师技术笔记
kafka集群安装与配置 _ JavaClub全栈架构师技术笔记

5、启动kafka(需先启动zk集群)
(1)启动kafka

> /bin/kafka-server-start.sh /config/server.properties

(2)停止kafka

 > bin/kafka-server-stop.sh

(3)创建topic

>bin/kafka-topics.sh --create --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --replication-factor 1 --partitions 1 --topic test

kafka集群安装与配置 _ JavaClub全栈架构师技术笔记

更多操作,参考官方文档


附录
一、kafka开机自启动配置
1、cd /etc/init.d
2、vim kfk,编辑如下内容

#!/bin/bash
#chkconfig:2345 60 20
#description:kafka

export JAVA_HOME=/usr/java/jdk1.8.0_172
KAFKA_HOME=/usr/local/softwareinstall/kafka_2.11-0.11.0.2
case $1 in
        start) su root ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties;;
        stop) su root ${KAFKA_HOME}/bin/kafka-server-stop.sh;;
        *) echo "require start|stop" ;;
esac

注:

3、chmod +x kfk
给所有用户,赋予kfk文件的权限,便于系统启动时,具有权限执行kfk脚本

4、chkconfig --add kfk
添加kafka启动脚本kfk到开机自启动的脚本列表
chkconfig --list,可查看开机自启动脚本
kafka集群安装与配置 _ JavaClub全栈架构师技术笔记

5、启动/停止kafka
service kfk start 启动kafka
service kfk stop 停止kafka

作者:XSmileSmile
来源链接:https://www.cnblogs.com/hxuhongming/p/12818605.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42213.html

标签: Kafka
分享给朋友:

“kafka集群安装与配置” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka消息长度限制

更改为10M 客户端代码增加:max_request_size=10485760, 服务端配置:replica.fetch.max.bytes=10485760,message.max.bytes=10485760...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

在CentOS 7上安装Kafka

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、S...

Kafka 安装和简单使用

Kafka 安装和简单使用

文章目录 Kafka 安装和简单使用 kafka下载地址 windows 系统...

kafka的基本概念和工作流程分析

kafka的基本概念和工作流程分析

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

Linux下Kafka下载与安装教程

Linux下Kafka下载与安装教程

原文链接:http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

kafka集群原理介绍

kafka集群原理介绍 @(博客文章)[kafka|大数据] 目录 kafka集群原理介绍 (一)基础理论 二、配置文件 三、错误处理 本系统文章共三篇,分别为 1、ka...

Docker 安装 kafka

Docker 安装 kafka

简单安装为了集成 SpringBoot,真实使用,增加增加更多配置,比如将log映射出来 1.安装 zookeeper [root@centos-linux ~]# docker pull wurstmeister/zookeeper [root@centos-l...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。