当前位置:首页 > 服务端 > Kafka集群部署

Kafka集群部署

2022年09月16日 14:38:14服务端4

一. 关于kafka

  Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。

  关于Kafka的更多介绍请参考:http://www.infoq.com/cn/articles/apache-kafka/

 

二.准备工作

  1. 配置各主机IP。将各主机IP配置为静态IP(保证各主机可以正常通信,为避免过多的网络传输,建议在同一网段)

  2. 修改机器主机名。Kafka集群中的所有主机都需要修改。

  3. 配置各主机映射。修改hosts文件,加入各主机IP和主机名的映射。

  4. 开放相应端口。后面文档中配置的端口都需要开放(或者关闭防火墙),root权限。

  5. 保证Zookeeper集群服务能够正常运行。其实只要Zookeeper集群部署成功,上面的准备工作基本都能做好了。关于Zookeeper的部署请参考:http://www.cnblogs.com/wxisme/p/5178211.html

 

三.安装Kafka

  1. 下载kafka安装包,访问Kafka官网下载对应版本即可。这里使用的版本为2.9.2-0.8.1.1。

    2.  使用下面的命令解压安装包

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

  3. 修改配置文件,简单配置只需要修改/config/server.properties文件即可。

vim config/server.properties

  需要修改的内容:

  broker.id(标示当前server在集群中的id,从0开始);port;host.name(当前的server host name);zookeeper.connect(连接的zookeeper集群);log.dirs(log的存储目录,需要提前创建)。

  示例:

Kafka集群部署 _ JavaClub全栈架构师技术笔记

Kafka集群部署 _ JavaClub全栈架构师技术笔记

Kafka集群部署 _ JavaClub全栈架构师技术笔记

Kafka集群部署 _ JavaClub全栈架构师技术笔记

  4. 把配置好的kafka上传到其他节点上

scp -r kafka node2:/usr/

  注意,上传之后不要忘了修改broker.id和host.nam等每个节点独有的配置。

四.启动并测试Kafka

  1.首先启动Zookeeper,之后使用一下命令启动Kafka,启动成功之后会有信息提示。

./bin/kafka-server-start.sh config/server.properties &

Kafka集群部署 _ JavaClub全栈架构师技术笔记

Kafka集群部署 _ JavaClub全栈架构师技术笔记

  2.对Kafka进行测试。分别创建topic,producer,consumer,最好是在不同的节点上创建。在producer的控制台上输入信息,观察consumer控制台是否能够接收到。

  创建topic:

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -topic test -replication-factor 2 -partitions 3 -create

  查看topic:

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -list

Kafka集群部署 _ JavaClub全栈架构师技术笔记

Kafka集群部署 _ JavaClub全栈架构师技术笔记

  创建producer:

./bin/kafka-console-producer.sh -broker-list node1:9092,node2:9092,node3:9092 -topic test

  创建consumer:

./bin/kafka-console-consumer.sh -zookeeper node1:2181,node2:2181,node3:2181 - from-begining -topic test

  测试:

  在producer的控制台输入信息,查看consumer的控制台能否接收到。

producer:

Kafka集群部署 _ JavaClub全栈架构师技术笔记

consumer

Kafka集群部署 _ JavaClub全栈架构师技术笔记

 

  经过以上的配置和测试,Kafka已经初步部署好了,接下来可以根据具体的需求配置和操作Kafka。关于Kafka的更多操作和更具体的使用方法请参考官网文档。https://cwiki.apache.org/confluence/display/KAFKA/Index

 

作者:Pickle
来源链接:https://www.cnblogs.com/wxisme/p/5196302.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41966.html

标签: Kafka
分享给朋友:

“Kafka集群部署” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka集群搭建

kafka集群搭建

本文将记录使用kafka镜像,分别在两种场景下搭建3节点集群:1.在一台机器上使用容器方式安装kafka集群;2.在三台机器上使用容器方式安装kafka集群。 此次使用的是wurstmeister的,下载量是比较大的。使用下面命令下载: docker pull wur...

kafka消息长度限制

更改为10M 客户端代码增加:max_request_size=10485760, 服务端配置:replica.fetch.max.bytes=10485760,message.max.bytes=10485760...

【kafka】安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 在config/server.properties中修改参数: [had...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

在CentOS 7上安装Kafka

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、S...

Kafka 安装和简单使用

Kafka 安装和简单使用

文章目录 Kafka 安装和简单使用 kafka下载地址 windows 系统...

kafka的基本概念和工作流程分析

kafka的基本概念和工作流程分析

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

Linux下Kafka下载与安装教程

Linux下Kafka下载与安装教程

原文链接:http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。