当前位置:首页 > 服务端 > kafka 安装、配置、启动

kafka 安装、配置、启动

2022年09月16日 14:54:43服务端6

1.消息队列

相关概念:消息队列中间件是分布式系统中非常重要的中间件,主要解决 应用耦合异步消息流量削峰 等问题。实现 高性能高可用可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。

使用场景如:

  • 异步处理: 如用户注册后,发送注册邮件,再发送注册短信。
  • 应用解耦: 如用户下单后,订单系统需要通知库存系统。
  • 流量削峰:如秒杀活动,一般会因为流量过大,导致流量暴增。
  • 日志处理:解决大量日志传输问题,日志采集客户端,负责日志采集,写入消息队列。消息队列复制日志后续处理转发。
  • 消息通讯:

目前生产环境使用较多的消息队列有:activeMQ、rabbitMQ、zeroMQ、Kafka、metaMQ、rocketMQ等。

2.了解kafka

kafka是一种高吞吐量的分布式发布订阅消息系统,他可以处理消费者规模较大网站中所有动作流数据。官网地址:http://kafka.apache.org/http://kafka.apache.org/

优势:高吞吐量,非常普通的应将kafka也可以支持每秒数百万的消息。 支持通过kafka服务器和消费机集群来区分消息。支持hadoop并行数据加载。

关键概念:

  • broker: kafka集群中的一台或多台服务器统称broker。
  • Topic:  kafka处理的消息源(feeds of messages)的不同分类。
  • partition:Topic物理机上的分组,一个topic可分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。
  • replication-factor:用来设置topic的副本数每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败。
  • offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。
  • Message :消息,是通信的基本单位。每个producer可以向一个topic(主题)发布一些消息。
  • Producers:消息和数据的生产者,向kafka的一个topic发布消息的过程叫producers。
  • consumers:消息和数据消费者,订阅topic并处理其发布的消息的过程叫做consumers。

3.安装kafka

我们直接去官网下载,解压。

kafka 安装、配置、启动 _ JavaClub全栈架构师技术笔记

$ wget http://mirrors.shu.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
$ tar -zxvf kafka_2.11-2.0.0.tgz

4.配置启动

  a. 启动zookeeper  

#启动zookeeper 指定 zookeeper 配置文件
./bin/zookeeper-server-start.sh ./config/zookeeper.properties 

b. 启动kafka

#打开kafka配置文件,开启监听端口
$ vim server.properties

listeners=PLAINTEXT://localhost:9092

#启动kafka 服务
$ ./bin/kafka-server-start.sh ./config/server.properties

注意 kafka基于zookeeper,必须先启动zookeeper ,再启动kafka

c.启动消费者

$ ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test --from-beginning

d.启动生产者

$ ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

整体效果如下图,窗口上是我启动的消费窗口 ,窗口下是我启动的生产者窗口:

kafka 安装、配置、启动 _ JavaClub全栈架构师技术笔记

Kafka可视化Web界面管理工具CMAK:

作者:wangxiaoangg
来源链接:https://blog.csdn.net/qq_16399991/article/details/83062490

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41907.html

分享给朋友:

“kafka 安装、配置、启动” 的相关文章

windows安装kafka

windows安装kafka

一、下载kafka http://kafka.apache.org/downloads 选择二进制版本。 二、安装kafka 下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\w...

ubuntu安装kafka

我采用的是外部的zookeeper,而不是kafka自带的 如不知道安装zookeeper的参考:https://blog.csdn.net/weixin_36104843/article/details/80211404 1.下载 wget http...

kafka安装-windows环境

kafka安装-windows环境

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。   window环境下如何安装kafka呢?   下载地址: Zookeeper下载地址:   http://archive.a...

kafka安装使用

kafka安装使用

 先来说下kafka是个什么东西,它是一个消息中间件框架,只负责发布--订阅(帮忙存东西的)接着给大家看一张大致的kafka流程图         首先打个比方,kafka...

kafka安装步骤(版本2.12-2.5.0)

kafka安装步骤(版本2.12-2.5.0)

文章目录 1、kafka安装 1.1、 步骤 1.2、 脚本分发,启动 1、kafka安装 1.1、 步骤...

kafka安装配置实战 - 多个broker集群配置实战

kafka安装配置实战 - 多个broker集群配置实战

一、总体目标  版本: zookeeper3.4.14 二、安装kafka之前,首先安装zookeeper   2.1 zookeeper下载地址: (本次采用3.4.5,  cdh版本, 版本不同很容易出错...

kafka在windows下的安装与配置

kafka在windows下的安装与配置

kafka在windows下的安装与配置 1.配置JDK (1)配置环境变量 (2)打开Dos界面,检查 2.配置Zookeeper (1)下载稳定版。 下载地址:http://mirrors.hust.e...

kafka安装(二)

1、Create a topic localhost:bin jack$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topi...

kafka安装及常用命令总结

前提条件 zookeeper已经安装完毕,分别为hd1:2222,hd2:2222,hd3:2222,hd4:2222,hd5:2222 已经在官方网站下载好了二进制包,kafka_2.10-0.10.0.0.tgz 将二进制包放到所有要安装kafka的...

Kafka安装配置

Kafka运行依赖 Zookeeper,如未安装Zookeeper请参考(Zookeeper安装使用) Kafka版本问题(这又是一大坑) 如果你的Storm安装的是1.0.X系列或更低的版本,建议你安装0.8.X.X版本的Kafka。 如果你的S...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。