当前位置:首页 > 服务端 > 高性能Kafka

高性能Kafka

2022年09月16日 16:35:11服务端4
一.概述

消息队列模式:

  • 点对点: 1:1。就是一个队列只能由一个消费者进行消费,这个消费者消费完毕就把消息进行删除,不会再给别的消费者。只能消费者消息。
  • 发布/订阅: 1:多
    • 消息队列主动推送消息。
      • 缺点:推送速率难以适应消费速率,不知道消费者的处理效率,造成浪费。
    • 消费方主动从消息队列拉取消息。
      • 缺点:消息延迟(比如每隔2秒进行拉取,就会造成2秒的延迟),每一个消费方都处于忙循环,一直检测有没有消息。(kafka)
        • kafka改进:使用长轮询:消费者去 Broker 拉消息,定义了一个超时时间,也就是说消费者去请求消息,如果有的话马上返回消息,如果没有的话消费者等着直到超时,然后再次发起拉消息请求。不会频繁的进行拉取。

什么是Kafka?

  • 是一个分布式的基于发布订阅模式消息队列,主要应用于大数据实时处理领域,天然分布式。
二.Kafka基础架构

高性能Kafka _ JavaClub全栈架构师技术笔记

  • Producer :消息生产者,就是向 kafka broker 发消息的客户端;
  • Consumer :消息消费者,向 kafka broker 取消息的客户端;  
    • Consumer Group (CG):消费者组,由多个 consumer 组成。一个消费者组消费一个topic,消费者组的每一个消费者消费一个或多个Partition。
  • Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。
  • Topic :可以理解为一个队列,生产者和消费者面向的都是一个 topic;
    • Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上, 一个 topic 可以分为多个 partition(每个partition分布在不同的Broker上),每个 partition 是一个有序的队列;
  • Replica:副本,为保证集群中的某个节点发生故障时,该节点上的 partition 数据不丢失,且 kafka 仍然能够继续工作,kafka 提供了副本机制,一个 topic 的每个分区都有若干个副本, 一个 leader 和若干个 follower。
    • leader:每个分区多个副本的,生产者发送数据的对象,以及消费者消费数据的对象都是 leader。(leader和follower都是Partition,放在不同的Broker中)
    • follower:每个分区多个副本中的,实时从 leader 中同步数据,保持和 leader 数据的同步。leader 发生故障时,某个 follower 会成为新的 follower。

总结:

   topic就相当于Rabbit MQ 的queue,现在把queue进行分区,分为多个Partition。并且一个节点只有一个主Partition。相当于可以把一个消息可以分在不同的机器上的不同主Partition上,最后交给一个消费者组。(也可以理解为把一个topic分为不同的主partition”纵向“放在不同的机器上)。一个topic对应一个消费组,一个消费组可以接受不同的topic。
三.如何保证消息的可靠性
要保证消息不丢失,需要三方面都进行保证:生产者(ISRack),消费者(offset),Kafka(持久化,集群(副本同步策略))
生产者:topic 的每个 partition 收到 producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ack,就会进行下一轮的发送,否则重新发送数据。
要想每一个partition发送ack,就需要每一个partition的follower进行同步才能发送ack
  • 副本数据同步策略
    • 半数以上完成同步,就发送 ack。
      • 优点:延迟低;缺点:选举新的 leader 时,容忍 n 台 节点的故障,需要 2n+1 个副本
    • 全部完成同步,才发送 ack。(kafka采用)
      • 优点:选举新的 leader 时,容忍 n 台 节点的故障,需要 n+1 个副本;缺点:延迟高。
  • AR,ISR,OSR:AR=ISR+OSR
    • ISR:In-Sync Replicas 副本同步队列,存放可以被同步的副本,有些follower同步时超过阈值都会被剔除出ISR(万一有的follower宕机了,不能一直等它吧),存入OSR(Outof-Sync Replicas)列表,新加入的follower也会先存放在OSR中。
    • AR:所有副本
  • ack应答机制:
    • 0:不需要等待ack返回,容易丢失数据。
    • 1:只要Leader收到数据,就进行ack。不需要等待follower都同步完成。当leader没有同步完数据前宕机,丢失数据
    • -1:等待所有的follower都同步完,再进行ack。会造成数据重复。这时候才认为一条数据被commit了(放心了)。

消费者:由于 consumer 在消费过程中可能会出现断电宕机等故障,consumer 恢复后,需要从故障前的位置的继续消费,所以 consumer 需要实时记录自己消费到了哪个 offset,以便故障恢复后继续消费。Kafka就是用 offset来表示消费者的消费进度到哪了, 每个消费者会都有自己的offset。说白了 offset就是表示消费者的 消费进度
  • 在以前版本的Kafka,这个offset是由Zookeeper来管理的,后来Kafka开发者认为Zookeeper不合适大量的删改操作,于是把offset在broker以内部topic(__consumer_offsets)的方式来保存起来。
  • 关闭自动提交位移,在消息被完整处理之后再手动提交位移。enable.auto.commit=false 
  • LEO:指的是每个副本最大的 offset;如下图,leader最大的LEO到19,其他的follower还没有同步完,leader挂了,有的follower只同步到12,有的同步到15,就会出现消费数据错乱,所以让消费者只能从HW的位置进行消费。这样保证消费数据不会出现错乱。
  • HW:指的是消费者能见到的最大的 offset,ISR 队列中最小的 LEO。

高性能Kafka _ JavaClub全栈架构师技术笔记

 


Kafka:Kafka是以 日志文件进行存储。
高性能Kafka _ JavaClub全栈架构师技术笔记
  • 采用分片机制索引机制
  • topic是逻辑上的概念,Partition是物理上的概念。每一个Partition又分为好几个Segment,每一个Segment存放2个文件。.log.index文件。
  • .index文件存储索引,log文件存储真正的消息,新的消息放在文件尾部。
  四.Kafka为什么那么快?
Kafka是以日志文件保存在磁盘上,但是效率还是很高,为什么呢?我们来分析它对于读写的优化。
  • 写数据:
    • 顺序写入:Kafka把数据一直追加到文件末端,省去了大量磁头寻址的时间。
    • Memory Mapped Files:mmf 直接利用操作系统的Page来实现文件到物理内存的映射,完成之后对物理内存的操作会直接同步到硬盘。

  • 读数据:
    • 零拷贝:操作系统的文章有讲。
    • 批量发送:Kafka允许进行批量发送消息,producter发送消息的时候,可以将消息缓存在本地,等到了固定条件发送到 Kafka 。
    • 数据压缩:可以通过GZIP或Snappy格式对消息集合进行压缩。压缩的好处就是减少传输的数据量,减轻对网络传输的压力
五.其他小问题

 生产者分区策略:

高性能Kafka _ JavaClub全栈架构师技术笔记

  •  指明Partition的情况下,直接存到指明的Partition值。
  • 没有指明Partition但是有key,将key的hash值与topic的partition数进行取余得到Partition值
  • 轮询:既没有Partition又没有key,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与topic可用的Partititon总数取余得到Partititon值。

消费者分区策略:

  • 分配策略触发条件:当消费者组中 消费者个数发生变化(新增消费者/某一个消费者宕机)的时候就会触发分配策略。
  • 轮询:

高性能Kafka _ JavaClub全栈架构师技术笔记

  •  Range(默认):按照消费者组进行划分,先算topic组/消费者的个数,按照上面消费数量大的原则进行分配。

高性能Kafka _ JavaClub全栈架构师技术笔记

 

 kafka中的 zookeeper 起到什么作用,可以不用zookeeper么?

  • 早期版本的kafka用zk做元数据信息存储,consumer的消费状态,group的管理以及 offset的值等。考虑到和zk打交道网络的问题,效率不高,就在新版本弱化了zk的依赖。
  • broker依然依赖于ZK,zookeeper 在kafka中还用来选举controller和检测broker是否存活等等。

 如果leader crash时,ISR为空怎么办?用如下参数进行调节

  • unclean.leader.election,这个参数有两个值:
    • true(默认):允许不同步副本成为leader,由于不同步副本的消息较为滞后,此时成为leader,可能会出现消息不一致的情况。
    • false:不允许不同步副本成为leader,此时如果发生ISR列表为空,会一直等待旧leader恢复,降低了可用性。

为什么Kafka不支持读写分离?

  • 在Kafka中,生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的,从 而实现的是一种主写主读的生产消费模型。
  • Kafka 并不支持主写从读,因为主写从读有 2 个很明显的缺点:

    1. 数据一致性问题。数据从主节点转到从节点必然会有一个延时的时间窗口,这个时间 窗口会导致主从节点之间的数据不一致。某一时刻,在主节点和从节点中 A 数据的值都为 X, 之后将主节点中 A 的值修改为 Y,那么在这个变更通知到从节点之前,应用读取从节点中的 A 数据的值并不为最新的 Y,由此便产生了数据不一致的问题。

    2. 延时问题。类似 Redis 这种组件,数据从写入主节点到同步至从节点中的过程需要经 历网络→主节点内存→网络→从节点内存这几个阶段,整个过程会耗费一定的时间。而在 Kafka 中,主从同步会比 Redis 更加耗时,它需要经历网络→主节点内存→主节点磁盘→网络→从节 点内存→从节点磁盘这几个阶段。对延时敏感的应用而言,主写从读的功能并不太适用。

Kafka中是怎么体现消息顺序性的?

  • kafka每个partition中的消息在写入时都是有序的,消费时,每个partition只能被每一个group中的一个消费者消费,保证了消费时也是有序的。
  • 整个topic不保证有序。如果为了保证topic整个有序,那么将partition调整为1.

 

 

寄语:要偷偷的努力,希望自己也能成为别人的梦想。

作者:小猴子_X
来源链接:https://www.cnblogs.com/monkey-xuan/p/15870875.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42026.html

标签: Kafka
分享给朋友:

“高性能Kafka” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka消息长度限制

更改为10M 客户端代码增加:max_request_size=10485760, 服务端配置:replica.fetch.max.bytes=10485760,message.max.bytes=10485760...

【kafka】安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 在config/server.properties中修改参数: [had...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

在CentOS 7上安装Kafka

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、S...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

Kafka如何保证消息不丢失不重复

首先需要思考下边几个问题: 消息丢失是什么造成的,从生产端和消费端两个角度来考虑 消息重复是什么造成的,从生产端和消费端两个角度来考虑 如何保证消息有序 如果保证消息不重不漏,损失的是什么 大概总结下 消费端重复消费:建立去重表 消费端丢失数据...

浅谈Kakfa【一】Kafka基本概述与Partition

浅谈Kakfa【一】Kafka基本概述与Partition

文章目录 一、前言 1.为什么引入MQ? 2.哪些场景需要MQ?...

Kafka源码分析及图解原理之Producer端

Kafka源码分析及图解原理之Producer端

一.前言   任何消息队列都是万变不离其宗都是3部分,消息生产者(Producer)、消息消费者(Consumer)和服务载体(在Kafka中用Broker指代)。那么本篇主要讲解Producer端,会有适当的图解帮助理解底层原理。   一.开发应用   首先介...

Kafka 之 async producer (2) kafka.producer.async.DefaultEventHandler

上次留下来的问题 如果消息是发给很多不同的topic的, async producer如何在按batch发送的同时区分topic的 它是如何用key来做partition的? 是如何实现对消息成批量的压缩的? async pro...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。