当前位置:首页 > 服务端 > Kafka安装配置与部署

Kafka安装配置与部署

2022年09月16日 15:20:05服务端2

简介

Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统,由Scala和Java编写。官网地址:http://kafka.apache.org

一、基本概念

  1. Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker。
  2. opic:每条发布到Kafka集群的消息都有一个主题名称,这个主题名称就被称为Topic。
  3. Partition:Partition是物理上的概念,每个Topic包含一个或多个Partition。
  4. Producer:消息生产者,负责发布消息到Kafka broker。
  5. Consumer:消息消费者,向Kafka broker读取消息的客户端。
  6. Consumer Group:每个Consumer属于一个特定的Consumer Group,group name可单独设定,若不设定则属于默认的group。

二、环境配置

  • 操作系统:Cent OS 7
  • Kafka版本:kafka_2.12-2.8.0
  • Kafka下载地址:https://kafka.apache.org/downloads.html
  • Jdk版本:1.8
  • 备注:2.11-1.1.0版本才与JDK1.7兼容,否则更高版本需要JDK1.8

三、操作过程

运行Kafka需要使用Zookeeper,所以需要先启动Zookeeper,如果没有Zookeeper,可以使用Kafka自带打包和配置好的Zookeeper(PS:在Kafka包里)。

  • 解压:tar zxvf kafka_2.12-2.8.0.tgz
  • 进入Kafka安装目录:cd kafka_2.12-2.8.0
  • 启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties
  • 配置Kafka属性: config文件夹下面的server.properties
	broker.id=0   //唯一标识
	listeners=PLAINTEXT://:9092  指定服务的端口	
	advertised.listeners=PLAINTEXT://你的IP:9092  如果要提供外网访问 必须配置此项
	log.dirs=/tmp/kafka-logs-0  //日志目录
  • 启动Kafka:bin/kafka-server-start.sh config/server.properties &
  • 检查服务:netstat -tunlp|egrep “(2181|9092)”

作者:凤梨苏小姐
来源链接:https://blog.csdn.net/qq_41299347/article/details/123481798

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41886.html

分享给朋友:

“Kafka安装配置与部署” 的相关文章

kafka安装步骤

kafka安装步骤

一、kafka介绍 1,kafka简单介绍 kafka是一款分布式、支持分区的、多副本,基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。 2,kafka使用场景 1,日志收集:可以用kafka收集各种服务的日志 ,...

CentOS7 安装kafka教程及启动

CentOS7 安装kafka教程及启动

介绍 Kafka是分布式发布-订阅消息系统,最初由LinkedIn公司开发,之后成为之后成为Apache基金会的一部分,由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 它与传统系统相比,有以下不同:...

Kafka安装之二 在CentOS 7上安装Kafka

Kafka安装之一  Zookeeper Kafka安装之二 在CentOS 7上安装Kafka 一、简介         Kafka是由Apache软件基金会开发的一个开...

windows安装kafka

windows安装kafka

一、下载kafka http://kafka.apache.org/downloads 选择二进制版本。 二、安装kafka 下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\w...

CentOs7 安装 Kafka 或 Docker 安装 Kafka

CentOs7 安装 Kafka 或 Docker 安装 Kafka

Kafka CentOs7 安装 安装zookeeper 安装 Kafka Docker 安装 安装zookeepe...

kafka 安装 测试 could not be established. Broker may not be available

liulux服务器,安装启动kafka服务 kafka_2.12-2.2.0.tgz 解压安装包,修改config目录中zookeeper.properties和server.properties配置文件,一般只需要修改日志和数据保存的路径,端口使用默认...

kafka安装使用

kafka安装使用

 先来说下kafka是个什么东西,它是一个消息中间件框架,只负责发布--订阅(帮忙存东西的)接着给大家看一张大致的kafka流程图         首先打个比方,kafka...

kafka安装步骤(版本2.12-2.5.0)

kafka安装步骤(版本2.12-2.5.0)

文章目录 1、kafka安装 1.1、 步骤 1.2、 脚本分发,启动 1、kafka安装 1.1、 步骤...

kafka集群安装

kafka集群安装 前提 一、安装包获取 二、安装kafka 三、Kafka命令行操作 本人是一名在校大三学生,所选专业大数据技术,为了毕业能有一份可观的工作, 目...

mac/linux 下kafka安装

Kafka安装和配置,依赖zookeeper  安装和启动zookeeper (1)下载 http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。