当前位置:首页 > 服务端 > kafka在linux下安装

kafka在linux下安装

2022年11月09日 21:09:09服务端7

简介

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

相关术语(参考百度百科)

Broker
  Kafka集群包含一个或多个服务器,这种服务器被称为broker
Topic
  每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
Partition
  Partition是物理上的概念,每个Topic包含一个或多个Partition
Producer
  负责发布消息到Kafka broker
Consumer
  消息消费者,向Kafka broker读取消息的客户端
Consumer Group
  每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

  

下载

http://kafka.apache.org/

https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

安装

说明:依赖zk,zk安装:https://www.cnblogs.com/uncleyong/p/10737119.html

解压

tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

创建存放数据的文件夹:mkdir data

修改配置文件:vim server.properties

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

kafka默认端口9092

 

查看zk的配置(另外,zookeeper安装,请参考:https://www.cnblogs.com/uncleyong/p/10737119.html

vim zoo.cfg,zk的端口是2180

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

kafka中对应修改为2180

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

 

启动服务

先启动zookeeper:./zkServer.sh start

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

再启动kafka:./kafka-server-start.sh ../config/server.properties &

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

jps -l

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

测试

创建Topic:./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

查看Topic列表:./kafka-topics.sh --list --zookeeper localhost:2180

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

查看分区

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

启动kafka的生产者,发送消息:全栈

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

启动kafka的消费者

消费者1

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

消费者2

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

生产者再次发送消息:test

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

消费者1取消息

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

消费者2取消息

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

消息存在分区里面了

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

 

创建主题报错

./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

kafka在linux下安装 _ JavaClub全栈架构师技术笔记

 

ERRO[1147] Cannot get current offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:298"
ERRO[1147] Cannot get oldest offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:310"

 

vim /etc/hosts
# 在文件末尾添加
 
192.168.117.180 qzcsbj

 

最新原文:https://www.cnblogs.com/uncleyong/p/13338077.html

 

作者:全栈测试笔记
来源链接:https://www.cnblogs.com/uncleyong/p/13338077.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/69177.html

标签: Kafka
分享给朋友:

“kafka在linux下安装” 的相关文章

centos8 kafka集群安装

##kafka运行涉及zookeeper,kafka和zookeeper都运行在jvm之上。 ###准备三台服务器,ip地址如下: 192.168.137.31 192.168.137.32 192.168.137.33 jdk安装 安...

kafka Java客户端之 consumer API 多线程消费消息

kafka Java客户端之 consumer API 多线程消费消息

kafka consumer 线程设计 Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计,即用户主线程和心跳线程。 用户主线程,指的是启动Consumer应用程序main方法的线程,心...

kafka在windows下的安装与配置

kafka在windows下的安装与配置

kafka在windows下的安装与配置 1.配置JDK (1)配置环境变量 (2)打开Dos界面,检查 2.配置Zookeeper (1)下载稳定版。 下载地址:http://mirrors.hust.e...

Centos7安装测试kafka(2.13)

之前看到有中文资料说kafka在2.8版本以后已经不需要依赖zookeeper。我自己做了测试,发现没有zookeeper是无法启动的。(20220214) Linux CentOS 7.4 环境下安装Kafka - 简书 参考资料如上 坑还是有的...

mac下的kafka安装步骤

mac下的kafka安装步骤

好久不用kafka了,自己复习一下kafka吧,把安装过程记录如下: 1、安装 brew install kafka 2、安装完成后进入 /usr/local/etc/kafka/ 下 3、启动zookeeper 我使用的命令是: zoo...

Kafka安装部署启动

Kafka安装部署启动 上传压缩包(压缩包自己去下载吧:http://kafka.apache.org/downloads) 解压安装包 tar -zxvf /opt/software/kafka_2.11-2.4.1.t...

Kafka安装与配置

1. 安装JDK 2. 安装Zookeeper Zookeeper是安装Kafka集群的必要组件,Kafka通过Zookeeper来实施对元数据信息的管理,包括集群、broker、主题、分区等内容。 Zookeeper是一个开源的分布式协调服务。三个角色:lea...

linux安装kafka(单节点启动)

linux安装kafka(单节点启动)

首先去官网上下载zookeeper和kafka(我这里下载的kafka3.0.0) 解压完毕后 我放在/opt/module目录下 复制zookeeper的conf目录下的zoo.example.cfg文件 cp zo...

ARM ubuntu18.04安装kafka

ARM ubuntu18.04安装kafka 1.jdk安装 ​ kafka消息队列依赖于jdk,ARM ubuntu18.04需要先安装jdk。本教程安装的是jdk1.8,jdk安装主要参考银河麒麟 安装 jdk_wqqqianqian的博...

Windows系统下安装运行Kafka

Windows系统下安装运行Kafka

一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:根据32/64位操作系统下载对...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。