当前位置:首页 > 服务端 > kafka的安装和基本使用

kafka的安装和基本使用

2022年09月16日 21:24:09服务端4

kafka概述

详见:http://kafka.apache.org/intro

Kafka架构:

producer:生产者,就是生产馒头(老妈)

cunsumer:消费者,吃馒头(你)

broker:篮子

topic:主题,给馒头带一个标签,topic a是给你吃的,topic b 是给你弟弟吃的

Kafka部署以及使用

本文主要讲Kafka单节点部署和使用

参考http://kafka.apache.org/quickstart

安装kafka之前要先安装zookeeper

安装过程:

1. 下载:

官网

这里

2. 解压:

tar -zvxf kafka_2.11-0.9.0.0.tgz  -C ~/app/

3. 配置环境变量:

export KAFKA_HOME=/home/hadoop/app/kafka_2.11-0.9.0.0
export PATH=$KAFKA_HOME/bin:$PATH

4. 刷新source ~/.bash_profile

5. 配置server.properties

cd /home/hadoop/app/kafka_2.11-0.9.0.0/config
vi server.properties

要修改的地方

#修改主机名
host.name=hadoop000
#修改kafka日志文件目录
log.dirs=/home/hadoop/app/tmp/kafka-logs
#修改zookeeper的连接信息
zookeeper.connect=hadoop000:2181

6. 启动:

zkServer.sh start        #先启动zookeeper:

#bin/kafka-server-start.sh  #尝试单独启动
#USAGE: bin/kafka-server-start.sh [-daemon] server.properties [--override property=value]*   #提示应该指定server.properties	
#启动kafka
kafka-server-start.sh $KAFKA_HOME/config/server.properties

查看进程
jps

[hadoop@hadoop000 ~]$ jps
8917 ZooKeeperMain
9158 Jps
9063 Kafka    #kafka进程
9004 QuorumPeerMain
8525 ZooKeeperMain
[hadoop@hadoop000 ~]$ 

jps -m

[hadoop@hadoop000 ~]$ jps -m
8917 ZooKeeperMain
9206 Jps -m
9063 Kafka /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties    #加载的配置
9004 QuorumPeerMain /home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/bin/../conf/zoo.cfg
8525 ZooKeeperMain

7. kafka单节点练习

7.1 创建topic(指定zookeeper)
 kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic topic_hello
7.2 查看所有topic
[hadoop@hadoop000 ~]$ kafka-topics.sh --list --zookeeper hadoop000:2181
hello_topic
kafka_streaming_topic
my-replicated-topic
streamingtopic
topic_hello
7.3 生产消息(和broker-list打交道:9092端口,详情可以看config/server.properties)
[hadoop@hadoop000 ~]$ kafka-console-producer.sh --broker-list hadoop000:9092 --topic topic_hello
hello hadoop
hello 
spark
7.4 消费消息:(zookeeper)
[hadoop@hadoop000 ~]$ kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic topic_hello  --from-beginning
hello hadoop
hello 
spark

--from-beginning代表从头开始消费

单节点操作的其他命令

kafka-topic.sh --describe --zookeeper hadoop000:2181   #查看主题信息
[hadoop@hadoop000 bin]$ kafka-topics.sh --describe --zookeeper hadoop000:2181
Topic:hello_topic	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: hello_topic	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
Topic:kafka_streaming_topic	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: kafka_streaming_topic	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: my-replicated-topic	Partition: 0	Leader: 1	Replicas: 3,1,2	Isr: 1
Topic:streamingtopic	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: streamingtopic	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
Topic:topic_hello	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: topic_hello	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

注:Partition: 0 代表分区从0开始

看单独的一个topic

[hadoop@hadoop000 bin]$ kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic
Topic:hello_topic	PartitionCount:1	ReplicationFactor:1	Configs:
	Topic: hello_topic	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

作者:sisi.li8
来源链接:https://blog.csdn.net/qq_35885488/article/details/103088327

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42111.html

标签: Kafka
分享给朋友:

“kafka的安装和基本使用” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

在CentOS 7上安装Kafka

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、S...

Kafka 安装和简单使用

Kafka 安装和简单使用

文章目录 Kafka 安装和简单使用 kafka下载地址 windows 系统...

kafka的基本概念和工作流程分析

kafka的基本概念和工作流程分析

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

kafka集群原理介绍

kafka集群原理介绍 @(博客文章)[kafka|大数据] 目录 kafka集群原理介绍 (一)基础理论 二、配置文件 三、错误处理 本系统文章共三篇,分别为 1、ka...

Kafka 快速入门(安装)

Kafka 快速入门(安装)

kafka学习目录:kafka目录 二、Kafka 快速入门 2.1、windows版安装 2.1.1、Quick Start 本次安装学习在Windows操作系统进行。(Linux版本的差别不大,运行脚本文件后缀从bat...

kafka查看topic列表和topic消息

kafka查看topic列表和topic消息

查询topic 列表信息 前提是需要进入到kafka的目录 Linux 目录 \kafka_2.12-2.8.0\bin\ sh kafka-topics.sh --list --zookeeper localhost:2181 windo...

kafka集群部署(最新版本kafka

kafka集群部署(最新版本kafka

集群环境: 节点名 ip地址 OS版本 部署服务 broker信息 kafka01 192.168.96.10...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。