当前位置:首页 > 服务端 > Kafka kafka在windows下的安装与配置kafka

Kafka kafka在windows下的安装与配置kafka

2022年11月09日 17:01:11服务端12

Kafka kafka在windows下的安装与配置

kafkawindows下的安装与配置 

1.安装包

apache-zookeeper-3.7.0-bin.tar.gz

下载地址1:

http://zookeeper.apache.org/releases.html#download

https://www.apache.org/dyn/closer.cgi/zookeeper/

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

kafka_2.12-2.1.0.tgz

下载地址1:

http://kafka.apache.org/downloads.html

JDK 1.8.0_181

2安装JAVA JDK

省略。。。。 

3安装zookeeper 

1)解压下载的软件包apache-zookeeper-3.7.0-bin.tar.gz至目标目录(例中为:D:\kafka\zookeeper\apache-zookeeper-3.7.0-bin)

2)修改配置文件

进入conf目录(例中为:D:\kafka\zookeeper\apache-zookeeper-3.7.0-bin\conf), 复制“zoo_sample.cfg”为“zoo.cfg”文件,编辑zoo.cfg

查找并设置dataDir,设置数据存储目录,如下:

dataDir=D:\\kafka\\zookeeper\\apache-zookeeper-3.7.0-bin\\tmpzookeeper

查找并设置clientPort(有必要的话),设置客户端连接端口,默认端口2181,如下:

clientPort=2181

3)配置系统环境变量

添加系统环境变量:ZOOKEEPER_HOME,设置对应值(例中配置:ZOOKEEPER_HOME= D:\kafka\zookeeper\apache-zookeeper-3.7.0-bin

编辑path系统变量,添加路径:%ZOOKEEPER_HOME%\bin

4)验证

打开cmd控制台窗口,输入“zkServer“,运行Zookeeper

4安装KafKa

1) 解压kafka_2.12-2.1.0.tgz至目标目录(例中为:D:\kafka_2.12-2.1.0

2) 修改配置

进入到配置目录(例中为:D:\kafka_2.12-2.1.0\config),编辑server.properties文件,

查找并设置log.dirs,配置日志目录,例中配置如下:

log.dirs=D:\\kafka_2.12-2.1.0\\tmp\\kafka-logs

查找并设置zookeeper.connect,配置zookeeper连接字符串,格式:ip1:端口1,ip2:端口2,……,ipN:端口N,比如127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002,每对ip和端口分别代表一个zookeeper服务器,kafka会按这里的配置去连接zookeeper,例中配置如下:

zookeeper.connect=127.0.0.1:2181

查找并设置listener,配置监听端口,格式:listeners = listener_name://host_name:port,供kafka客户端连接用的ip和端口,例中配置如下:

listeners=PLAINTEXT://127.0.0.1:9092

3)启动kafka

进入到kafka解压目标目录(bin目录的父目录),执行 .\bin\windows\kafka-server-start.bat .\config\server.properties,启动kafka,如下:

实践过程中,执行命令后有遇到以下问题:

问题:

.\bin\windows\kafka-server-start.bat .\config\server.properties

此时不应有 \myeclipse\MyEclipse。

解决方法:

去掉我本机之前配置的一个环境变量(TESTNG_HOME=D:\Program Files (x86)\myeclipse\MyEclipse 10\dropins\org.testng.eclipse_6.8.6.20130607_0745\lib\testng.jar

)后搞定

问题:

.\bin\windows\kafka-server-start.bat ..\config\server.properties

命令语法不正确。

错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_121\lib\dt.jar;D:\Program

解决方法:

编辑D:\kafka_2.12-2.1.0\bin\windows\kafka-run-class.bat文件,

找到

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

替换这里的%CLASSPATH % 为 "%CLASSPATH %"

5.测试

1)创建主题

.\bin\windows\kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 4 --topic MY_TOPIC1

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.

Created topic "MY_TOPIC1".

.\bin\windows\kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 4 --topic MY_TOPIC2

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.

Created topic "MY_TOPIC2".

2查看创建的主题

.\bin\windows\kafka-topics.bat --zookeeper 127.0.0.1:2181 --list

MY_TOPIC1

MY_TOPIC2

2)生产消息

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic MY_TOPIC1

>Hello, 2019

>Hello,2020

>Hello,2021

3) 消费消息

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --from-beginning

Hello, 2019

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --group MY_GROUP1

Hello,2020

D:\kafka_2.12-2.1.0>.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic MY_TOPIC1 --group MY_GROUP2

Hello,2021

说明:

--bootstrap-server 指定需要连接的服务器

--group  指定消费者所属消费组

--topic  指定消费者要消费的主题

--from-beginning  从头开始接收数据,可以理解为offset为0

 

作者:Jenny_Lv
来源链接:https://blog.csdn.net/daringdart/article/details/121796451

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68873.html

分享给朋友:

“Kafka kafka在windows下的安装与配置kafka” 的相关文章

kafka安装步骤

kafka安装步骤

一、kafka介绍 1,kafka简单介绍 kafka是一款分布式、支持分区的、多副本,基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。 2,kafka使用场景 1,日志收集:可以用kafka收集各种服务的日志 ,...

centos8 kafka集群安装

##kafka运行涉及zookeeper,kafka和zookeeper都运行在jvm之上。 ###准备三台服务器,ip地址如下: 192.168.137.31 192.168.137.32 192.168.137.33 jdk安装 安...

windows安装kafka

windows安装kafka

一、下载kafka http://kafka.apache.org/downloads 选择二进制版本。 二、安装kafka 下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\w...

kafka集群安装

kafka集群安装 前提 一、安装包获取 二、安装kafka 三、Kafka命令行操作 本人是一名在校大三学生,所选专业大数据技术,为了毕业能有一份可观的工作, 目...

kafka安装配置实战 - 多个broker集群配置实战

kafka安装配置实战 - 多个broker集群配置实战

一、总体目标  版本: zookeeper3.4.14 二、安装kafka之前,首先安装zookeeper   2.1 zookeeper下载地址: (本次采用3.4.5,  cdh版本, 版本不同很容易出错...

Kafka 环境安装与使用

Kafka 环境安装与使用

Kafka 环境安装 1.上传及解压 tar zxvf /opt/software/kafka_2.11-0.11.0.2.gz -C /opt/install/ 2.创建软连接和环境变量[可选] cd /opt/install...

mac包安装kafka

安装 kafka (安装kafka前应在本地先安装java的jdk,因为zookeeper需要依赖java虚拟机) 下载地址:https://kafka.apache.org/down… wget http://mirrors.shuosc.org...

kafka也没那么难--kafka的安装与简单使用

kafka也没那么难--kafka的安装与简单使用

前言 前短时间在腾讯云上买了一个linux 服务器,决心把kafka这一模快的知识补充起来啦。所以就搞起来。 安装 安装算是比较简单的,可以直接用wget 下载,也可以将安装包下载下来,上传到服务器上,都是一样的。 kafka 安装包网...

centos7 linux安装kafka图文教程

centos7 linux安装kafka图文教程

1.安装环境 本文所安装的Kafka为2.50版本,Linux系统版本为CentOS 7.4,使用Zookeeper是Kafka自带的。Kafka是依赖Java环境运行,所以需要在Linux系统内安装Java环境。 kafka官网地址:http...

kafkaManager 安装

kafkaManager 安装

个人博客地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/11/kafkaManager安装/ Kafka Manager 安装 Kafka Manager是用于管理Apache Kafka的工...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。