当前位置:首页 > 服务端 > windows 下 Kafka安装流程

windows 下 Kafka安装流程

2022年08月05日 22:49:45服务端4

Kafka安装流程

1.安装zookeeper

下载地址:https://zookeeper.apache.org/releases.html

    下载后,解压放在目录D:\bigdata(本文所用的目录)下,关于zookeeper以及kafka的目录,路径中最好不要出现空格,比如D:\Program Files,尽量别用,运行脚本时会有问题。

①进入zookeeper的相关设置所在的文件目录,例如:D:\bigdata\zookeeper-3.4.10\conf

②将"zoo_sample.cfg"重命名为"zoo.cfg"

③打开zoo.cfg(至于使用什么编辑器,根据自己喜好选即可),找到并编辑:

dataDir=/tmp/zookeeper  to  D:/bigdata/zookeeper-3.4.10/data或 D:\\bigdata\\zookeeper-3.4.10\\data(路径仅为示例,具体可根据需要配置)

这里注意,路径要么是"/"分割,要么是转义字符"\\",这样会生成正确的路径(层级,子目录)

④与配置jre类似,在系统环境变量中添加:

    a.系统变量中添加ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10

    b.编辑系统变量中的path变量,增加%ZOOKEEPER_HOME%\bin

⑤在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)

这是本文最终的zoo.cfg文件的内容:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

⑥打开cmd窗口,输入zkserver,运行Zookeeper,运行结果如下:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

恭喜,Zookeeper已经安装完成,已在2181端口运行。启动之后别关

2.安装kafka

下载地址:http://kafka.apache.org/downloads

    要下载Binary downloads这个类型,不要下载源文件,这种方便使用。下载后,解压放在D:\bigdata目录下。

①进入kafka配置文件所在目录,D:\bigdata\kafka_2.11-0.9.0.1\config

②编辑文件"server.properties",找到并编辑:

 log.dirs=/tmp/kafka-logs  to  log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\\bigdata\\kafka_2.11-0.9.0.1\\kafka-logs

同样注意:路径要么是"/"分割,要么是转义字符"\\",这样会生成正确的路径(层级,子目录)。错误路径情况可自行尝试,文件夹名为这种形式:bigdatakafka_2.11-0.9.0.1kafka-logs

③在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所连接的zookeeper所在的服务器IP以及端口,可根据需要更改。本文在同一台机器上使用,故不用修改。

④kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。

 

3. 运行kafka

提示:请确保启动kafka服务器前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。

①进入kafka安装目录D:\bigdata\kafka_2.11-0.9.0.1

②按下shift+鼠标右键,选择"在此处打开命令窗口",打开命令行。

③在命令行中输入:.\bin\windows\kafka-server-start.bat .\config\server.properties   回车。

④正确运行的情况为:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

到目前为止,zookeeper以及kafka都已正确运行。保持运行状态,不要关闭。

4.重要(操作日志的处理):

kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

在这里配置一下就可以了,找到config下的log4j.properties:

 

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

修改这里,还是在log4j.properties中:

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。

5 创建主题

①创建主题,命名为"test0811",replicationfactor=1(因为只有一个kafka服务器在运行)。可根据集群中kafka服务器个数来修改replicationfactor的数量,以便提高系统容错性等。

②在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目录下打开新的命令行

③输入命令:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic starTest

回车。 

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

6 创建生产者(producer)和消费者(consumer)

①在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目录下打开新的命令行。

②输入命令,启动producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic starTest

 

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

 

该窗口不要关闭。

③同样在该目录下打开新的命令行。

④输入命令,启动consumer:

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic starTest --from-beginning

 

 

windows 下 Kafka安装流程 _ JavaClub全栈架构师技术笔记

作者:leowang5566
来源链接:https://blog.csdn.net/rdhj5566/article/details/117285557

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/17928.html

分享给朋友:

“windows 下 Kafka安装流程” 的相关文章

kafka启动后没反应

kafka使用脚本启动后后台没有进程 然后删除data和log目录下的所有文件 开启kafka,成功解决 作者:nidiquge 来源链接:https://blog.csdn.net/nidiquge/article/detail...

Windows环境中Kafka的安装及使用

Windows环境中Kafka的安装及使用

Kafka安装及使用 1. 简介 2.环境搭建 2.1安装JDK(例如JDK1.8等) 2.2 安装Zookeeper 2.3 安装Kafka...

spring-kafka 实战

spring-kafka 实战

spring-kafka实战 1.       kafka介绍   1.1.       主要功能 根据官网的介绍,Apach...

CentOS7 安装kafka教程及启动

CentOS7 安装kafka教程及启动

介绍 Kafka是分布式发布-订阅消息系统,最初由LinkedIn公司开发,之后成为之后成为Apache基金会的一部分,由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 它与传统系统相比,有以下不同:...

Kafka安装之二 在CentOS 7上安装Kafka

Kafka安装之一  Zookeeper Kafka安装之二 在CentOS 7上安装Kafka 一、简介         Kafka是由Apache软件基金会开发的一个开...

centos8 kafka集群安装

##kafka运行涉及zookeeper,kafka和zookeeper都运行在jvm之上。 ###准备三台服务器,ip地址如下: 192.168.137.31 192.168.137.32 192.168.137.33 jdk安装 安...

windows安装kafka

windows安装kafka

一、下载kafka http://kafka.apache.org/downloads 选择二进制版本。 二、安装kafka 下载到本地后,将文件解压到本地磁盘下,该文件夹包括了所有相关的运行文件及配置文件,其子文件夹bin\w...

kafka安装部署(windows)

kafka安装部署(windows)

文章目录 前言 kafka安装部署(windows) 01 zookeeper中间件 安装部署 01::01 启动zook...

ubuntu安装kafka

我采用的是外部的zookeeper,而不是kafka自带的 如不知道安装zookeeper的参考:https://blog.csdn.net/weixin_36104843/article/details/80211404 1.下载 wget http...

大聪明教你学kafka | Windows10系统下kafka安装及使用

大聪明教你学kafka | Windows10系统下kafka安装及使用

前言 Apache Kafka 是一款开源的消息系统,在开发各类系统的时候,我们经常会选择使用Kafka来帮助我们削峰、做异步处理、解耦,那么正好借此机会跟大家说说kafka的安装部署、应用场景以及简单的使用。 kafka的安装部署 想...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。