当前位置:首页 > 服务端 > kubernetes(k8s) helm安装kafka、zookeeper

kubernetes(k8s) helm安装kafka、zookeeper

2022年09月17日 09:27:47服务端6

通过helm在k8s上部署kafka。zookeeper

  通过helm方法安装

  k8s上安装kafka,可以使用helm,将kafka作为一个应用安装。当然这首先要你的k8s支持使用helm安装。helm的介绍和参考见:https://yq.aliyun.com/articles/159601

  helm仓库地址https://github.com/helm/charts

    通过阿里仓库安装kafka

      helm repo add incubator https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/

  helm repo update

  helm search kafka

     kubernetes(k8s) helm安装kafka、zookeeper _ JavaClub全栈架构师技术笔记 

  hlem fetch incubator/kafka                    # 下载tgz文件

      tar zxf kafka-0.2.1.tgz && cd kafka

      把./charts/zookeeper/templates/statefulset.yaml中的zookeeper的镜像地址改为registry.cn-hangzhou.aliyuncs.com/appstore/k8szk:v2 

  将以下两个文件中的橘红色部分改为你的storageclass。 

  storageclass查询命令: kubectl get sc --all-namespaces   

  kubernetes(k8s) helm安装kafka、zookeeper _ JavaClub全栈架构师技术笔记

  helm install ./ -n kafka  --namespace  xxx   #安装 

  kubectl get pvc -n xxx #查看pvc状态

  kubernetes(k8s) helm安装kafka、zookeeper _ JavaClub全栈架构师技术笔记

 

  kubectl describe pvc  pvcname  -n xxx   #查看pvc详细信息排错使用  

  要想外网访问,修改服务的yaml文件,设置type为NodePort为30946

  还要在安全组中开放这个端口

  可以先在pod里面测试

  进入kafka的pod

  创建主题

  bin/kafka-topics.sh --create --zookeeper 10.233.61.237:2181 --replication-factor 1 --partitions 1 --topic device 这里面使用的是集群ip,容器间访问

  创建消费者

  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic device --from-beginning 

  创建生产者

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic device 使用本地ip bin/kafka-console-producer.sh --broker-list 10.233.9.150:9092 --topic device 使用集群id bin/kafka-console-producer.sh --broker-list 192.168.2.177:30946 --topic device 使用服务器内网ip和nodeport

  现在pod内部可以访问了,现在尝试在外部创建生产者。

  实验发现,在k8s上部署服务来访问k8s上的kafka,依然没有问题。

  下面我们尝试直接在本地pc访问服务器k8s中的kafka。

  在本地电脑上cd到kafka的目录

 cd /home/lp/soft/kafka_2.11-1.1.0
 bin/kafka-console-producer.sh --broker-list 192.168.2.177:30946 --topic device

   发现访问不了。

   进入pod 
     在pod重启kafka。

 bin/kafka-server-stop.sh    关闭

  进入pod,执行

 bin/zookeeper-shell.sh 10.233.61.237:2181 <<< "get /brokers/ids/0"    使用的是zookeeper的集群ip

作者:wanglf-cloud
来源链接:https://www.cnblogs.com/wanglfhh/p/10092025.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42518.html

标签: Kafka
分享给朋友:

“kubernetes(k8s) helm安装kafka、zookeeper” 的相关文章

kafka消息中间件-快速学习

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

kafka集群搭建

kafka集群搭建

本文将记录使用kafka镜像,分别在两种场景下搭建3节点集群:1.在一台机器上使用容器方式安装kafka集群;2.在三台机器上使用容器方式安装kafka集群。 此次使用的是wurstmeister的,下载量是比较大的。使用下面命令下载: docker pull wur...

【kafka】安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 在config/server.properties中修改参数: [had...

kafka-server-stop.sh关闭Kafka失败

Kafka brokers need to finish the shutdown process before the zookeepers do. So start the zookeepers, then the kafka brokers wil...

Kafka 安装和简单使用

Kafka 安装和简单使用

文章目录 Kafka 安装和简单使用 kafka下载地址 windows 系统...

kafka的基本概念和工作流程分析

kafka的基本概念和工作流程分析

为什么需要消息队列   周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…...

Linux下Kafka下载与安装教程

Linux下Kafka下载与安装教程

原文链接:http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的...

Linux安装新版Kafka3.0

Linux安装新版Kafka3.0

最近开始玩Kafka了,想着装一下新版本的玩玩,然后网上找Kafka3.0的安装教程,发现安装Kafka3.0的倒是有,但是zookeeper还是单独安装的,这就不满足我的需求了,我就是单纯的想玩玩Kafka,我还得再去另外安装zookeepe...

Docker 安装 kafka

Docker 安装 kafka

简单安装为了集成 SpringBoot,真实使用,增加增加更多配置,比如将log映射出来 1.安装 zookeeper [root@centos-linux ~]# docker pull wurstmeister/zookeeper [root@centos-l...

kafka查看topic列表和topic消息

kafka查看topic列表和topic消息

查询topic 列表信息 前提是需要进入到kafka的目录 Linux 目录 \kafka_2.12-2.8.0\bin\ sh kafka-topics.sh --list --zookeeper localhost:2181 windo...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。