当前位置:首页 > 服务端 > 使用python连接kafka

使用python连接kafka

2022年11月09日 10:44:57服务端6

首先安装kafka:

pip install kafka-python

github页面:https://github.com/dpkp/kafka-python

文档位置:https://kafka-python.readthedocs.io/en/master/

准备运行环境

首先需要启动zookeeper与kafka:

./bin/zookeeper-server-start.sh config/zookeeper.properties
./bin/kafka-server-start.sh config/server.properties

如果要后台运行zookeeper与kafka,可以使用:

nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties &
./bin/kafka-server-start.sh -daemon config/server.properties

示例代码

注意:要先运行消费者,再运行生产者;或者运行消费者的时候,启动生产者的程序

生产者代码:

from kafka import KafkaProducer
import datetime
import json

# 生产者
producer = KafkaProducer(bootstrap_servers='localhost:9092', api_version=(0, 10, 2))
my_topic = "python_test"

for i in range(5):
    data = {
     'num': i, 'data': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}
    producer.send(my_topic, json.dumps(data).encode('utf-8')).get(timeout=30)

消费者使用:

from kafka import KafkaConsumer

my_topic = "python_test"

consumer = KafkaConsumer(my_topic, bootstrap_servers='localhost:9092', auto_offset_reset='latest',
                         api_version=(0, 10, 2))

for msg in consumer: # 这里会监听,无限循环
    print(msg.value)

注意:

作者:呆萌的代Ma
来源链接:https://blog.csdn.net/weixin_35757704/article/details/123200323

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68789.html

标签: KafkaPython
分享给朋友:

“使用python连接kafka” 的相关文章

SpringBoot整合消息队列工具kafka

SpringBoot整合消息队列工具kafka

一、前言 之前整理了kafka在windows下的安装过程,也通过shell命令进行了消息产生者和消息消费者的创建及消息发送,所以想到把kafka与最流行的SpringBoot的框架进行整合,与项目结合,进行消息的发送。 二、整合开始 1.SpringBoot工程搭建,此处不多讲,可以...

Python  turtle  模块可以编写游戏,是真的吗?

Python turtle 模块可以编写游戏,是真的吗?

1. 前言 turtle (小海龟) 是 Python 内置的一个绘图模块,其实它不仅可以用来绘图,还可以制作简单的小游戏,甚至可以当成简易的 GUI 模块,编写简单的 GUI 程序。 本文使用 turtle 模块编写一个简单的小游戏,通过此程序的编写过程聊一聊对 turt...

Python执行.sh脚本cataline环境变量配置

Python执行.sh脚本cataline环境变量配置

注:参考文档:https://blog.csdn.net/weixin_38322156/article/details/72852607;https://blog.csdn.net/johnnysun2015/article/details/78414684 一:问题,最近在用...

python解释器安装教程以及环境变量的配置

python解释器安装教程以及环境变量的配置

一‘’Python是一门强大的语言,目前已支持所有主流操作系统,在Windows7,Windows10系统上需要安装一下: 打开官网 https://www.python.org/downloads/windows/ 下载中心 最上边是两个最新的版本,长期计划...

配置多个版本的python的系统环境变量

配置多个版本的python的系统环境变量

因为python3.x不向后兼容,所以假如你要运行其他版本的程序就不得不再装一个2.x的python,因此在配置系统的环境变量上可能会出现问题,所以这里我简单的说一下这个问题怎么解决。 解决方法:给你的python.exe改一个名字再建立环境变量,如我的两个本本的python目录...

2.安装Spark与Python练习

2.安装Spark与Python练习

一、安装Spark 检查基础环境hadoop,jdk   下载spark 解压,文件夹重命名、权限 配置文件                 ...

环境变量导致系统命令不能用

今天下午,为Linux服务器配置环境变量,结果玩大了。环境变量崩了。 各种命令都不能用了,直接cd 和export能用。结果从其他的机器上找了一个写好的环境变量。重新赋值结果ok。 辛亏不知glibc,要是这玩意,登陆都登陆不上。没救,只能重装系统。...

在Windows下配置python环境变量

在Windows下配置python环境变量

在cmd中,只能进入到安装的目录下才可以执行指令。如果想在全局任意位置,都可以执行指令,可以配置环境变量。我的电脑 - 右键进入属性 - 选择高级系统设置 - 选择环境变量 - 在系统变量中选择PATH,然后将python安装路径配置进去。  ...

windows 安装python环境

windows 安装python环境

1.下载python安装包 www.python.org/downloads 2.安装 3,配置环境变量,系统变量path 中加入python可执行文件的路径。 作者:Mr.peter 来源链接:https...

Django的下载和安装

Django的下载和安装

Django的下载和安装 1.官网链接  https://www.djangoproject.com/download/ 2.下载后,解压,将解压包放在Python的安装目录。(前提是安装了Python)   3.进入Django,执...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。