当前位置:首页 > 服务端 > scrapy 如何链接有密码的redis scrapy-redis 设置redis 密码 scrapy-redis如何为redis配置密码

scrapy 如何链接有密码的redis scrapy-redis 设置redis 密码 scrapy-redis如何为redis配置密码

2022年09月16日 19:34:35服务端6
# 使用scrapy_redis的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 使用scrapy_redis的去重机制
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 在ITEM_PIPELINES中添加redis管道
# 'scrapy_redis.pipelines.RedisPipeline': 200
# 定义redis主机地址和端口号



REDIS_HOST = '176.140.7.197'
REDIS_PORT = 6379

# 设置密码
REDIS_PARAMS = {
'password': 'admin',
}



windows下scrapy-redis如何为redis配置密码
1. 环境
系统:win7
scrapy-redis
redis 3.0.5
python 3.6.1
2. 为redis-server配置密码并启动
redis在windows下的安装与配置,请参考这篇文章:http://blog.csdn.net/zwq912318834/article/details/78770209
2.1. 修改配置文件
找到文件redis.windows.conf,对其进行如下设置:

################################## SECURITY ###################################

# Require clients to issue AUTH <PASSWORD> before processing any other
# commands. This might be useful in environments in which you do not trust
# others with access to the host running redis-server.
#
# This should stay commented out for backward compatibility and because most
# people do not need auth (e.g. they run their own servers).
#
# Warning: since Redis is pretty fast an outside user can try up to
# 150k passwords per second against a good box. This means that you should
# use a very strong password otherwise it will be very easy to break.
#
# requirepass foobared
requirepass redisPasswordTest666666

一定要注意:requirepass redisPasswordTest666666 前面不能有任何空格和字符。
2.2. 启动redis服务
启动redis-server时,一定要加上 redis.windows.conf 这个参数,否则redis会使用默认的参数进行启动,这些配置信息都不会生效……
redis-server.exe redis.windows.conf
1


2.3. 使用Redis Desktop Manager进行验证
不使用密码,无法登录

 

使用密码,顺利登录

3. scrapy-redis分布式爬虫使用密码进行redis连接
关于原理解释,请参考文章:http://blog.csdn.net/zwq912318834/article/details/78904192
# 使用 redis 密码
class MySpider(RedisSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'xxxx'
redis_key = 'xxxx:start_urls'

# ……
custom_settings = {
'LOG_LEVEL': 'DEBUG',
'DOWNLOAD_DELAY': 0,

# 指定redis数据库的连接参数
'REDIS_HOST': '192.168.1.99',
'REDIS_PORT': 6379,

# 指定 redis链接密码,和使用哪一个数据库
'REDIS_PARAMS' : {
'password': 'redisPasswordTest666666',
},
}

  


4. 注意事项
在windows下,安装方式有两种:程序安装和压缩包解压。上面提到的方法是压缩包解压的方式。而安装版的Redis服务是自启动的,直接通过redis-server.exe启动,但是,启动时并没有加载Redis的配置文件redis.windows.conf,这样就导致 redis 中的密码设置不生效。

作者:0x9e5Y2J
来源链接:https://www.cnblogs.com/horysk/p/11116767.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42270.html

分享给朋友:

“scrapy 如何链接有密码的redis scrapy-redis 设置redis 密码 scrapy-redis如何为redis配置密码” 的相关文章

Docker的安装和Redis容器

Docker的安装和Redis容器 Docker安装,环境:虚拟机CentOS 8;阿里云镜像加速;Redis容器创建。 CentOS 8的安装就不在这里演示了 连接CENTOS 使虚拟机与物理机在同一网段...

Caused by: java.lang.IllegalStateException: RedisConnectionFactory is required

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'redisTemplate' defined in class path resource [com/zhan...

分布式|你有了解过redis过期策略么?

十二、redis的过期策略 定期删除 策略 每100ms随机抽查删除过期数据 缺点 可能残留大量没有抽查过的数据 惰性删除 策略 每次访问数据时,先判断是否过期...

springboot 排除redis的自动配置

因为要配置一个redis链接,所以将系统自带的配置排除,分别是 RedisAutoConfiguration.class 和 RedisRepositoriesAutoConfiguration.class 两个自动配置类 需要注意的是:RedisRep...

分布式|单线程的redis为何如此快?

分布式|单线程的redis为何如此快?

十一、单线程的redis为何如此快? 因为redis所有的数据都是存放到内存中,所有的运算都是内存级别的,所以是非常快的,但是因为redis是单线程的,所以要小心使用redis指令,对于那些复杂度特别高的指令谨慎使用,否则会导致redis...

java对redis的基本操作

java对redis的基本操作

一、server端安装   1、下载     https://github.com/MSOpenTech/redis     可看到当前可下载版本:redis2.6          下载windows平台文件:             ...

项目引入sleuth链路追踪,redis报错:Error creating bean with name 'enableRedisKeyspaceNotificationsInitializer' defined in class path resource

项目引入sleuth链路追踪,redis报错:Error creating bean with name 'enableRedisKeyspaceNotificationsInitializer' defined in class path resource

    springCloud项目中,引入sleuth之后,报:Error creating bean with name 'enableRedisKeyspaceNotificationsInitializer' defined in class path res...

docker安装及删除Redis

docker安装及删除Redis

redis的安装方式有很多,本文讲述的是在docker中如何安装redis及删除redis的容器和镜像。 通过docker安装redis前,首先要确保虚拟机或服务器上已经安装了docker。 1、执行以下指令确定系统上是否已经安装了docker,本机显示已安装:...

centos7 yum安装配置redis 并设置密码

centos7 yum安装配置redis 并设置密码

学习应该围绕着体系而进行,适当的学习底层,是为了建立体系的连结点,而不是为追底层而底层。 首页 联系 管理...

Hadoop安装redis教程

Hadoop安装redis教程

1.下载安装包,地址:http://www.redis.cn/ 上传到opt上 2.在当前文件夹下解压: tar -zxvf redis-5.0.5.tar.gz 3.依次执行命令: yum install gcc yum install...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。