redis 分布式爬虫你们有没有遇到跑了一段时间在 redis 库中出现指纹和请求都消失了的情况吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2502 days ago, the information mentioned may be changed or developed.

半夜跑一个爬虫,第二天起来发现已经关闭了,数据也没有抓很多,但是 redis 数据库中的指纹都没有了,不是不主动清楚不会给清掉的吗?

还有如果出现一些问题,比如 ip 池抽风了很久没有更新了,但是爬虫还在用这个, 出现一堆"远程主机无法连接"导致卡住,是不是程序会在一定时间(30 分钟)自动关闭啊?

更新一个问题分布式爬虫,但是 redis 数据库中只有 requests,没有指纹是咋回事?没有改源码

主文件修改 http://i1.fuimg.com/691087/2aae1d23cd8fe1ea.png

settings 文件修改 http://i1.fuimg.com/691087/3d03a6e6d2c679f2.png

Redis

爬虫

指纹

分布式

6 replies • 2021-01-04 10:29:33 +08:00

z1421012325

Jul 1, 2019

更新--->>>>貌似是 redis 库的问题爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..

ebingtel

Jul 2, 2019

@z1421012325 是 redis 数据“库”的问题，还是 redis 客户端“库”的问题？

z1421012325

Jul 2, 2019

@ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

更新一下,爬了五个小时之后再去看发现数据库中的指纹都没了..

yumenoks

Jul 12, 2019

只有我是用 aiohttp 撸简易的分布式爬虫吗?..

no13bus

Jan 4, 2021

@z1421012325 加个微信，聊聊这块？我的微信 no13bus

no13bus

Jan 4, 2021

@yumenoks 嘻嘻。能否加微信聊聊呢？我也正在写 python 相关的抓取逻辑

redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?

redis 分布式爬虫你们有没有遇到跑了一段时间在 redis 库中出现指纹和请求都消失了的情况吗?