V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  warcraft1236  ›  全部回复第 60 页 / 共 125 页
回复总数  2491
1 ... 56  57  58  59  60  61  62  63  64  65 ... 125  
2019-02-11 14:13:18 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@itering 哪个公司呀
@ly1574 哪个公司?
2019-02-11 10:34:29 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@bestrenxs 然而我是个测试.......
2019-02-10 22:29:02 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@formulahendry 感谢,可惜我在北京
2019-02-10 10:50:40 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@T0DD 查了一下好像是个外企,有 JD 什么的吗?可惜我现在不在杭州
2019-02-09 21:54:56 +08:00
回复了 wbchen 创建的主题 职场话题 二本毕业生找实习难吗?
想问问你们普通学校怎么找到的实习呀,我当时二本刚毕业的时候,找工作极其困难
我是个测试,有 JD 不?
测试感觉完蛋了
2019-02-09 21:46:46 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@joouis 我是测试,外企招的少
2019-02-08 21:20:45 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 怎么能主动关闭呢?
@XxxxD 简单说就是 我想在代码中的 if 条件真的时候,只执行 if 内的语句,剩下的这些都不执行,也就是说能不能有什么方法,让 if 里边的 yield scrapy.Request()这个都跑完然后关闭爬虫
2019-02-08 18:04:22 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 怎么能主动关闭呢?
求教求教
@warcraft1236 北京,打错了
可惜没有背景
2019-02-04 21:46:18 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我自己的是 200,但是感觉还是先走的系统的,重试了之后才走的我的,奇怪
2019-02-04 18:28:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我重新试了一下,我上边这段代码确实打印不出来 if retries <= retry_times: 判断里边的 log

重新看了一下,发现

```
INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'New91Crawler.middlewares.CustomerRetryMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']

```

我自定义的 retry 和 Scrapy 自带的 retry 都加载了,理论上不应该用我的覆盖系统的吗?
2019-02-04 09:45:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我发现,我爬取了一批视频,总是有几个下载报 403,然而我手动打开这个视频是正常的。 我有 headers 中 random UA 和 X-Forwarded-For,不知道是不是因为下载太多被封了
1 ... 56  57  58  59  60  61  62  63  64  65 ... 125  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4449 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 10:06 · PVG 18:06 · LAX 02:06 · JFK 05:06
Developed with CodeLauncher
♥ Do have faith in what you're doing.