1
golmic 2018-05-25 23:52:46 +08:00 via Android
需要自己写解析规则吗~
|
2
logOo 2018-05-25 23:54:37 +08:00 via Android
pxxhub
|
3
jisibencom 2018-05-26 07:45:07 +08:00 via Android
然后怎么按天保存呢?
|
4
widewing 2018-05-26 07:49:29 +08:00 via Android
能转成 rss 吗
|
5
Michelangelono 2018-05-26 10:04:24 +08:00
看不懂
|
6
timqian OP |
7
timqian OP @jisibencom 保存在 cloudfetch 的数据库中
|
9
LanAiFaZuo 2018-05-26 11:45:55 +08:00
有没有中文的用法介绍?英文逼格太高看不懂。
|
10
iConnect 2018-05-26 12:01:47 +08:00 via Android
不用分布式爬虫,抓多了,对方屏蔽了你的请求很快就费了阿
|
11
timqian OP @LanAiFaZuo 谢谢建议,尽快加上
|
12
qsnow6 2018-05-26 12:15:09 +08:00 via iPhone
烧录 rss 是个不错的需求
|
13
timqian OP @iConnect 目前支持的最高抓取周期是 1h,所以还好。如果这个站能做起来,确实是需要考虑这个问题,因为有可能很多用户都在抓同一个站。谢谢你的建议
|
14
iyangyuan 2018-05-26 16:05:06 +08:00 via iPhone
虽然抓取频率低,但是每次抓取都有大量请求,如果没有代理,很快就会被识别到
|
15
codelover2016 2018-05-26 16:29:06 +08:00
感觉没有八爪鱼腻害,还有神剑云....
|
16
timqian OP @codelover2016 谢谢,第一次听说这两个😂
|
18
Spoter 2018-05-28 09:30:31 +08:00
可以抓 Google Play 商店每日的截图吗
|