有两个问题想问一下,第一:怎样识别被爬去网站的更新,有什么角度,维度来进行识别? 第二:如何启动定时爬虫?
1
b821025551b 2016-07-04 20:33:04 +08:00
1 :更新条目:第一次爬到的条目存下来,第二次爬到第一次的最后一条,判断是否最后一条的标志最好是 id ,如没有 id 则用名字,但要注意名字更新问题;
更新内容:相当于全部重新爬一遍了。 2 : crontab |
2
nightSlient OP @b821025551b 谢谢收到了启发,第一个问题,确实维度不好整。谢谢
|
3
jnduan 2016-07-05 11:18:45 +08:00
1.
更新条目:爬过的 url 你不存么?一段时期内爬过的就不用再爬了啊 更新内容,有 etag header 可以用 etag 判断,没有的话,通过你从网页抽取的 md5 一类的判断,或者页面关键页面元素内容判断 2. 这其实是抓取任务调度的问题。建议你做一个抓取队列,爬虫从队列取任务,爬完汇报。至于怎么维护队列(优先级、频率、周期)取决与你的需求 |
4
nightSlient OP 原来使用 APScheduler 也可以做定时任务,谢谢啊
|
5
nightSlient OP @jnduan 很瘦启发,非常感谢!
|