爬虫更新策略的思考

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3029 天前的主题，其中的信息可能已经有所发展或是发生改变。

是这样的，我写了一个爬虫抓取信息存到数据库中，但是这个数据是动态变化的，我需要 24 小时监视。如果发现数据变了，就把这新数据替换掉旧数据。

现在我的代码就只是实现爬取数据并存入到数据库中。

我的更新数据思路就是一直爬，然后把爬到的要插入到数据库的数据（一行）跟数据库目前的某行比较，如果不同，就把旧行删掉，插入新行。


# 思路大概表示
newData = getDataFromWeb()
oldData = getDataFromDB()
if md5(newData) != md5(oldData):
	replaceDataInDB(oldData, newData);

难道我要 copy 一份代码再在里面加入更新策略的代码吗？ 95%代码量相同，感觉不符合程序员的价值观啊？

各位的爬虫更新策略是怎么样的呢？

爬虫

olddata

newdata

数据库

8 条回复 • 2016-08-01 22:50:19 +08:00

NullMan

2016-07-31 15:37:29 +08:00

今天天气真不错呀!

oclock

2016-07-31 16:10:23 +08:00

我没有看懂哪里存在楼主所说的“ copy 一份代码，有 95%的代码相同”
既然是反复爬取，就计划一个 daily cron job ：爬取、与数据库对比、 upsert ，一份代码就足够了

fusae

2016-07-31 16:12:47 +08:00

@oclock 那一开始是没有数据库的，第一次是先把数据存到数据库里，都没有比对。

oclock

2016-07-31 16:13:25 +08:00

@fusae 所以我说 upsert

fusae

2016-07-31 16:19:35 +08:00

@oclock thanks, 我再研究一下

herozzm

2016-08-01 01:07:19 +08:00 via Android

最近一次存内存，爬到的数据和先和内存比对，在和数据库比对，可以减少数据库压力

superalsrk

2016-08-01 10:34:16 +08:00

做索引。。然后 replace into?

wuhang89

2016-08-01 22:50:19 +08:00

做个索引啊，两边 hash 比较一下，不一样就认为是更新呗。