爬虫更新策略的思考

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3589 days ago, the information mentioned may be changed or developed.

是这样的，我写了一个爬虫抓取信息存到数据库中，但是这个数据是动态变化的，我需要 24 小时监视。如果发现数据变了，就把这新数据替换掉旧数据。

现在我的代码就只是实现爬取数据并存入到数据库中。

我的更新数据思路就是一直爬，然后把爬到的要插入到数据库的数据（一行）跟数据库目前的某行比较，如果不同，就把旧行删掉，插入新行。


# 思路大概表示
newData = getDataFromWeb()
oldData = getDataFromDB()
if md5(newData) != md5(oldData):
	replaceDataInDB(oldData, newData);

难道我要 copy 一份代码再在里面加入更新策略的代码吗？ 95%代码量相同，感觉不符合程序员的价值观啊？

各位的爬虫更新策略是怎么样的呢？

爬虫

olddata

newdata

数据库

8 replies • 2016-08-01 22:50:19 +08:00

NullMan

Jul 31, 2016

今天天气真不错呀!

oclock

Jul 31, 2016

我没有看懂哪里存在楼主所说的“ copy 一份代码，有 95%的代码相同”
既然是反复爬取，就计划一个 daily cron job ：爬取、与数据库对比、 upsert ，一份代码就足够了

fusae

Jul 31, 2016

@oclock 那一开始是没有数据库的，第一次是先把数据存到数据库里，都没有比对。

oclock

Jul 31, 2016

@fusae 所以我说 upsert

fusae

Jul 31, 2016

@oclock thanks, 我再研究一下

herozzm

Aug 1, 2016 via Android

最近一次存内存，爬到的数据和先和内存比对，在和数据库比对，可以减少数据库压力

superalsrk

Aug 1, 2016

做索引。。然后 replace into?

wuhang89

Aug 1, 2016

做个索引啊，两边 hash 比较一下，不一样就认为是更新呗。