V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xiyangyang
V2EX  ›  Python

如何自动找出被删除的网页或发帖

  •  
  •   xiyangyang · 2016-05-03 01:55:37 +08:00 · 3422 次点击
    这是一个创建于 3109 天前的主题,其中的信息可能已经有所发展或是发生改变。

    应用场景是这样:有一个爬虫系统,各种网站上爬了很多网页。但客户删除了一些网站上的帖子,现在需要重新爬一次,把客户删帖的帖子找出来。这种删帖的情况,好像没有标准。各个网站,论坛会提供各种的 404 方案,甚至是找人。请教各位大侠,有什么办法能怎么准确的找出删帖

    8 条回复    2016-05-09 10:41:34 +08:00
    binux
        1
    binux  
       2016-05-03 02:30:04 +08:00
    1. status code ,即使是找人,返回码一般也是 404 ,不然对 SEO 不利
    2. 比内容
    pimin
        2
    pimin  
       2016-05-03 03:17:59 +08:00 via Android
    按之前爬的网址重新去爬,只发送 HEAD 请求就可以了。
    ysdj
        3
    ysdj  
       2016-05-03 07:10:47 +08:00
    出现重复次数最多的网页为 404
    Cu635
        4
    Cu635  
       2016-05-03 10:16:13 +08:00
    我还以为你要找出被删除的帖子然后保留呢……
    badcode
        5
    badcode  
       2016-05-03 17:14:03 +08:00
    @pimin 然而像“我”的人会屏蔽发送 HEAD 请求,没有正常点的 UA 门都没
    pimin
        6
    pimin  
       2016-05-03 17:31:34 +08:00 via Android
    @badcode
    为什么要屏蔽 head , SEO 不做了?
    感觉属于讳疾忌医
    badcode
        7
    badcode  
       2016-05-03 17:41:26 +08:00 via iPhone
    @pimin 忘记说了,曾经搜索第一个就是它
    突然想通了
    就不要了
    Hxai11
        8
    Hxai11  
       2016-05-09 10:41:34 +08:00
    404
    headers
    content
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1283 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:29 · PVG 07:29 · LAX 15:29 · JFK 18:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.