爬去大众点评

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2833 days ago, the information mentioned may be changed or developed.

使用 Scrapy 爬取大众点评商铺信息（例如 URL： http://www.dianping.com/shop/19484059 ），在 def parse(self, response):函数里 response 的状态为 200，而内容却为空 body={byte} b 这是为什么

7 replies • 2018-08-24 11:37:15 +08:00

f2f2f

Aug 23, 2018

触发他家的安全机制了，直接返回空页面

vansl

Aug 23, 2018 via iPhone

大众点评需要控制好频率

qybing

Aug 23, 2018

@f2f2f 触发安全机制，不是应该到重定向到验证码的网页吗

f2f2f

Aug 23, 2018

@qybing 他家的重定向发生在已经进入到点评网站后。返回空白页是你直接 URL 访问的情况下。单位里公网 IP 就一个，经常遇到。

qybing

Aug 23, 2018

@f2f2f 加上 IP 代理，是否可以规避这个返回为空的问题

ksharp8

Aug 23, 2018

应该做了反爬虫处理，可以用 wireshark 抓一下包分析分析

qybing

Aug 24, 2018

我加上 IP 代理，返回为空，如果不加代理频繁访问为空，不频繁正常，这是哪里出现了问题，大佬们