各位好，最近想采集一个网站，采用的是 urllib2 和 beautifulsoup 。然后发现这个网站挂了 Incapsula 这个 CDN ，和 Cloudflare 一样，访问主页 aaa.com 之后会在后面加入 aaa.com/?key302=80ebbaed9d&expire302=1465622987&keyjs=80ebbaed9d&expirejs=1465622987 这样的字符串。用 urllib.request 方法就会报 302 错误，请教这种情况下如何解决？ 十分感谢！
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3621 days ago, the information mentioned may be changed or developed.
9 replies • 2016-07-18 13:30:41 +08:00
 |
1
kenX Jun 11, 2016 via iPhone  1
PhantomJS
|
 |
2
ioven Jun 11, 2016 1
requests 允许跳转
|
 |
3
disonlee OP @ioven 是允许跳转，我不太清楚这个 cdn 后面加的字符串什么策略， headers 也都伪装了，还是提示 too many loops
|
 |
4
xiaozhizhu1997 Jun 11, 2016 via Android 1
@disonlee 加 key 是一种防御 L7(CC)攻击的方式。
|
 |
7
wujunze Jun 12, 2016
PhantomJS 这个是神器
|
 |
8
maxsec Jun 12, 2016
建议 livid 版规中禁止讨论爬虫抓取此类负能量的功能问题
|
Select Language