推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3156 天前的主题，其中的信息可能已经有所发展或是发生改变。
思路是先获取每一页相册中的图片的 url,再分别请求这些 url,然后在得到的 html 中筛选原图的 url,保存到本地.(对应在豆瓣里的操作就是点击缩略图,查看大图),第一步的 url 是都得到了,在第二步时只有前 5 个能返回 200,后面的都被 403 了.设置的延时是 5 秒,想不通.
第 1 条附言 · 2016-04-02 16:50:16 +08:00
对了,是公开的相册.
第 2 条附言 · 2016-04-02 17:23:04 +08:00
有哪位大大知道豆瓣的反爬虫机制是怎样的吗?
 |
1
myleon 2016-04-02 16:41:58 +08:00  1
User Agent 设置了吗
|
 |
2
demomaster OP @myleon 设置了
|
 |
3
skydiver 2016-04-02 16:50:34 +08:00 via iPad 1
referer 设置了么
|
|
4
demomaster OP @skydiver referer 没有,刚查了下,这个是要设成从哪里跳来这的那条 url 吗?
|
|
5
demomaster OP 解决了,正则有问题(逃
|
Select Language