又来个爬虫小偏方:修改 referer 绕开访问控制

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2709 days ago, the information mentioned may be changed or developed.

有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html

referer

蜘蛛

修改

爬虫

38 replies • 2018-12-21 23:34:08 +08:00

largecat

Dec 7, 2018 via Android

谢谢楼主无私分享

paradoxs

Dec 7, 2018

爬虫怎么入门呢。

InternetExplorer

Dec 7, 2018 via Android

这不是基本操作吗

yuanrenxue

Dec 7, 2018

@largecat 多谢

yuanrenxue

Dec 7, 2018

@paradoxs Python requests 库用起来就入门了

zhangzilong

Dec 7, 2018

厉害了，老哥。我爬虫被封禁了好几天，用这招解决了。

yuanrenxue

Dec 7, 2018

@zhangzilong 你不是我的托吧，老哥？

zhangzilong

Dec 7, 2018

真不是，老哥。正好看到了这篇文章，然后就试了下，完美解决。

kba977

Dec 7, 2018 via iPhone

这不是常规操作么，手动狗头

kosmosr

Dec 7, 2018

所以怎么修改 referer

ho121

Dec 7, 2018 via Android

修改 referer 确实是常规操作

Eirxxx69

Dec 7, 2018

需要用户权限的访问的网页也可以通过这个方法访问么

skylancer

Dec 7, 2018

老实说修改 referer 不是常识么...

TKKONE

PRO

Dec 7, 2018 via Android

上面说用这招解决了问题的，只能说连入门都还没有入门

rootx

Dec 7, 2018

知道了准备堵

agdhole

Dec 8, 2018 via Android

专门有 fake 库循环就完事了

yuanrenxue

Dec 8, 2018

@agdhole 那个不能生成 referer

yuanrenxue

Dec 8, 2018

@Eirxxx69 没法的

whatsmyip

Dec 8, 2018

感觉像是在逛博客评论区

楼主既然是来 v 站引流的，至少得放个摘要吧

Meli55a

Dec 8, 2018

很好

yuanrenxue

Dec 10, 2018

@Meli55a 古德

zhangzilong

Dec 10, 2018

@tumbzzc 看把你能的，我又不是做这个的。装什么 B 呢

TKKONE

PRO

Dec 10, 2018 via Android

@zhangzilong 我也不是，但是就是比你厉害，咋滴？看不惯就 block

raawaa

Dec 12, 2018

碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。

locoz

Dec 12, 2018

基本操作都能水一贴

zhangzilong

Dec 18, 2018

@tumbzzc 没地方找优越感了？

zhangzilong

Dec 18, 2018

@tumbzzc 什么玩意儿都有？

TKKONE

PRO

Dec 18, 2018 via Android

@zhangzilong 是的，就是找优越感，反正就是比你厉害，可以滚了

zhangzilong

Dec 19, 2018

@tumbzzc 狗玩意儿，你怎么不滚呢。爸爸开始和你说话了吗？你比比什么呢

zhangzilong

Dec 19, 2018

@tumbzzc 你从哪里感觉比我厉害，儿子？

zhangzilong

Dec 19, 2018

@tumbzzc 生活是不是不如意呢？会不会说话？

zhangzilong

Dec 19, 2018

@tumbzzc 你爸爸没有教过你与人为善？喷子，和你有什么关系呢。素质呢

zhangzilong

Dec 19, 2018

@tumbzzc 你赶紧有多远滚多远吧

TKKONE

PRO

Dec 19, 2018

@zhangzilong 真是疯狗

zhangzilong

Dec 19, 2018

@tumbzzc 你先告诉我，你爸爸有没有教你与人为善？

zhangzilong

Dec 19, 2018

@tumbzzc 我碰到人，我就是人。碰到狗就是狗。

TKKONE

PRO

Dec 21, 2018 via Android

@zhangzilong 啧啧，看看自己说过的话吧，疯狗，有脸说别人？

TKKONE

PRO

Dec 21, 2018 via Android

@zhangzilong 再见了，疯狗，也许你这辈子都不会知道自己多无知