V2EX › kr380709959 的所有回复 › 第 4 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

2018-11-29 13:16:08 +08:00

@find456789 我用的是一个账号生成的 cookie，但是不知道网站是不是对 cookie 有限制的。你也可以生成十几个账号对应的 cookie 来爬，那样反爬就更难处理了

2018-11-22 16:07:42 +08:00

你这单 ip 单 cookie 想爬全站么？
我一个新手爬拉钩都用了十几个 cookie+代理隧道爬取，爬了 50 万+的数据，压根没毛病。
楼上有个哥们说得对，随机 cookie 列表+代理 ip+随机间隔请求时间，基本上对付中小网站没问题了，除非你想碰阿里这种怪物。

2018-11-22 15:56:52 +08:00

@no1xsyzy b 站以前有弹幕接口，后来被人玩坏了就关闭了。内部有，但是没开放。
另外，我之前也考虑过爬取 b 站直播的弹幕和人数，后来发现是通过 websocket 来通信的，这个就有点头疼了。建议用 charles 抓 websocket 接口试试看。

2018-11-07 13:07:37 +08:00

蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费

2018-08-31 11:07:48 +08:00

分母+1

1 2 3 4

❮

❯