如何抓取需要登录的整站点

This topic created in 3841 days ago, the information mentioned may be changed or developed.

网站建在 amazonaws 里
但是需要登录, 这种情况如何抓取整个站点?

6 replies • 2015-11-09 19:35:01 +08:00

zivfun

Nov 9, 2015

post 登录数据，有验证码肉身登录后提取 cookie

Nov 9, 2015

@zivfun 有详细点的说明吗 ..............

Nov 9, 2015

@ts 小白一个啊

bdbai

Nov 9, 2015 via iPhone

去读读 HTTP 。

Nov 9, 2015

@bdbai @zivfun

大神求解

bdbai

Nov 9, 2015 via iPhone

@ts （假设你有能力抓取整站）
一般的登录检查都是靠 Cookie ，因此你可以用浏览器登录并获得用于认证的 Cookie ，将它交给爬虫即可。