我想抓点儿数据,地址是 https://www.uukanshu.com/b/151226/
然而浏览器和 postman
访问没问题,200
用 curl 就不行了,返回一个 302 跳转 404 的页面。
我特意查看了 postman
的 header
使用 curl
加上 postman
的 header
执行一下
curl -H "User-Agent:PostmanRuntime/7.28.2;Accept:*/*;Host:www.uukanshu.com;Accept-Encoding:gzip, deflate, br;Connection:keep-alive;Cookie:ASP.NET_SessionId=tbugww5w3cqigikqsg2ezvm5; fcip=111" https://www.uukanshu.com/b/151226/
得到如下的返回
<html><head><title>Object moved</title></head><body>
<h2>Object moved to <a href="/404.htm">here</a>.</h2>
</body></html>
想请教一下如何解决这个问题呢,目标网站没看懂是如何做的校验,谢谢
1
yalin 2021-07-15 11:33:56 +08:00
postman 可以自动生成 curl 命令吧
|
2
no1xsyzy 2021-07-15 11:34:46 +08:00
curl 语法不对,多个头不能用分号合并,得用多个 -H "..."
不过我这边用了你原文,甚至头都不用家,结果返回结果是 200 (虽然我不知道是否提供了你需要的信息)。 |
6
no1xsyzy 2021-07-15 11:41:21 +08:00
@likefly 你 curl 加上 -v 然后把输出贴到 paste.ubuntu.com 吧
|
7
likefly OP |
8
ddsfeng 2021-07-15 12:04:23 +08:00
一个走代理, 一个没走代理...
看你第一张图, 第二行 postman 上面显示 走 proxy 了.. |
9
guog 2021-07-15 12:32:20 +08:00 via Android
postman 和浏览器对于 302 都是自动跳转,可以设置为不跳转
|
10
no1xsyzy 2021-07-15 12:49:43 +08:00
|