queshengyao's recent timeline updates queshengyao's recent timeline updates |
queshengyaoV2EX member #250049, joined on 2017-08-21 22:52:23 +08:00Today's activity rank 2623 |
queshengyao's recent replies
3 days ago Replied to a topic by Bnonymous › 推广 › [Codex 中转站]不跑路的老王送福利了，新用户即送 10$ |
ID:688
Mar 16 Replied to a topic by YunFun › 推广 › [中转] Opus-4-6 thinking 上线，限时免费开蹬！回帖参与狂送 💰20 刀！ |
来自站点：bestaigate.top ，我的 id 是:8138
Jan 4, 2024 Replied to a topic by surbomfla › 投资 › 一百万如何进行简单的理财 |
这个位置拿出一部分定投一下创业板和沪深 300 ，风险不大了。
May 15, 2018 Replied to a topic by Hupuhr › 酷工作 › [上海] [虎扑体育] 寻找 PHP 开发工程师 |
我干我的羊！
May 14, 2018 Replied to a topic by c29551 › 分享发现 › 某乎的 robots 皮一下很开心？ |
@maemual 嗯这我知道，要封爬虫有很多方式，但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的，所以想知道是百度没遵守 robots 协议，然后淘宝另外用了手段封禁吗？
May 14, 2018 Replied to a topic by c29551 › 分享发现 › 某乎的 robots 皮一下很开心？ |
@maemual 我用 postman 试了一下，用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀
May 13, 2018 Replied to a topic by c29551 › 分享发现 › 某乎的 robots 皮一下很开心？ |
@maemual 请问一下淘宝是如何禁止百度爬虫的？我一直以为是百度遵守了 robots 协议
Select Language