这个页面为什么抓取不到？

This topic created in 2248 days ago, the information mentioned may be changed or developed.

这个：
https://www.amd.com/en/products/graphics/radeon-rx-590
浏览器正常打开没问题。
但是，我用 wget, php 的 curl, nodejs 的 crawl 都获取不到数据，全都超时。这是咋回事？

5 replies • 2020-04-03 15:10:16 +08:00

b821025551b

Apr 3, 2020

curl 试了一下表示并没有问题。

cctv6

Apr 3, 2020 via iPhone

f12 -> Network -> 找到那个请求 -> copy -> Copy as cURL

stabc

Apr 3, 2020

@cdlnls 试过了，还是不行

263

Apr 3, 2020

curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' 'https://www.amd.com/en/products/graphics/radeon-rx-590'

stabc

Apr 3, 2020

@263 说了一下是『 access denied 』。我用我自己 copy 的 curl 的话，在 mac 的 terminal 下可以抓到，但是在 linux 下超时。在 php 和 js 代码里全超时。应该是他们做了防抓取，但是不知道是哪个地方不对……