现在已经有反爬措施了？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1889 天前的主题，其中的信息可能已经有所发展或是发生改变。

用的 puppeteer，帮人写个小工具(不收费)，在 window 下，正常，但是在 docker 中一些网站 goto 后秒崩，对一部分正常，一部分崩溃，哪怕只运行这一个也崩溃，曾经有人说没有爬不了的网站。。。但是这个网站也真是 nb。打开一瞬间就立马崩溃

9 条回复 • 2019-09-13 22:25:19 +08:00

D0n9

2019-09-13 21:32:51 +08:00

其实没有理解在问啥
如果是 100% 出问题的话，为什么不尝试在 win 下跑一下，然后用 docker 跑相同的站，先排除是不是自身环境有问题。

# 我也是闲的无聊，看到一篇无聊的帖子，无聊地回复一下

whasyt

2019-09-13 21:37:12 +08:00 via iPhone

还开始有广告了？？手机页面下面十个广告排成排，我一度以为我进错网站

shintendo

2019-09-13 21:44:00 +08:00

每个字都认识，就是不知道你在说什么

jinliming2

2019-09-13 21:51:28 +08:00 via iPhone

@whasyt 一直有广告啊……

xiri

2019-09-13 21:55:05 +08:00

@whasyt v 站一直都有广告啊

whasyt

2019-09-13 21:55:32 +08:00 via iPhone

@jinliming2 有十条这么多吗……之前 ios12 的 Safari 没啥广告

littlespider89

2019-09-13 22:01:56 +08:00

理论上应该是没有爬不了的网站，只是模拟人工访问的环境没做到一模一样，网站有些地方的检测没考虑到

windows 下也是 headless 模式吗？可以把网页放出来大家一起来试试

wszgrcy

2019-09-13 22:03:10 +08:00 via Android

@shintendo win 下能爬不崩溃，docker alpine 下崩溃(部分网站)

patx

2019-09-13 22:25:19 +08:00

不爬图片的话，禁止 pupeteer 加载图片试试？其实也可以弄个广告域名的黑名单，也屏蔽掉。