go+phantomjs 的爬虫下载渲染时间长怎么优化？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2692 days ago, the information mentioned may be changed or developed.

下载数度一百多 k，耗时二十几秒，渲染这个无法避免。有其他解决方案吗？ py 的会快么,不熟 py，有做过的么？。
之后还有一堆的关键词匹配。。。

渲染

phantomjs

下载

耗时

2 replies • 2018-12-19 09:28:08 +08:00

momo733

Dec 18, 2018 via iPhone

渲染无法避免？难道是页面上加载了 webgl 或者验证鼠标轨迹的 js ？

要想解决加载速度，最好的办法还是解析 js 直接发请求，降低 phantomjs 加载时间，感觉你这个网速还是提高一下吧，具体解决方案，我也想看看其他大佬有什么解决办法！

另外这种爬虫容易被识别，建议使用 go 的 Chromedp，利用 Chrome 调试协议驱动。

zarte

Dec 19, 2018

@momo733 因为页面不是特定的要渲染后通过 xpath 解析。Chromedp 这个我去看下。