有人用 Phantomjs casper 做爬虫吗？发现它太慢，如何提高性能？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3870 days ago, the information mentioned may be changed or developed.

phantomjs

casper

性能

提高

10 replies • 2015-09-27 16:40:00 +08:00

tabris17

Sep 27, 2015

换 C/C++的 Httplib

hobbyliu

Sep 27, 2015

@tabris17 我想要他的解析 js 供呢

WildCat

Sep 27, 2015

ajax api 不能直接爬么

hobbyliu

Sep 27, 2015

不是，我想要的东西，都是经过 js 各种规则解析出来的，没有所谓的 ajax api, 所有需要一个 webkit

xiaozi

Sep 27, 2015

设置不加载图片，这样可以节省时间

hobbyliu

Sep 27, 2015

@xiaozi 在哪设置？没找到相关设置呢？

pango

Sep 27, 2015

@hobbyliu
给你看一个 selenium 版本的
driver = webdriver.PhantomJS(executable_path='D:\phatom\phantomjs-1.9.0-windows\phantomjs.exe',desired_capabilities=dcap, service_args=['--load-images=no'])
其他版本应该差不多，就是传一个--load-images 参数

Imivan

Sep 27, 2015

王校长的头像。

FrankFang128

Sep 27, 2015 via Android

必然

dingyaguang117

Sep 27, 2015 via iPhone

不加载图片+1