This topic created in 3787 days ago, the information mentioned may be changed or developed.
RT
感觉速度太慢了。但是如果有些网站用静态爬虫的话好难分析。
感觉速度太慢了。但是如果有些网站用静态爬虫的话好难分析。
Supplement 1 · Dec 19, 2015
我又继续研究了下，我发现在用PhantomJS时候主要碰到下面几个问题
- 速度太慢
- 有些网页渲染有问题
- 解析不稳定。就是有的时候能正常解析，有的时候不可以
这是我使用PhantomJS的姿势不对，还是现在动态爬虫不够成熟。
 |
1
fractal314 Dec 19, 2015 via Android  1
这个适合小规模的抓取，太耗 cpu
|
 |
2
rootsir Dec 19, 2015
@fractal314 headless 哪种不占 CPU 呢
|
 |
3
yuan93 Dec 19, 2015
用 PhantomJS 做截图
|
|
4
fractal314 Dec 19, 2015
@rootsir 逗逼
|
|
5
rootsir Dec 19, 2015
@fractal314 擦 ，干嘛骂人呢
|
 |
6
ezreal Dec 19, 2015
有，我们的 SEO 系统就是用 PhantomJS 做的，所有商品详情页用 PhantomJS 爬下来存 mongoldb 中，爬虫过来直接喂静态的页面
|
 |
7
icedx Dec 19, 2015
我们的充值系统就是通过 PhantomJS 读取支付宝的
|
 |
8
flaman Dec 19, 2015
关键字 scrapy-splash
|
 |
9
kkx Dec 20, 2015 via iPhone
大家有碰到过 过一段时间爬取速度变慢的么 重起程序后又能恢复速度 感觉有内存泄漏问题
我用 phantomjs 和 selenium |
Select Language