foresightyj 最近的时间轴更新
foresightyj

foresightyj

V2EX 第 66117 号会员,加入于 2014-06-25 12:13:08 +08:00
foresightyj 最近回复了
2015-10-16 11:42:42 +08:00
回复了 briefcopy 创建的主题 编程 开发网络爬虫应该怎样选择爬虫框架?
写得不错。是原创?

我最了解的是 scrapy ,但是在 windows 下面使用遇到了不少坑(主要是改成使用 FIFODiskQueue 之后,也就是使用持久化的 BFS 而非默认的内存 DFS )。前几天学习了一下 nutch ,只是试了一下命令行,还没有深入到二次开发。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2944 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 13:34 · PVG 21:34 · LAX 05:34 · JFK 08:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.