V2EX › x8 的所有回复 › 第 7 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7

❮

❯

2016 年 6 月 9 日

回复了 SaintSeiya 创建的主题 › 程序员 › 科班出身的程序员，水平到底如何？

基础决定你能在技术道路上走多远，程序员的工作不只是，也不止是写写应用逻辑。怀疑科班出身的人的水平，首先自己先去体会体会科班出身的人到底学了些什么。那些科班出身基础差的人只是少数，大部分人四年都不是白过的

2016 年 6 月 3 日

回复了 hellove1985 创建的主题 › Python › 如何实现一个高效率的爬虫？

个人建议，经验来源于刚做完的毕设：
先说结果， 18min 能爬 3w 页面。
我是用 Java 写的， Apache HTTPClient 包做访问，封装爬取任务，投递到线程安全队列，单开一个线程作为消费者，不断将任务投递到线程池， 500 并发(已经吃满带宽，平稳状态消耗 1G 内存)，外网 500KB/s ，爬取到的 URL 存储在内网某 Redis 里做去重，实际的页面存储根据你的需求来定，建议汇总到内网某一服务器，比较方便。

2016 年 5 月 27 日

回复了 JhOOOn 创建的主题 › Python › 如何跨域传递 cookie?

http://developer.51cto.com/art/201104/255729.htm

1 2 3 4 5 6 7

❮

❯