V2EX › binux 的所有回复 › 第 281 页 / 共 338 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 277 278 279 280 281 282 283 284 285 286 ... 338

❮

❯

2013-12-30 11:24:31 +08:00

回复了 geew 创建的主题 › 问与答 › 这个测试让我有点摸不透了啊, 谁能解释下呢?

+直接被优化掉了

2013-12-30 11:18:21 +08:00

回复了 314x 创建的主题 › 问与答 › 谁能用一句话说说用python编程做网站的本质是什么？

做网站

2013-12-29 20:03:07 +08:00

回复了 GTim 创建的主题 › 服务器 › 像阿里，百度，腾讯，服务器硬件配置一般是怎样的？4核+4G内存？

至少乘4

2013-12-29 16:57:31 +08:00

回复了 captain234 创建的主题 › 求职 › 我叫你一声你敢答应吗？

说真的，一个会八皇后，百万数据会怎么处理，会算法的，会排列组合，比一个会PHP的有价值多了。特别是校招

2013-12-28 14:29:21 +08:00

回复了 pc10201 创建的主题 › Python › 多线程下的print换行问题

用logging

2013-12-27 22:59:44 +08:00

回复了 fdsfsdfsdf3334 创建的主题 › 问与答 › 我买了个1W+的超级本，第一次使用触控板，你有什么技巧告诉我吗？

小红点秒杀任何触摸板，不服来辩！

2013-12-27 12:50:20 +08:00

回复了 kstsca 创建的主题 › 信息安全 › 迅雷安全中心是否太过于牛叉，竟然可以用旧密码更改密码。。。。

人工申诉baidu也是，让你输密码，旁边还专门提示，记不清也没关系，客服会根据是否相似判断

2013-12-26 21:45:11 +08:00

回复了 pc10201 创建的主题 › Python › yinyuetai.com音悦台 80万数据采集

book.douban.com豆瓣读书 600+万数据采集

1. id不是连续的，而且id不一定是数的，不过可以根据跳转后的域名是不是book判断
http://book.douban.com/subject/25785270/

2. 如何更全地获取全量数据
由于douban是没有穷举接口的，要获取所有的书很不方便，于是有
方案一：follow tag列表，但是会经常遇到重复的书，follow的量都快赶上书的量了
方案二：isbn穷举，从dangdang、amazon、京东商品列表是可以遍历的，通过获取他们的图书信息，获得isbn库，通过 https://api.douban.com/v2/book/isbn/ 接口获得书的地址

3. 豆瓣有防采集机制，大约每秒1个以上就会被封，早期导致我们的一个IP被封了一年
解决方案：抓取公开的代理列表，通过代理抓取，多重试

2013-12-24 23:28:05 +08:00

回复了 xiaop 创建的主题 › 站长 › Sogou的蜘蛛怎么这么疯狂？堪比DDoS了

又到年底覆盖率评估的时候了

2013-12-24 18:35:38 +08:00

回复了 arbipher 创建的主题 › 分享发现 › [不黑]一些缩写的读法

重要的不是读得对不对，而是读错的时候能让别人跟着读错

2013-12-23 23:16:44 +08:00

回复了 zzNucker 创建的主题 › 程序员 › 360真是毫无底线啊，为了抢入口连越狱这块都伸手了。

@likuku 可以是的

2013-12-23 21:31:45 +08:00

回复了 zzNucker 创建的主题 › 程序员 › 360真是毫无底线啊，为了抢入口连越狱这块都伸手了。

@likuku windows/linux/osx都可以简单地root，本身原装系统严密的安全壁垒/沙盒，就被打破了吗？