V2EX › luohaha 的所有回复 › 第 2 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

2016 年 2 月 20 日

回复了 MrBearin 创建的主题 › 职场话题 › 又一个关于工作和读研的选择

正在读研的表示，支持读研

2015 年 12 月 28 日

回复了 jerry017cn 创建的主题 › Linux › Cgroup - 从 CPU 资源隔离说起(一)

mark

2015 年 12 月 28 日

回复了 raysonx 创建的主题 › 宽带症候群 › 吐嘈完渣渣國際帶寬，我們來吐嘈一下 IPv6 的普及

@redsonic 确实如此！

2015 年 12 月 26 日

回复了 raysonx 创建的主题 › 宽带症候群 › 吐嘈完渣渣國際帶寬，我們來吐嘈一下 IPv6 的普及

我导师说，中国很难推的动 ipv6 ，不是技术问题，主要是由于中国奇葩的互联网结构导致的。。

2015 年 12 月 26 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@angryRabbit 我想象不出不写测试单元，如何开发稍大点的程序

2015 年 12 月 26 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@angryRabbit 写了，不过我习惯最后删掉。。

2015 年 12 月 26 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@njutree 的确，我后面才理解了。。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@decaywood Thanks!

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@decaywood 嗯嗯，会改进的，多谢啦

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@njutree 你在做后端的时候会这么过滤爬虫吗？能给推荐一下一些这方面的博客吗？

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@njutree 好吧确实没有遇见过这么判别爬虫的。。一般都是根据抓取间隔， ip 等。。不过我无聊的时候会在一个分类下，一页一页地翻找电影看，如果真是你说的这样，看来以前我都是被豆瓣当成爬虫了。。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@kelos 什么意思？就是正常的爬虫抓取啊。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@geekboy 是吗？之前还申请过 douban 的 apikey 来做过一个应用。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@Killian 我作为一个正常用户，用浏览器访问豆瓣电影，翻到 35 页之后没有电影了，这是翻页请求优化？连用户都不用正常使用的优化。。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@quietin 我在豆瓣选电影的页面，选科幻后，一直点击加载更多，最后也是只有这么多部～

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@quietin 我觉得就是只有这么多，至少从这个入口进去只有这么多～

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@quietin 大神求教，我在浏览器上也看不到啊！

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@quietin 我在浏览器上看的，到了 35 页豆瓣电影科幻分类就没有电影了，不知道是不是科幻电影就这么多？

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@pypy 我做了一个 c 语言的爬虫框架 cspider ，上面这个爬虫就是用 cspider （ https://github.com/luohaha/CSpider ）写的。做 cspider 的目的就是要让我们用 c 语言写爬虫时也能够像 python 一样方便和高效。当然，这个框架好比较早期，现阶段离目标还比较远，还需要不断地努力和完善。

2015 年 12 月 25 日

回复了 luohaha 创建的主题 › 程序员 › c 语言写的爬虫，抓取豆瓣上所有科幻电影

@pypy 说实话，在爬虫这种探索式的应用场景下， c 语言并不合适。

1 2 3 4

❮

❯