This topic created in 3792 days ago, the information mentioned may be changed or developed.
实验室有项目需要豆瓣电影的数据，所以写了一个爬虫爬了一下。
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
Supplement 1 · Dec 24, 2015
目前已经抓到 16w 条目，来源有两部分：
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
 |
1
Orzpls Dec 22, 2015 via Android
应该不止，如果豆瓣收录全了，每年全球电影有几千部吧。
|
 |
2
ieliwb Dec 22, 2015
估计要 x10 吧,哈哈
|
 |
3
undeflife Dec 22, 2015
你居然能爬豆瓣 12 万多条目？我浏览器开电影详情页开快了就让我输验证码了,死循环的输...
|
 |
5
trepwq Dec 22, 2015 via iPhone
不止吧，豆瓣有不少 imdb 没有的分级电影，还有些根据政策不与显示的
|
 |
6
qian19876025 Dec 22, 2015
这就不是盗版 ？
|
 |
7
ceoimon Dec 22, 2015
|
 |
8
wibile Dec 22, 2015
豆瓣有好多电影不显示了，不清楚为什么。能搜索到，点详情就提示不存在。我也爬过。。。
|
Select Language