楼主用的是 python,自己写太蛋疼了,数据量太大了,还需要购置 IP 写代理池，穷学生没有资金。想问问有没有什么简约点的方法可以爬取或者有现成的数据。
看到了 https://github.com/Binaryify/NeteaseCloudMusicApi 这个项目，想使用这个大兄弟的接口，但是怕调用量太大了，被网易端掉，不想害人...
之前没有想过做这么大的爬虫，主要目的想做成数据库，让用户可以查询自己名字有没有被告白过~~可能很无聊~~
等实现了，想用这些做很酷的事情...
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3236 days ago, the information mentioned may be changed or developed.
 |
1
V2 对 markdown 的支持好迷啊...
|
 |
lhx2008Dec 29, 2017 via Android
2
没爬过，如果封 ip 的话，去买那种可以快速失效的 ip，大概一个 1 毛这样子，不过这个数据量太大了，就算开多进程 0.1s 一个一天也爬不了多少。
|
 |
yu099Dec 29, 2017 via Android
4
搜索引擎索引不到吗？得自己抓？
|
|
6
想到了一个方法
爬取数据，然后如果有包括人名的评论，就把这条评论的定位信息(歌曲，多少条)记录下来，数据应该会小几个几何倍 现在机器学习这么火热的情况下，不知道有没有大牛训练了识别人名的模型，集成好了库.. 爬虫我也想尝试一下写一个分布式爬虫出来，但就是怕封 IP... |
 |
haozibiDec 29, 2017 via Android
7
网易云都是段子，有什么好看的
|
 |
8
上次有个兄弟爬，收到过律师函哟
|
2 |
AlwaysBehaveDec 29, 2017
11
|
 |
tadtungDec 29, 2017 via Android
12
@Va1n3R 爬虫本身不违法，但是使用爬去的数据就有法律风险了。
当年大众点评赢过评论爬取官司，baidu 也告赢过 360。 目前来说网易云的评论，著作权和使用权属于网易，如果你爬去后用作商业，网易轻松告你的。 |
 |
uolcanoDec 29, 2017 via Android
14
@Va1n3R 前几天逛微博时看到个人名分词库。看看这条微博？ http://overseas.weico.cc/share/12850316.html
|
 |
YanSepDec 29, 2017 via Android
15
我尝试过，只是爬了很少很少的一部分，至于你说的 ip 我用的是免费的那种高匿 ip。
|
 |
MrXiongDec 29, 2017
17
我试过，爬了 1kw 左右，就爬不动了，ip 消耗太大，10 个线程爬的，慢点的话估计消耗慢些，但是很浪费时间
|
 |
shmonDec 29, 2017
18
我有，1.6 亿条，17.5G
|
|
shmonDec 29, 2017
19
看错了。。。是另一个平台的。。。。。忽略忽略
|
 |
20
|
 |
hluo7054Dec 29, 2017
21
爬过。不过那是两年前的了，也是直接访问 API，不用全部链接都爬。可以省很多事情，还有 ip 复用也很重要，当时还是慢慢爬的基本没事，所以不想花钱那找免费的代理然后慢点来，
|
 |
22
我只爬了曲库，歌手库以及热评（没有爬全部的，就是上面的热门评价，包括点赞数等），还没触发网易云的底线~~
https://github.com/Charley-Hsu/spider_music |
 |
F1024Dec 29, 2017
23
|
 |
PythoneerDev6Dec 29, 2017
24
给你个传送门 ：github.com/xiyouMc/ncmbot
|
 |
vtwoextbDec 29, 2017
26
更换 IP 策略
|
|
vtwoextbDec 29, 2017
27
用这个就行 github.com/hizdm/dynamic_ip 采用重启或重新拨号路由器就可以
|
Select Language