这是一个创建于 2661 天前的主题，其中的信息可能已经有所发展或是发生改变。
这是项目地址 https://github.com/shuizhengqi1/MaiMaiSpider/
目前想采集脉脉网上的用户信息，拿来做数据分析。通过对前端代码分析之后找到了请求的 api。 我的思路是以一个用户为入口，获取到对他有兴趣的人然后往下爬。 现在找到了两个 api，https://maimai.cn/contact/comment_list/（简称 clist ） 和 https://maimai.cn/contact/interest_contact/（简称 ilist ） clist 里面可以获取到用户的信息以及拿来构建 url 的 encode_mmid ilist 里面能获取到对用户感兴趣的人的 encode_mmid
现在我的做法是先开一个进程，不断请求 ilist 获取到 encode_mmid，然后存储到队列里，然后使用多线程去从队列里面取 encode_mmid 加工成 url，获取到相关的信息并存入到数据库中
现在遇到的问题是经常跑着跑着就停止了，而且由于圈子的问题，例如程序员的圈子里面对他有兴趣的基本都是程序员，感觉是一直在一个圈子里面重复的爬取。另外脉脉网队这个 api 还做了限制，连续访问多次的话就会回复报错信息，但我访问网页的话信息还是能正常显示的，不晓得该怎么解决。。。
求各位大神指点
 |
1
ys0290 2017-08-10 12:11:39 +08:00 via iPhone
脉脉是不是含情脉脉的意思？
|
 |
2
shuizhengqi OP @ys0290 一款职业社交软件
|
 |
4
lwwenlong 2017-08-10 13:31:32 +08:00
什么原因停止没有说啊，请求次数限制的话，可以使用代理。
|
|
5
shuizhengqi OP @lwwenlong 感觉是我的 cookie 被禁了，换了 ip 也是访问不了
|
 |
6
joyqi 2017-08-10 14:07:04 +08:00
入职脉脉，哈哈，开个玩笑，这是违法的
|
|
7
shuizhengqi OP @joyqi 爬虫哪个不违法。。。就是对脉脉这个社交圈子比较好奇
|
 |
8
regicide 2017-08-10 14:29:59 +08:00
将大量的手机号导入到测试机通讯录（用 qq 同步助手），用手机陌陌扫通讯录，然后用 web 抓。
|
|
9
shuizhengqi OP @regicide 是脉脉，不是陌陌。。。
|
|
10
shuizhengqi OP @regicide 而且脉脉上有二度人脉跟三度人脉之分的，三度人脉想看都看不到
|
|
11
regicide 2017-08-10 14:50:06 +08:00
@shuizhengqi 打错了。。。。 三度确实看不到 这个方法你前面量扑上去，后面人脉会多起来的
|
|
12
shuizhengqi OP 大神在哪。。。
|
 |
13
RiceChen 2018-03-09 17:06:06 +08:00
哥们，这个问题有下文了？
|
|
14
shuizhengqi OP  1
@RiceChen 我后来就没搞这个东西了，或许现在能够解决这个问题
|
|
15
RiceChen 2018-03-12 08:54:13 +08:00
@shuizhengqi 这个方向有很高价值，值得深究啊。
|
|
16
shuizhengqi OP @RiceChen 主要是当时天天看脉脉，感觉影响工作，然后就不看了。。
|
Select Language