• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hustlzp
V2EX  ›  程序员

爬了下稀土的老页面,分享下数据

  •  1
     
  •   hustlzp · Mar 17, 2016 · 5313 views
  •   You need to sign in to view this topic
    This topic created in 3814 days ago, the information mentioned may be changed or developed.

    最初稀土是做互联网人才发现的,现在好像转型到技术社区、线下活动了。以前的老页面也没办法直接从 官网 访问。不过还是可以通过 URL 访问到。不知道哪天会下架,但感觉数据还是蛮有用的,所以爬下来了。

    格式如下,举个产品大神的例子,稀土页面是 https://xitu.io/702

    {
        "xId": 702,
        "name": "纯银",
        "avatar": "https://xitu.io/avatars/cicada.weibo.jpg", 
        "desc": "", 
    
        "stackOverflowLink": 0, 
        "stackOverflowFollowers": 0, 
        "githubLink": 0, 
        "githubFollowers": 0, 
        "zhihuLink": "http://www.zhihu.com/people/cicada", 
        "zhihuFollowers": 6800, 
        "weiboLink": "http://www.weibo.com/cicada", 
        "weiboFollowers": 45700, 
        "twitterLink": "", 
        "twitterFollowers": 0, 
        "dribbbleLink": "", 
        "dribbblerFollowers": 0, 
        "behanceLink": "", 
        "behanceFollowers": 0, 
    
        "recommended": true, 
        "recommenderName": "阿混", 
        "recommenderXId": 415, 
        "inviteComment": "蝉游记创始人,郭子威在网易就职的五年间,负责过网易相册等产品的开发。当然,关注他主要还是觉得他一些文案写的不错,哈哈哈", 
        "tags": [
            "蝉游记", 
            "电脑商情报", 
            "网易", 
            "写作能手"
        ], 
        "links": [
            {
                "text": "蝉游记 - 发现旅行之美,保存旅行回忆", 
                "link": "https://xitu.io/hit/link/11408"
            }, 
            {
                "text": "http://www.zhihu.com/question/19565132", 
                "link": "https://xitu.io/hit/link/11409"
            }, 
            {
                "text": "纯银 V - 简书", 
                "link": "https://xitu.io/hit/link/11410"
            }, 
            {
                "text": "坏脾气的小肥 - 纯银 - 网易博客", 
                "link": "https://xitu.io/hit/link/11411"
            }
        ], 
    
        "upvotesCount": 18, 
    }
    

    还有一些其他的字段,是从 LeanCloud 导出的时候附带的,忽略就行。

    下载地址:https://www.dropbox.com/s/0jmwmdvs60wxt4m/People.json?dl=0

    14 replies    2016-04-07 00:04:48 +08:00
    miao1007
        1
    miao1007  
       Mar 17, 2016
    创业不易啊
    congteng
        2
    congteng  
       Mar 17, 2016   ❤️ 1
    挺好的
    hustlzp
        3
    hustlzp  
    OP
       Mar 17, 2016
    @miao1007 是啊...
    hustlzp
        4
    hustlzp  
    OP
       Mar 17, 2016
    @congteng 谢谢
    daocao
        5
    daocao  
       Mar 17, 2016   ❤️ 1
    1400 条数据 ? 直接没嘛价值

    还不如把 V2EX 的会员,按会员 id ,产生一个数据,再社工一下相关资料。

    少说有个大四位数的大佬集
    hustlzp
        6
    hustlzp  
    OP
       Mar 17, 2016   ❤️ 1
    @daocao 有道理啊!
    daocao
        7
    daocao  
       Mar 17, 2016
    @hustlzp 哈,口无遮拦了一点。。。 加油吧
    hustlzp
        8
    hustlzp  
    OP
       Mar 17, 2016
    @daocao 没事,我还没想到这一点,谢谢~~
    clearbug
        9
    clearbug  
       Mar 17, 2016
    o(︶︿︶)o 唉,我连 dropbox 都访问不了
    daocao
        10
    daocao  
       Mar 17, 2016
    btw ,卤煮的西窗烛不错... 诗词亦我所爱也
    hustlzp
        11
    hustlzp  
    OP
       Mar 17, 2016
    @clearbug 需要的话可以留个邮箱。

    搭个 SS 呗。或者自己懒得搭就用现成的 SS 服务,比如: http://ss.hongxingchajian.com/
    hustlzp
        12
    hustlzp  
    OP
       Mar 17, 2016
    @daocao 多谢支持 ^_^
    badcode
        13
    badcode  
       Mar 17, 2016
    @daocao 看过之前的帖子,貌似有人已经在做了

    不禁感叹:有些事确实是年少无知,一失足成千古风流人物!

    关掉电脑压压惊先
    thefatguy
        14
    thefatguy  
       Apr 7, 2016
    @hustlzp 赞行动力。正是我们需要的,改天请你们吃饭!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   998 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 22:10 · PVG 06:10 · LAX 15:10 · JFK 18:10
    ♥ Do have faith in what you're doing.