V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cwjokaka
V2EX  ›  程序员

[python3] B 站用户数据收集...(重发)

  •  2
     
  •   cwjokaka ·
    cwjokaka · Jul 15, 2019 · 3643 views
    This topic created in 2478 days ago, the information mentioned may be changed or developed.

    前天发了一次贴,秒沉。果然还是在大众摸鱼日发合适一点。

    写了一个爬虫,用于收集 B 站用户数据,算是学 python 的实践项目吧^_^

    Supplement 1  ·  Jul 15, 2019

    欢迎提建议,打算业余时间会添加新特性(获取更丰富的数据、数据统计等)

    19 replies    2019-07-16 08:26:24 +08:00
    locoz
        1
    locoz  
       Jul 15, 2019
    太惨了,帮你捞一下
    cwjokaka
        2
    cwjokaka  
    OP
       Jul 15, 2019
    @locoz 感谢,我也自顶一下
    Deteriorator
        3
    Deteriorator  
       Jul 15, 2019
    帮你捞一下
    xwcs
        4
    xwcs  
       Jul 15, 2019
    帮你捞一下
    i0error
        5
    i0error  
       Jul 15, 2019
    捞一下
    i0error
        6
    i0error  
       Jul 15, 2019
    去看了一下,很基础啊......建议有数据了分析一波再发。
    cwjokaka
        7
    cwjokaka  
    OP
       Jul 15, 2019
    @i0error 是的,目前只是爬取阶段,而且相关数据内容有些少
    hzwjz
        8
    hzwjz  
       Jul 15, 2019
    按理说,不应该是在原帖的基础之上,想办法么?重复发帖了吧
    cwjokaka
        9
    cwjokaka  
    OP
       Jul 15, 2019
    @hzwjz 是可以,但前天发的贴沉到海底,应该上不来了←_←
    SpiderXiantang
        10
    SpiderXiantang  
       Jul 15, 2019 via Android
    用 dfs 爬取的吗
    cwjokaka
        11
    cwjokaka  
    OP
       Jul 15, 2019
    @SpiderXiantang 没有.只简单调下接口而已
    hjq98765
        12
    hjq98765  
       Jul 15, 2019
    捞一下,学习学习
    lzj307077687
        13
    lzj307077687  
       Jul 15, 2019
    刚开始学 py 学习下~
    cwjokaka
        14
    cwjokaka  
    OP
       Jul 15, 2019
    cwjokaka
        15
    cwjokaka  
    OP
       Jul 15, 2019
    ↑上去↑
    cwjokaka
        16
    cwjokaka  
    OP
       Jul 15, 2019
    有哪里写的不足(bug)的地方可以说一说←_←(个人顶帖行为)
    telnetning
        17
    telnetning  
       Jul 15, 2019 via iPhone
    楼主,是不是应该主动显示关闭下数据库连接
    cwjokaka
        18
    cwjokaka  
    OP
       Jul 15, 2019
    @telnetning 是有这个问题,但我发现 worker 线程根本不用停下来。。。数据库连接也就不管了
    cwjokaka
        19
    cwjokaka  
    OP
       Jul 16, 2019 via Android
    最后一顶
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6026 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 67ms · UTC 03:26 · PVG 11:26 · LAX 20:26 · JFK 23:26
    ♥ Do have faith in what you're doing.