V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
爱意满满的作品展示区。
O21

豆瓣 妹子 采集器 小更新(距离上一次更新 325 天 >.<)

  •  
  •   O21 ·
    ShenXuGongZi · Jun 3, 2015 · 7506 views
    This topic created in 3983 days ago, the information mentioned may be changed or developed.

    豆瓣小组图片采集程序

    By 肾虚公子

    官网: https://github.com/ShenXuGongZi/DouBanGroupPic

    主程序:dou2.py

    Mac/Liunx 运行程序(python dou2.py)即可。

    Windows用户请下载压缩包: 下载

    程序基本功能

    • 用户可以自由选择用户组下载图片支持豆瓣所有小组
    • 本程序自动采集代理
    • 采集代理后随机选择
    • 自动下载图片并保存

    获取用户组ID方法
    http://www.douban.com/group/264964/ #只需要输入人group/后面的字符 不包括斜杠

    2015-6-3 更新
    • 无需用户手动创建文件夹
    • 更新可用性去掉代理采集
    • 优化Windows客户端大小以及文件数量
    2014-7-17 更新
    • 修改程序Bug
    • 增加错误输出
    • 加快程序执行效率
    • 尝试启用多线程失败!
    2014-7-16 更新
    • 用户可以自由选择用户组下载图片支持豆瓣所有小组
    • 增加默认功能
    • 模拟UA
    • 更换代理源
    • Win版支持
    • 优化程序
    • 美化程序
    38 replies    2015-06-07 17:44:32 +08:00
    Showfom
        1
    Showfom  
    PRO
       Jun 3, 2015 via iPhone
    Linux 用户
    KillPaul
        2
    KillPaul  
       Jun 3, 2015
    然并卵?
    unique
        3
    unique  
       Jun 3, 2015 via Android
    mark
    chendeshen
        4
    chendeshen  
       Jun 3, 2015 via Android
    mark
    braineo
        5
    braineo  
       Jun 3, 2015
    大有搞头啊,可以多加一些功能,例如只扒热帖之类的
    或者是搞上图片识别把汉子全部去掉
    kingname
        6
    kingname  
       Jun 3, 2015
    我看了一下楼主的采集器。
    有三个建议:
    1.使用requests而不是urllib库
    2.使用xpath而不是正则表达式
    3.没有必要每一句中文都先decode再encode.
    won
        7
    won  
       Jun 3, 2015
    win7测试失败,启用兼容模式,但还是采集不下来
    catface
        8
    catface  
       Jun 3, 2015
    怎么识别妹子的
    O21
        9
    O21  
    OP
       Jun 3, 2015 via Smartisan T1
    @won 啊。。。我的可以。。
    O21
        10
    O21  
    OP
       Jun 3, 2015 via Smartisan T1
    @kingname 多谢。。 我今天改改
    O21
        11
    O21  
    OP
       Jun 3, 2015 via Smartisan T1
    @KillPaul 确实没啥用 失眠的作品
    flied
        12
    flied  
       Jun 3, 2015
    必须加一个豆瓣用户采集的功能呀。

    很多豆瓣用户自拍质量那是杠杠的,还有一些专门收集的豆瓣相册,好东西不仅仅在小组里。

    ps,最好能取到相册的大图而不是那个小图
    bao3
        13
    bao3  
       Jun 3, 2015
    不见得是否有用,而在于是否好玩,我觉得挺不错,假装自己是人妖,可以不停的换头像,有这么多妹子呢,哈哈哈。虽然我永不到,肯定有人会用到的。
    b821025551b
        14
    b821025551b  
       Jun 3, 2015
    为什么我每次看见这个标题都自动解读成 ”妹子小便采集器“,我真的不是变态啊啊啊啊啊!!!!
    jianzong
        15
    jianzong  
       Jun 3, 2015
    @b821025551b 正想回复一样的内容。。。
    inmyfree
        16
    inmyfree  
       Jun 3, 2015
    @b821025551b
    @jianzong 目测节操已掉,三观不正了
    yellowV2ex
        17
    yellowV2ex  
       Jun 3, 2015
    能不能加一个自动约到如家订房的功能呢?
    O21
        18
    O21  
    OP
       Jun 3, 2015
    @yellowV2ex =,= Good idea
    nowit
        19
    nowit  
       Jun 3, 2015
    Win7 第一次采集成功,然后采集测试都失败了!
    Ryans
        20
    Ryans  
       Jun 3, 2015
    赞赞赞
    O21
        21
    O21  
    OP
       Jun 3, 2015
    @nowit 嗯 没加http代理 豆瓣封IP了 没找到好的代理网站 模块已经写好了
    ledzep2
        22
    ledzep2  
       Jun 3, 2015
    @b821025551b 不要怀疑自己. 你就是.
    djyde
        23
    djyde  
       Jun 4, 2015
    O21
        24
    O21  
    OP
       Jun 4, 2015 via Smartisan T1
    @djyde python的代理采集有问题 那个源网站不行 你把代理模块注释掉
    O21
        25
    O21  
    OP
       Jun 4, 2015 via Smartisan T1
    @djyde 打错是Linux的有问题 Win的我编译的时候把代理模块去掉了
    exuxu
        26
    exuxu  
       Jun 4, 2015
    曾经用bash wget 下来一大堆图片,然后自己默默的筛选...
    lux182
        27
    lux182  
       Jun 4, 2015
    我以前搞过某榴妹汁采集和故事采集
    iloveayu
        28
    iloveayu  
       Jun 4, 2015
    肾虚公子。。。
    jedicxl
        29
    jedicxl  
       Jun 4, 2015 via iPhone
    @b821025551b 含泪+1
    mjever
        30
    mjever  
       Jun 4, 2015
    现在真改名肾虚公子了!
    realfreesky
        31
    realfreesky  
       Jun 4, 2015
    好像只能爬下一大堆图,并不会筛选出妹纸
    lonelygo
        32
    lonelygo  
       Jun 4, 2015
    弱弱的问下,我怎么知道哪个小组有让我肾虚的妹纸呢?
    vjnjc
        33
    vjnjc  
       Jun 4, 2015
    同楼上问。
    给几个测试case呗~
    yren
        34
    yren  
       Jun 4, 2015
    猥琐的收藏了
    cskeleton
        35
    cskeleton  
       Jun 5, 2015
    邪恶的问一下有不有能够收集妹汁的程序~
    O21
        36
    O21  
    OP
       Jun 5, 2015 via Smartisan T1
    @cskeleton 这。。。。。。
    fange01
        37
    fange01  
       Jun 7, 2015
    win8.1测试可用。抽空学习下代码
    mingyun
        38
    mingyun  
       Jun 7, 2015
    学习Python中
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3176 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 94ms · UTC 13:42 · PVG 21:42 · LAX 06:42 · JFK 09:42
    ♥ Do have faith in what you're doing.