Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
yuiop
V2EX  ›  Python

深夜，我用 Python 爬取了整个斗图网站，不服来斗

  •   
  •   yuiop · Sep 16, 2018 · 5550 views
    This topic created in 2809 days ago, the information mentioned may be changed or developed.
    QQ、微信斗图总是斗不过，索性直接来爬斗图网，我有整个网站的图，不服来斗。

    废话不多说，选取的网站为斗图啦： http://www.doutula.com/

    详细全文：
    https://mp.weixin.qq.com/s?__biz=MzI2OTQxMTM4OQ==&mid=2247487106&idx=1&sn=2ecaa7cbfdaacdacbabe2aa50f614ab0&chksm=eae1fbd0dd9672c6aa9d864ca1066a304aef945ff836eeba8bd6404f7068b90222d611a8d1d8&token=1550086199&lang=zh_CN#rd
  • 斗图
  • 不服
  • 斗图网
  • Python
    15 replies  •  2018-09-29 14:58:59 +08:00
    Alpha
        1
    Alpha  
    PRO
       Sep 16, 2018
    这样可以保存图片？
    Alpha
        2
    Alpha  
    PRO
       Sep 16, 2018
    for one in totals:
    img = one.find('img')
    try:
    sub_url = img.get('src')
    except:
    pass
    finally:
    urls = 'http:' + sub_url
    try:
    self.get_img(urls)
    except:
    pass


    这一段错了，你这样的话就变成所有的 url 无论有没有没有 http: 你都加上 http:
    liuguang
        3
    liuguang  
       Sep 16, 2018
    这个站好像是 laravel 做的。。。。
    SimbaPeng
        4
    SimbaPeng  
       Sep 17, 2018
    这你也想搞个大新闻。。。

    另外你这代码质量有待提高
    Les1ie
        5
    Les1ie  
       Sep 17, 2018
    想起来去年我也爬过这个网站的图片 hmmmmm 上面的图讲真有趣
    Les1ie
        6
    Les1ie  
       Sep 17, 2018
    https://i.loli.net/2018/09/17/5b9ea4c8e8eba.png

    另外 我还真的不服 :)
    Eds1995
        7
    Eds1995  
       Sep 17, 2018
    其实可以用深度学习生成表情包的。。。。。
    brave256
        8
    brave256  
       Sep 17, 2018 via iPhone
    30 页也能说整站啊。。我记得这网站有好几百页图，这网站有反爬，我试过用多线程爬到 800 多张就会禁止访问。
    tzhhahaha
        9
    tzhhahaha  
       Sep 17, 2018
    哈哈哈哈，我刚入门了 4 个月 python，爬了煎蛋跟表情包网站，蛮有意思的。
    另外其实煎蛋妹子图质量很高！（新手的第一个 star 求点击）
    https://github.com/TangZhongham/Python-Crawler
    vazo
        10
    vazo  
       Sep 17, 2018   ❤️ 1
    aino
        11
    aino  
       Sep 17, 2018
    去年用 java 写过一遍，现在还能用
    alwayshere
        12
    alwayshere  
       Sep 17, 2018
    V2 的水平真的令人堪忧，爬个这么简单的图片站居然也都能炫耀一下。。。。。。
    gymmcome
        13
    gymmcome  
       Sep 17, 2018
    @tzhhahaha 可以尝试用抓包工具获取煎蛋 APP 的接口，都是 json 数据，更加方便。
    tzhhahaha
        14
    tzhhahaha  
       Sep 18, 2018
    @gymmcome 哈哈谢谢～我试一下，又能学到东西了
    CLANNADHH
        15
    CLANNADHH  
       Sep 29, 2018
    1000+页已经爬完了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1146 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 71ms · UTC 18:17 · PVG 02:17 · LAX 11:17 · JFK 14:17
    ♥ Do have faith in what you're doing.