爱意满满的作品展示区。
ericlong233

GirlCrawler - 简洁、高效的煎蛋妹子图

  •  1
     
  •   ericlong233 ·
    Ericlong233 · Aug 17, 2017 · 4478 views
    This topic created in 3198 days ago, the information mentioned may be changed or developed.

    注意:适当撸妹益脑,过度撸妹伤身。请在遵守当地法律法规的前提下使用。煎蛋网资源有限,请适当使用。
    原来的帖子 t/383493 由于本人的操作失误被放入无要点,已提交管理删除

    GirlCrawler 是一个简洁、高效的煎蛋妹子图爬虫。它基于高效、异步的 Node.js 。具有以下特性:

    • 快速,由 Node.js 的异步 I/O 提供支持
    • 基于 OO/XX 的过滤器
    • 友好的 CLI 界面
    • 根据 MD5 自动过滤失效照片

    安装方法:npm install girlcrawler -g 注意 -g

    Github repo: Ericlong233/girlcrawler
    npm repo: girlcrawler

    a570295535
        1
    a570295535  
       Aug 18, 2017
    除了新手练练手玩玩,爬这些毫无撸点的图有个卵用啊
    whileFalse
        2
    whileFalse  
       Aug 18, 2017
    Running crawler with arguments: thread=64, filter="oo > xx"
    ** F I N I S H E D ! **

    为啥目录下啥也没有呢。
    ericlong233
        3
    ericlong233  
    OP
       Aug 18, 2017 via Android
    @whileFalse 截个图发到 issues 里如何?我来处理
    ericlong233
        4
    ericlong233  
    OP
       Aug 18, 2017 via Android
    @a570295535 有撸点的可以去 tumblr 和 pornhub
    silencefent
        5
    silencefent  
       Aug 18, 2017
    请不要在煎蛋使用爬虫
    ericlong233
        6
    ericlong233  
    OP
       Aug 18, 2017
    @silencefent 照你这样说,所有的搜索引擎都找不到煎蛋,所有的第三方(以及可能的第一方)客户端都不能使用。
    图片是微博的,爬虫不会执行 JS,也就是说,爬虫只会爬取页面的源码和微博的图片,不会爬其他的东西。一页煎蛋妹子图的源码大约 80~100KB。
    我现在能做的是,尽量把爬虫对煎蛋的影响降到最低,这点可以从我的源码里看出来。
    ericlong233
        7
    ericlong233  
    OP
       Aug 18, 2017
    @silencefent btw,如果 sein 他们再次放出捐赠链接的话,我会考虑捐赠。
    Trim21
        8
    Trim21  
       Aug 19, 2017 via iPad
    看了下 robots.txt /ooxx 是可以爬的吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3283 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 11:22 · PVG 19:22 · LAX 04:22 · JFK 07:22
    ♥ Do have faith in what you're doing.