爱意满满的作品展示区。
roothub

写了一个小爬虫,给大家分享一下

  •  
  •   roothub · Feb 21, 2019 · 4593 views
    This topic created in 2815 days ago, the information mentioned may be changed or developed.

    作用

    可以爬取文章的标题、头图、正文、作者名称、作者头像、摘录。

    支持将爬取的数据保存到数据库,并将图片上传到对象存储,替换原来的图片链接。

    预览

    Github

    article-spider

    如果对您有帮助的话,请点个 star,谢谢啦。

    11 replies  •  2019-02-22 16:16:08 +08:00
    zdb1115
    zdb1115
    Feb 21, 2019
    1
    点了 star,谢谢分享。
    roothub
    roothub
    OP
    Feb 21, 2019
    2
    @zdb1115 谢谢~
    DoraMouse
    DoraMouse
    Feb 21, 2019 via iPhone
    3
    已 start
    jisibencom
    jisibencom
    Feb 21, 2019 via Android
    4
    这个还有通用的?每个采集点结构不同吧。。。还没用
    omph
    omph
    Feb 21, 2019
    5
    定位为小工具,为了保持通用,简单的单文件可能更好
    roothub
    roothub
    OP
    Feb 21, 2019
    6
    @DoraMouse 谢谢~
    roothub
    roothub
    OP
    Feb 21, 2019
    7
    @jisibencom 根据配置的 DOM 来采集的
    roothub
    roothub
    OP
    Feb 21, 2019
    8
    @omph 好建议
    luckbbs
    luckbbs
    Feb 22, 2019
    9
    已 start
    roothub
    roothub
    OP
    Feb 22, 2019
    10
    @luckbbs 谢谢~
    QDavid
    QDavid
    Feb 22, 2019
    11
    @luckbbs #9 老哥故意拼错 star 的?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   956 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 19:26 · PVG 03:26 · LAX 11:26 · JFK 14:26
    ♥ Do have faith in what you're doing.