V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
messi110
V2EX  ›  问与答

有没有开源的 功能比较强大的 可配置的爬虫项目 推荐一下

  •  
  •   messi110 · Apr 21, 2019 · 2628 views
    This topic created in 2566 days ago, the information mentioned may be changed or developed.
    9 replies    2019-05-07 17:53:37 +08:00
    andylsr
        1
    andylsr  
       Apr 21, 2019 via Android
    scrapy
    messi110
        2
    messi110  
    OP
       Apr 21, 2019
    @andylsr 我知道这个 就是想找个有没分装好的带 web 界面的那种 项目 github 上找了一下 没找到很好的
    mywaiting
        3
    mywaiting  
       Apr 21, 2019
    pyspider
    agdhole
        4
    agdhole  
       Apr 21, 2019 via Android
    基于 scrapy 的可视化 https://github.com/Gerapy/Gerapy
    malagebidi
        5
    malagebidi  
       Apr 21, 2019
    Huginn
    huixun
        6
    huixun  
       Apr 21, 2019
    hellosoft
    messi110
        7
    messi110  
    OP
       Apr 21, 2019
    @malagebidi @mywaiting @agdhole 谢谢 我去看看,
    我的需求可能要配置到列表页详情页啥的估计要自己开发一下
    而且好像 java 比较少 https://github.com/514840279/danyuan-application 试了下这个项目好像有点 bug 文档比较少
    messi110
        8
    messi110  
    OP
       Apr 22, 2019
    @huixun 这个说的没有找到。。
    messi110
        9
    messi110  
    OP
       May 7, 2019
    在顶一下 看看有没有
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   959 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 23:15 · PVG 07:15 · LAX 16:15 · JFK 19:15
    ♥ Do have faith in what you're doing.