V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tikazyq
V2EX  ›  程序员

爬虫管理平台 Crawlab v0.4.5 发布

  •  2
     
  •   tikazyq ·
    tikazyq · 2020-02-04 09:52:01 +08:00 · 2909 次点击
    这是一个创建于 1755 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    本次修复主要集中在 Bug 修复和一些必要的优化。

    更新日志

    功能 / 优化

    • 交互式教程. 引导用户了解 Crawlab 的主要功能.
    • 加入全局环境变量. 可以设置全局环境变量,然后传入到所有爬虫程序中. #177
    • 项目. 允许用户将爬虫关联到项目上. #316
    • 示例爬虫. 当初始化时,自动加入示例爬虫. #379
    • 用户管理优化. 限制管理用户的权限. #456
    • 设置页面优化.
    • 任务结果页面优化.

    Bug 修复

    • 无法找到爬虫文件错误. #485
    • 点击删除按钮导致跳转. #480
    • 无法在空爬虫里创建文件. #479
    • 下载结果错误. #465
    • crawlab-sdk CLI 错误. #458
    • 页面刷新问题. #441
    • 结果不支持 JSON. #202
    • 修复“删除爬虫后获取所有爬虫”错误.
    • 修复 i18n 警告.

    参考

    社区

    如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

    10 条回复    2020-02-04 16:54:07 +08:00
    hfutzj
        1
    hfutzj  
       2020-02-04 10:18:07 +08:00
    感谢分享
    tikazyq
        2
    tikazyq  
    OP
       2020-02-04 10:24:40 +08:00
    @hfutzj 谢谢支持
    pythonee
        3
    pythonee  
       2020-02-04 12:24:33 +08:00
    感谢分享

    看了下文档,建议增加一些术语解释,比如说阶段这个概念

    另外,不知道 scrapy 是不是默认已经集成?
    tikazyq
        4
    tikazyq  
    OP
       2020-02-04 12:29:20 +08:00
    @pythonee 是的,现在文档还有些不那么完善,后续我们会进一步逐步完善的。

    在 Docker 镜像中,scrapy 是已经集成了的了。
    kaikai5601
        5
    kaikai5601  
       2020-02-04 13:45:15 +08:00 via iPhone
    demo 登录出错了
    qsbaq
        6
    qsbaq  
       2020-02-04 13:49:59 +08:00
    demo 登录出错了
    musi
        7
    musi  
       2020-02-04 15:04:38 +08:00
    看了一下是支持多节点部署的?最近刚好想找一个爬虫管理平台管理一些内网环境下的爬虫(机器可通外网,但获取的数据在内网)貌似可以试试?
    tikazyq
        8
    tikazyq  
    OP
       2020-02-04 16:52:28 +08:00
    @kaikai5601 密码被更改了,现在可以试试
    tikazyq
        9
    tikazyq  
    OP
       2020-02-04 16:52:36 +08:00
    @qsbaq 现在试试
    tikazyq
        10
    tikazyq  
    OP
       2020-02-04 16:54:07 +08:00
    @musi 是的,这个本身就是支持分布式的平台,可以多节点部署。Crawlab 分主节点工作节点,主节点主要控制 API 和节点注册等,工作节点主要负责抓取,你可以让主节点在内网,工作节点在外网,这样就可以实现你想要做的事情了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2756 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 06:32 · PVG 14:32 · LAX 22:32 · JFK 01:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.