zorlan
V2EX  ›  PHP

做了一个 PHP 爬虫系统,可视化操作只需要写规则即可采集大量数据

  •  
  •   zorlan · Feb 19, 2019 · 6798 views
    This topic created in 2817 days ago, the information mentioned may be changed or developed.

    https://github.com/zorlan/skycaiji

    用 tp5 写的 php 版本采集器,使用上和 cms 系统类似

    功能: 全自动定时定量采集

    支持正则表达式、xpath、json 匹配数据

    支持多级、多页、分页采集

    可以将数据发布到 cms 程序、数据库、excel 文件等

    配合谷歌浏览器实现页面渲染功能

    图片本地化、ip 代理等等

    19 replies  •  2019-03-15 12:56:48 +08:00
    glouhao
    glouhao
    Feb 19, 2019 via Android
    1
    膜拜大佬
    DonnyChao
    DonnyChao
    Feb 19, 2019
    2
    在 vps 上安装试了一下,挺好用的,感谢作者开源,学习一下,github 已 star。
    zqjilove
    zqjilove
    Feb 19, 2019
    3
    早期用过一次,感觉体验很不好,至少和之前用过的一些采集工具比,感觉还是操作体验差一些。功能没问题。还是 DXC 用的爽,可惜现在也收费了
    zorlan
    zorlan
    OP
    Feb 19, 2019
    4
    @DonnyChao 感谢,多多提问题
    zorlan
    zorlan
    OP
    Feb 19, 2019
    5
    @zqjilove 历时一年多,现在已经更新到 2.0 版本了,体验上面怎么改进的好呢?还有你说的 dxc 是什么?
    d5n
    d5n
    Feb 19, 2019 via iPhone
    6
    收藏
    vus520
    vus520
    Feb 19, 2019
    7
    已经 600 个星星了
    marvin520
    marvin520
    Feb 20, 2019
    8
    蓝天采集器,刚出来的时候用过,感觉很赞。。。不过好像在 v2 推过好几次了
    tdwj12580
    tdwj12580
    Feb 20, 2019
    9
    可以的,我也收藏一下,以后有用再使用!
    dany813
    dany813
    Feb 20, 2019
    10
    膜拜大佬
    bzj
    bzj
    Feb 20, 2019
    11
    有没有演示站点
    pinerge
    pinerge
    Feb 20, 2019
    12
    采集一般都是 cli 吧,fpm 采集不是特别友好,就算把 php.ini 中 max_execute_time 设为无限有时进程也会莫名其妙的挂掉
    zorlan
    zorlan
    OP
    Feb 20, 2019
    13
    @lunatic5 嘿嘿,大半年前推过,你还记得
    zorlan
    zorlan
    OP
    Feb 20, 2019
    14
    @pinerge 这个问题确实有,现在已经有很大提升了,具体的可以看看源码
    runningman
    runningman
    Feb 20, 2019 via iPhone
    15
    关注一下 看看
    willywu001
    willywu001
    Feb 28, 2019
    16
    cookie 怎么设置的?
    willywu001
    willywu001
    Feb 28, 2019
    17
    @zorlan cookie 怎么设置呢,文档中没看到
    zorlan
    zorlan
    OP
    Feb 28, 2019
    18
    @willywu001 任务》采集器设置》请求头信息 里面
    dwhzy
    dwhzy
    Mar 15, 2019
    19
    mark 一下,好工具~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1544 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 16:32 · PVG 00:32 · LAX 08:32 · JFK 11:32
    ♥ Do have faith in what you're doing.