这是一个创建于 952 天前的主题，其中的信息可能已经有所发展或是发生改变。
一个爬虫综合管理框架
整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
同时输出 api 、log 、task 信息等（无 GUI ）
如果有 我就做一个（免费但不开源）
提示：我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
同时输出 api 、log 、task 信息等（无 GUI ）
如果有 我就做一个（免费但不开源）
提示：我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
 |
1
986244073 2022-04-14 10:11:46 +08:00  1
可以做一个
|
 |
2
freeup 2022-04-14 11:12:49 +08:00
和八爪鱼挺像的功能 目的都是减少爬虫开发工作量
|
|
4
freeup 2022-04-14 11:52:37 +08:00 1
@nyfwan123 嗯 就是 win 下面的那个软件 很久之前见过的东西 但是一直没有用过 刚才特意看了下现在支持挺多功能了 比如 云采集 自然语言处理 预制模板等等 不过楼主定位于他些许不一样 适用人群也有差别 不能算完全同质产品
|
 |
5
Pythoner666666 2022-04-14 13:52:38 +08:00
我见过这种 一个用 go 写的
|
 |
6
nyfwan123 OP @Pythoner666666 crawlab 是吧
|
Select Language