大家对网页数据采集软件有什么看法？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3187 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近写了一个网页数据采集软件，近期会发布，有免费版本，有付费版本。不知道这类软件的市场如何？大家都有什么看法？

第 1 条附言 · 2016-03-03 22:07:01 +08:00

※ 多任务 & 多线程：可以同时执行多个采集任务，每个任务又可以使用多个线程。
※ 通过 N 层导航技术，可以进行海量采集。
※ 支持插件调用，可以通过二次开发扩展功能。
※ 支持历史记录功能，有效避免重复采集。
※ 支持任务列队功能，当有大量任务同时运行时，可以分批、排队。
※ 支持跨层采集功能，能够对复杂的网站结构进行采集。
※ 可以对采集结果进行筛选。
※ 采集任务可以进行分类，采用树型目录管理。
※ 支持定时采集、自动关机。
※ 支持断点续采，即软件关闭后，下次打开可以接着上次的断点采集。
※ 支持网站登录采集，可以采集需要登录的页面。
※ 支持 POST 网址捕获，可以轻松采集以 POST 方式提交的页面。
※ 通过独立文件下载，可以下载任何类型的文件（ PDF 、 RAR 、 MP3 、 SWF 、 3GP 等等）。
※ 通过内容文件下载，可以提取并下载内容中的图片、 Flash 、附件（任何类型的文件）。
※ 采集时可以同时下载列表中的“缩略图”。
※ 采集时将结果写入临时文件，不占内存。采集完，可以轻松导出为 Access 、 Excel 文件，或直接发布到数据库。
※ 支持采集结果发布，可以发布到 Access 、 SQL Server 、 MySQL 、 Oracle 等各种数据库。
※ 支持存储过程调用，可以与现有数据库进行整合，构造一个数据处理层。
※ 支持采集结果在线发布，即以在线方式发布到现有的网站系统。

软件

采集

网页

看法

19 条回复 • 2016-03-07 20:25:30 +08:00