AnyCrawl: 基于 TS 的高性能爬虫，用于将任意 Web 转为干净的数据喂给 Agent

thans · 2026-08-05T16:14:13Z

求 Star： https://github.com/any4ai/AnyCrawl 主打这些功能：搜索引擎抓取：支持多个搜索引擎，批量操作友好网页内容提取：精准抓取单页内容整站爬取：完整遍历采集网站内容性能强劲：支持多线程/多进程批量任务：稳定高效处理海量任务 AI 智能解析：用大语言模型（ LLM ）从网页提取结构化数据（ JSON 格式）完美适配 LLM：集成简单，开箱即用

爱意满满的作品展示区。

求 Star：https://github.com/any4ai/AnyCrawl

主打这些功能：

搜索引擎抓取：支持多个搜索引擎，批量操作友好
网页内容提取：精准抓取单页内容
整站爬取：完整遍历采集网站内容
性能强劲：支持多线程/多进程
批量任务：稳定高效处理海量任务
AI 智能解析：用大语言模型（ LLM ）从网页提取结构化数据（ JSON 格式）
完美适配 LLM：集成简单，开箱即用

No Comments Yet

爬虫抓取数据