V2EX › coderhxl 的所有回复 › 第 4 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

220 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

@yzding AI 的处理时间跟传入的数据量有关

220 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

即使网站后续的更新导致类名或结构发生改变也能正常爬到数据，因为我们不再依赖于固定的类名或结构来定位并提取所需信息，而是让 AI 理解并解析网页的语义信息，从而更高效、智能和便捷提取所需数据。

220 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

目前新版 x-crawl 的 AI 辅助功能是依靠 OpenAI ，后续还可能加入其他 AI 。

221 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

@mightybruce 感谢您

221 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

了解 AI 和 x-crawl 爬虫结合示例的
- AI 需要处理的 HTML
- AI 按照我们的指令解析 HTML 后返回的 srcResult （ img url ）

因为 HTML 片段太多了不方便查看就放下面链接的底部，想了解的可以去看看。

https://coder-hxl.github.io/x-crawl/cn/guide/#%E7%A4%BA%E4%BE%8B

221 天前

回复了 coderhxl 创建的主题 › 推广 › AI+Node.js x-crawl 爬虫：为何传统爬虫已不再是数据抓取的首选？

随着 AI 技术的不断进步和应用场景的不断拓展，这种结合将会发挥出更大的潜力。

221 天前

回复了 V392920 创建的主题 › 程序员 › V 友们，有没有什么看护小宝宝的技术解决方案？

小米摄像头

248 天前

回复了 coderhxl 创建的主题 › Node.js › 一个灵活的 Node.js 多功能爬虫库 —— x-crawl

中文文档： https://github.com/coder-hxl/x-crawl/blob/main/docs/cn.md

248 天前

回复了 coderhxl 创建的主题 › Node.js › 一个灵活的 Node.js 多功能爬虫库 —— x-crawl

@stimw crawlPage API 是用的 puppeteer ，puppeteer 使用者更多些。两者用法上很相似，后续也可以写个新的 API 加上 playwright 。