可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 0.1 版本发布

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2952 days ago, the information mentioned may be changed or developed.

自己写的一个爬虫框架哈，第一个版本。请大家轻喷。

不知道为什么提起爬虫很多人第一个想起来的是 Python。其实 PHP 写爬虫也可以写的很好，而且个人感觉并不比前者差啊。而且对于 PHP 作为主语言的人来说，用 PHP 写爬虫也更顺手一些。

特性:

极易上手，具备完善的文档和示例
支持多并发爬取
支持基于 xpath、css 选择器解析内容
模拟浏览器行为，如 user-agent、cookie、提交表单
支持断点续爬、失败重试、代理、并有完善的爬取日志
健壮的底层库，HTTP 客户端基于 guzzle，dom 解析基于 symfony/dom-crawler 库

Github 地址: https://github.com/wyan001/xcrawler

查看文档: https://xcrawler.yanshuju.com/docs/

微信交流群

PHP

爬

虫

文档

12 replies • 2018-04-25 10:56:27 +08:00

drug

Apr 24, 2018 via Android

膜拜言说大佬_(:з」∠)_

wwek

Apr 24, 2018

支持~
选 symfony/dom-crawler 绝对是最佳
之前写过一遍博客说写爬虫时 PHP 解析 HTML 最高效的方法那就是用 DomCrawler!

ben1024

Apr 24, 2018

phpspider >.<

zqjilove

Apr 24, 2018

phpspider >.<

zqjilove

Apr 24, 2018

phpspider 用过几次，感觉还不错。简单明了。

wyan453351466

Apr 24, 2018 via iPhone

@zqjilove phpspider 的多并发爬取好像是开了多个子进城去爬的。xcrawler 的并发爬取是利用的 php 内置的 curl multi，所以有更高的性能和更低的消耗。另一方面 xcrawler 在爬虫核心组件上直接引用了成熟的组件，所以稳定性上会有更好的表现（ Phpspider 是自己造的轮子）。还有一些其他的好处等待你阅读文档去发现🤣

wyan453351466

Apr 24, 2018 via iPhone

@wyan453351466 子进程，写错了