有没有开源的功能比较强大的可配置的爬虫项目推荐一下

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2476 天前的主题，其中的信息可能已经有所发展或是发生改变。

9 条回复 • 2019-05-07 17:53:37 +08:00

andylsr

2019 年 4 月 21 日 via Android

scrapy

messi110

2019 年 4 月 21 日

@andylsr 我知道这个就是想找个有没分装好的带 web 界面的那种项目 github 上找了一下没找到很好的

mywaiting

2019 年 4 月 21 日

pyspider

agdhole

2019 年 4 月 21 日 via Android

malagebidi

2019 年 4 月 21 日

Huginn

huixun

2019 年 4 月 21 日

hellosoft

messi110

2019 年 4 月 21 日

@malagebidi @mywaiting @agdhole 谢谢我去看看，
我的需求可能要配置到列表页详情页啥的估计要自己开发一下
而且好像 java 比较少 https://github.com/514840279/danyuan-application 试了下这个项目好像有点 bug 文档比较少

messi110

2019 年 4 月 22 日

@huixun 这个说的没有找到。。

messi110

2019 年 5 月 7 日

在顶一下看看有没有

有没有开源的 功能比较强大的 可配置的爬虫项目 推荐一下