奇思妙想：灵光闪现，想搞一个爬虫平台，有没有可能会火？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

这是一个专门讨论 idea 的地方。

每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。

那这个时候，不妨可以把那些 idea 分享出来，启发别人。

This topic created in 3091 days ago, the information mentioned may be changed or developed.

（不喜勿喷：都说了是灵光闪现）

想法是这样子的：

首先有这样一个平台，可以让爬虫爱好者提交爬虫上来（不仅仅是可以爬网站，还可以爬公众号、头条号 ====）

比如：某爬虫爱好者，提交了一个 V2EX 最新帖子和最热帖子的爬虫进来

然后：这个爬虫可以让其他用户订阅使用

当聚集了一定的爬虫爱好者，每天会产生很多内容

主要的意义：聚合碎片化的阅读，为用户节约时间

当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不

爬虫

爱好者

帖子

爬

44 replies • 2017-11-25 20:38:13 +08:00

Evrins

Nov 20, 2017 via iPhone

好像已经有一个这样的网站了

aidevs

Nov 20, 2017

@Evrins 求地址

shower

Nov 20, 2017 via Android

@dbfox 即刻

watzds

Nov 20, 2017 via Android

那么多爬虫 /反爬虫工程师，那么费劲，一定程度上共享得了

lneoi

Nov 20, 2017

已经有了...V 站里之前不就有在推广

evlos

Nov 20, 2017

之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 …

aidevs

Nov 20, 2017

@evlos
@lneoi

我也知道那个，用了两下，觉得可玩性不好，而且有点复杂了，不过技术应该很强
而且他主要是做通用爬虫，而我倾向内容聚合，产品不在一个方向

ywgx

Nov 20, 2017

可爱的

beastk

Nov 20, 2017 via iPhone

就怕被不法分子利用

aidevs

Nov 20, 2017

@ywgx ?_?

aidevs

Nov 20, 2017

@beastk 安全问题不必考虑太早，技术做产品大忌

40huo

Nov 20, 2017

之前好像看到过一个做了个框架，然后上面有各种人写的爬虫，还有些是付费的。

liangjing414

Nov 20, 2017

网上搜 “神箭手”，不谢

qiqico

Nov 20, 2017

有个网站 showapi, 提供很多接口调用，其中也包括一些爬虫接口，还可以在线自定义爬取规则

ersic

Nov 20, 2017 via Android

@dbfox 聚合话应该就是即刻了

cheetah

Nov 20, 2017

即刻： https://okjike.com

1931

Nov 20, 2017 via iPhone

深蓝阅读？

em70

Nov 20, 2017

很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人.

按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试

110male

Nov 20, 2017

管理，封他账号，他要爬 v2ex

aidevs

Nov 20, 2017

@110male
^_^

只爬列表，不抓取内页，最终访问地址还是到源网站上

weer0026

Nov 20, 2017

这个让我想起来 golang 的爬虫框架 pholcus 了，思路很像。

wmhx

Nov 20, 2017

http://www.ruguoapp.com/ ?

haker

Nov 20, 2017

八爪鱼

QQ2171775959

Nov 20, 2017

爬一下爬，要是能汇聚一批人和信息的也是有一点用处的

fiht

Nov 20, 2017

提交了一个爬虫上来：
提交的爬虫放在你的服务器上跑么...
不如 rss 靠谱

ThinkMan

Nov 20, 2017

几个月前，我也有这种想法。一模一样。

Zzzzzzzzz

Nov 20, 2017

秒变分布式 CC 平台.....

aidevs

Nov 20, 2017

@ThinkMan 搞个爬虫，以虫会友
@fiht 也可以在我家用电脑上跑，跑好了提交给服务器也可以，具体没想那么多细节

wulin

Nov 20, 2017

订阅 1024

Shura

Nov 20, 2017

v 站有人做了个自动签到平台就是这个思路，我发现最难的是“某爬虫爱好者，提交了一个 V2EX 最新帖子和最热帖子的爬虫进来 ”，很难做到让人提交爬虫脚本，到最后平台基本也就是作者自己提供的脚本最多了。

looplj

Nov 20, 2017

神箭手

qfdk

PRO

Nov 21, 2017 via iPhone

跳蚤大神不是早就搞了这轮子不用造了

Arnie97

Nov 21, 2017 via Android

这根 RSS 有什么本质差别…

yech1990

Nov 21, 2017 via Android

Google 阅读器还在的时候，google 和 yahoo 有类似的实现。Google RSS 关闭后，我也有和楼主一样的想法。

虽然现在有一些类似的方案，但都是闭源收费的服务为主。

之前打算在 github 开个 organization, 分享一些爬虫代码，定义一套接口规范，最终输出类似 RSS 的 xml 格式。

零散写了一些脚本后就放弃了。一方面工程浩大，一方面代码水平太差，一个人连 demo 都实现不了，实现不了 demo 的话，不可能有其他人贡献代码。另外就是现在 RSS 阅读似乎是时代的逆流了，不知几年后 RSS 的用户，也就没太多折腾的动力了。

楼上很多推荐聚合阅读的，应该是没明白楼主的出发点吧。。。