内网的网站越来越多,查询资料都是各自为战,非常不方便。
想搭建一个内网的 Google: 自动爬网页,建立倒排索引,然后放一个搜索页面给员工使用。
找了一圈,没有找到满足这个需求的开源实现。(也许我用的关键字不对……)
我能想到的会用到的:爬虫+elastisearch.
但是实在没有时间从头开始搭建和实现,不知道有没有开源的方案呢?
1
billlee 2018-03-28 22:12:59 +08:00
开源技术方案就是你说的爬虫 + elasticsearch 啊,我觉得你想要的是整套解决方案,这肯定是收费的,以前 google 有 enterprise search, 但去年关掉了,说要转成云服务。
|
2
est 2018-03-28 22:24:55 +08:00
内网还需要爬虫????
直接去撸对方 db。。。 |
3
liudanking OP @billlee Google 居然有过这种服务,可惜啦……
|
4
liudanking OP @est 这么说吧,内网的网站花样之多……有些站点是不带 DB 的内容发布站
|
5
lululau 2018-03-28 22:38:04 +08:00
Apache Nutch
|
6
KiseXu 2018-03-28 23:03:43 +08:00
你说的是公安内网吗
|
7
liudanking OP @lululau thx 我了解下
|
8
1yndonn3u 2018-03-28 23:34:35 +08:00
@liudanking #4 这是手写 txt 么。2333
|