测试一个自制的 V2EX 搜索

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 3733 天前的主题，其中的信息可能已经有所发展或是发生改变。

先贴地址：

http://shixiz.com

用 elasticSearch 作为搜索引擎，数据来自 v2ex 的 api 接口

索引了全部主题和大部分回复（主题目前半小时更新一次，回复还未开始更新）

这几天刚刚加上了中文分词，可用性总算达到了及格线。

自己 YY 了一种简单的`综合排序`方法

log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）

同时还可以根据 `发布时间` `回复数` `匹配分` 对结果排序。

部署在 ec2 上，索引全部数据居然用了两天啊，妈蛋。是分词用的词库太大？

p.s. 回贴最好贴下`搜索关键词`和`结果评价`
感恩：）

第 1 条附言 · 2014-09-04 20:43:02 +08:00

开放 API 测试：

http://shixiz.com:8000/api?q=python&from=2&limit=1&s=match

@hoogle

各参数的意义如下(与 web 一致）：

q：请求关键词
from: 偏移
limit：页大小
s：排序 ['match', 'created', 'sumup', 'replies']

分词

复数

V2EX

48 条回复 • 2014-09-07 23:09:35 +08:00

hoogle

2014-09-03 18:45:54 +08:00

大赞。。有考虑提供接口么？想在客户端提供搜索功能。这个刚好～！！！

dbbbit

2014-09-03 18:54:06 +08:00

@hoogle
哈，接口可以有

kisshere

2014-09-03 19:41:45 +08:00

log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）能解释一下为什么要这样吗？

dbbbit

2014-09-03 20:04:28 +08:00

@kisshere
首先必须说明，这是YY出来的。

如果你有兴趣可以看看阮一峰翻译的几篇排序算法。
包括 hacknews reddit 等。
http://www.ruanyifeng.com/blog/2012/02/ranking_algorithm_hacker_news.html

楼主在认真看了这几个算法后，发现还是没太多实际的想法
于是手动测试出这个综合评分的算法，结果怎么样也说不好。
不过至少可以保证排在前面的结果与那三个因素成正比
log2 是因为想要减低某种因素的影响

大概就是这样。

Mihuwa

2014-09-03 20:27:07 +08:00

酷。。。

kchum

2014-09-03 20:36:47 +08:00 via iPhone

被玩坏了？手机党打不来！

freeze

2014-09-03 20:46:24 +08:00

楼主能把搜索栏居中吗？看着难受

qiayue

2014-09-03 20:50:43 +08:00

赞!

XerWandeRer

2014-09-03 20:52:05 +08:00

关键字: http proxy
结果评价: Right on target.
Thanks!

yetone

2014-09-03 20:54:41 +08:00

大赞！

ilovehoo

2014-09-03 20:56:52 +08:00

不错哦~~

dbbbit

2014-09-03 20:57:19 +08:00

@kchum 我的可以打开。。
@freeze 本人前端渣页面是乱来的，多谢意见

jdqingm

2014-09-03 21:05:39 +08:00

哎呦不错哦

Akagi201

2014-09-03 21:18:21 +08:00

lw-clogger 我前几天发的帖子, 没有搜到, google是有的

dbbbit

2014-09-03 21:30:07 +08:00

@Akagi201
确实是，中间数据断层了。回头补上，爬虫不够健壮

jas0ndyq

2014-09-03 22:20:31 +08:00

好喜欢忍者图标~~~有木有版权~~~

dbbbit

2014-09-03 22:36:15 +08:00

@jas0ndyq
我的头像和搜索的图标都是非法使用。。。

jas0ndyq

2014-09-03 22:41:34 +08:00

@dbbbit 好吧~~~

kokdemo

2014-09-03 23:25:00 +08:00

log2(回复)
这一项的权重太大了，会导致更容易搜出来的是那些经典长贴……

zhiyongyici

2014-09-04 01:25:38 +08:00 via iPhone

google 无法使用的前提下，这简直就是神器！

momou

2014-09-04 01:27:45 +08:00

Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/jquery/1.11.1/jquery.min.js
Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/bootstrap/3.2.0/css/bootstrap-theme.min.css

Livid

MOD

2014-09-04 07:36:52 +08:00

做得非常好。

我比较好奇，目前这个数据量，是跑在一台什么配置的机器上呢？

dbbbit

2014-09-04 07:42:08 +08:00 via iPad

@Livid
就是 ec2 的免费实例
单核 1Gb ssd

dbbbit

2014-09-04 08:03:40 +08:00

@kokdemo
虽然也有同感，但是能否给几个关键词？
方便我作为判断和调整的依据
不能否认做排序的时候我并不介意经典大长贴出现在前面
但是有时候时间太过久远，比较难取舍，这是个难题诶
也欢迎提供更好的排序方法。

vinsa

2014-09-04 08:05:08 +08:00

相当赞

nsxuan

2014-09-04 08:36:14 +08:00

@dbbbit 如果能开源一下就再好不过了

dbbbit

2014-09-04 08:40:35 +08:00

@nsxuan 我也是这么想的，会尽快开源。

talentsnail

2014-09-04 09:03:30 +08:00

感谢已发送:)

dudong0726

2014-09-04 09:18:23 +08:00

dota2
谷歌抽风之后，v2的搜索一直是个痛

windedge

2014-09-04 09:28:35 +08:00

v2ex的api限制一个小时只能访问120次, 你爬取数据用了多长时间?

kokdemo

2014-09-04 10:48:59 +08:00

@dbbbit

你现在用的公式是： log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）

分为三个部分，回帖数，匹配得分，存在时间三个部分。

但是考虑到v2上会有一些吵架贴的存在，所以第一部分其实很不稳定。

相对来说，你可以取帖子的收藏数，感谢数为一个依据。

其次是发帖人的资质，比如注册时间，发帖数，回帖数。

当然我不知道你能不能抓到这些数据，仅仅是给一些建议。

dbbbit

2014-09-04 12:38:35 +08:00

@kokdemo

非常好的建议。

现在的方法是基于手上的数据，里面确实没有你的建议里提到的数据类型。
主要我比较懒，我会试试爬取更多的数据。

关于发帖人的资质
曾想过用 pagerank 对用户做 rank。
一个 @ 动作就是一次投票。
得到发帖人的 rank 用来作为排序因素之一，但计算能力不足作罢。

dbbbit

2014-09-04 12:40:54 +08:00

@windedge

一个小时只能访问120次? 貌似没有发现这个限制