测试一个自制的 V2EX 搜索

爱意满满的作品展示区。

This topic created in 4286 days ago, the information mentioned may be changed or developed.

先贴地址：

http://shixiz.com

用 elasticSearch 作为搜索引擎，数据来自 v2ex 的 api 接口

索引了全部主题和大部分回复（主题目前半小时更新一次，回复还未开始更新）

这几天刚刚加上了中文分词，可用性总算达到了及格线。

自己 YY 了一种简单的`综合排序`方法

log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）

同时还可以根据 `发布时间` `回复数` `匹配分` 对结果排序。

部署在 ec2 上，索引全部数据居然用了两天啊，妈蛋。是分词用的词库太大？

p.s. 回贴最好贴下`搜索关键词`和`结果评价`
感恩：）

Supplement 1 · Sep 4, 2014

开放 API 测试：

http://shixiz.com:8000/api?q=python&from=2&limit=1&s=match

@hoogle

各参数的意义如下(与 web 一致）：

q：请求关键词
from: 偏移
limit：页大小
s：排序 ['match', 'created', 'sumup', 'replies']

分词

复数

V2EX

48 replies • 2014-09-07 23:09:35 +08:00

hoogle

Sep 3, 2014

大赞。。有考虑提供接口么？想在客户端提供搜索功能。这个刚好～！！！

dbbbit

Sep 3, 2014

@hoogle
哈，接口可以有

kisshere

Sep 3, 2014

log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）能解释一下为什么要这样吗？

dbbbit

Sep 3, 2014

@kisshere
首先必须说明，这是YY出来的。

如果你有兴趣可以看看阮一峰翻译的几篇排序算法。
包括 hacknews reddit 等。
http://www.ruanyifeng.com/blog/2012/02/ranking_algorithm_hacker_news.html

楼主在认真看了这几个算法后，发现还是没太多实际的想法
于是手动测试出这个综合评分的算法，结果怎么样也说不好。
不过至少可以保证排在前面的结果与那三个因素成正比
log2 是因为想要减低某种因素的影响

大概就是这样。

Mihuwa

Sep 3, 2014

酷。。。

kchum

Sep 3, 2014 via iPhone

被玩坏了？手机党打不来！

freeze

Sep 3, 2014

楼主能把搜索栏居中吗？看着难受

qiayue

PRO

Sep 3, 2014

赞!

XerWandeRer

Sep 3, 2014

关键字: http proxy
结果评价: Right on target.
Thanks!

yetone

Sep 3, 2014

大赞！

ilovehoo

Sep 3, 2014

不错哦~~

dbbbit

Sep 3, 2014

@kchum 我的可以打开。。
@freeze 本人前端渣页面是乱来的，多谢意见

jdqingm

Sep 3, 2014

哎呦不错哦

Akagi201

Sep 3, 2014

lw-clogger 我前几天发的帖子, 没有搜到, google是有的

dbbbit

Sep 3, 2014

@Akagi201
确实是，中间数据断层了。回头补上，爬虫不够健壮

jas0ndyq

Sep 3, 2014

好喜欢忍者图标~~~有木有版权~~~

dbbbit

Sep 3, 2014

@jas0ndyq
我的头像和搜索的图标都是非法使用。。。

jas0ndyq

Sep 3, 2014

@dbbbit 好吧~~~

kokdemo

Sep 3, 2014

log2(回复)
这一项的权重太大了，会导致更容易搜出来的是那些经典长贴……

zhiyongyici

Sep 4, 2014 via iPhone

google 无法使用的前提下，这简直就是神器！

momou

Sep 4, 2014

Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/jquery/1.11.1/jquery.min.js
Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/bootstrap/3.2.0/css/bootstrap-theme.min.css

Livid

MOD

PRO

Sep 4, 2014

做得非常好。

我比较好奇，目前这个数据量，是跑在一台什么配置的机器上呢？

dbbbit

Sep 4, 2014 via iPad

@Livid
就是 ec2 的免费实例
单核 1Gb ssd

dbbbit

Sep 4, 2014

@kokdemo
虽然也有同感，但是能否给几个关键词？
方便我作为判断和调整的依据
不能否认做排序的时候我并不介意经典大长贴出现在前面
但是有时候时间太过久远，比较难取舍，这是个难题诶
也欢迎提供更好的排序方法。

vinsa

Sep 4, 2014

相当赞

nsxuan

Sep 4, 2014

@dbbbit 如果能开源一下就再好不过了

dbbbit

Sep 4, 2014

@nsxuan 我也是这么想的，会尽快开源。

talentsnail

Sep 4, 2014

感谢已发送:)

dudong0726

Sep 4, 2014

dota2
谷歌抽风之后，v2的搜索一直是个痛

windedge

Sep 4, 2014

v2ex的api限制一个小时只能访问120次, 你爬取数据用了多长时间?

kokdemo

Sep 4, 2014

@dbbbit

你现在用的公式是： log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）

分为三个部分，回帖数，匹配得分，存在时间三个部分。

但是考虑到v2上会有一些吵架贴的存在，所以第一部分其实很不稳定。

相对来说，你可以取帖子的收藏数，感谢数为一个依据。

其次是发帖人的资质，比如注册时间，发帖数，回帖数。

当然我不知道你能不能抓到这些数据，仅仅是给一些建议。

dbbbit

Sep 4, 2014

@kokdemo

非常好的建议。

现在的方法是基于手上的数据，里面确实没有你的建议里提到的数据类型。
主要我比较懒，我会试试爬取更多的数据。

关于发帖人的资质
曾想过用 pagerank 对用户做 rank。
一个 @ 动作就是一次投票。
得到发帖人的 rank 用来作为排序因素之一，但计算能力不足作罢。

dbbbit

Sep 4, 2014

@windedge

一个小时只能访问120次? 貌似没有发现这个限制