This topic created in 4259 days ago, the information mentioned may be changed or developed.
先贴地址：
http://shixiz.com
用 elasticSearch 作为搜索引擎，数据来自 v2ex 的 api 接口
索引了全部主题和大部分回复（主题目前半小时更新一次，回复还未开始更新）
这几天刚刚加上了中文分词，可用性总算达到了及格线。
自己 YY 了一种简单的`综合排序`方法
log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）
同时还可以根据 `发布时间` `回复数` `匹配分` 对结果排序。
部署在 ec2 上，索引全部数据居然用了两天啊，妈蛋。是分词用的词库太大？
p.s. 回贴最好贴下`搜索关键词`和`结果评价`
感恩 ：）
http://shixiz.com
用 elasticSearch 作为搜索引擎，数据来自 v2ex 的 api 接口
索引了全部主题和大部分回复（主题目前半小时更新一次，回复还未开始更新）
这几天刚刚加上了中文分词，可用性总算达到了及格线。
自己 YY 了一种简单的`综合排序`方法
log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）
同时还可以根据 `发布时间` `回复数` `匹配分` 对结果排序。
部署在 ec2 上，索引全部数据居然用了两天啊，妈蛋。是分词用的词库太大？
p.s. 回贴最好贴下`搜索关键词`和`结果评价`
感恩 ：）
Supplement 1 · Sep 4, 2014
开放 API 测试：
http://shixiz.com:8000/api?q=python&from=2&limit=1&s=match
@hoogle
各参数的意义如下(与 web 一致）：
q：请求关键词
from: 偏移
limit： 页大小
s：排序 ['match', 'created', 'sumup', 'replies']
http://shixiz.com:8000/api?q=python&from=2&limit=1&s=match
@hoogle
各参数的意义如下(与 web 一致）：
q：请求关键词
from: 偏移
limit： 页大小
s：排序 ['match', 'created', 'sumup', 'replies']
 |
1
hoogle Sep 3, 2014
大赞。。 有考虑提供接口么？ 想在客户端提供搜索功能。 这个刚好～！！！
|
 |
3
kisshere Sep 3, 2014
log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间）能解释一下为什么要这样吗？
|
 |
4
dbbbit OP  1
@kisshere
首先必须说明，这是YY出来的。 如果你有兴趣可以看看阮一峰翻译的几篇排序算法。 包括 hacknews reddit 等。 http://www.ruanyifeng.com/blog/2012/02/ranking_algorithm_hacker_news.html 楼主在认真看了这几个算法后，发现还是没太多实际的想法 于是手动测试出这个综合评分的算法，结果怎么样也说不好。 不过 至少可以保证 排在前面的结果与那三个因素成正比 log2 是因为想要减低某种因素的影响 大概就是这样。 |
 |
5
Mihuwa Sep 3, 2014 1
酷。。。
|
 |
6
kchum Sep 3, 2014 via iPhone
被玩坏了？手机党打不来！
|
 |
7
freeze Sep 3, 2014 1
楼主能把搜索栏居中吗？看着难受
|
 |
8
qiayue PRO 1
赞!
|
 |
9
XerWandeRer Sep 3, 2014 1
关键字: http proxy
结果评价: Right on target. Thanks! |
 |
10
yetone Sep 3, 2014 1
大赞！
|
 |
11
ilovehoo Sep 3, 2014 1
不错哦~~
|
 |
13
jdqingm Sep 3, 2014
哎呦不错哦
|
 |
14
Akagi201 Sep 3, 2014
lw-clogger 我前几天发的帖子, 没有搜到, google是有的
|
 |
16
jas0ndyq Sep 3, 2014
好喜欢忍者图标~~~有木有版权~~~
|
 |
19
kokdemo Sep 3, 2014 1
log2(回复)
这一项的权重太大了，会导致更容易搜出来的是那些经典长贴…… |
 |
20
zhiyongyici Sep 4, 2014 via iPhone
google 无法使用的前提下，这简直就是神器！
|
 |
21
momou Sep 4, 2014
Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/jquery/1.11.1/jquery.min.js
Failed to load resource: net::ERR_CONNECTION_RESET http://cdn.bootcss.com/bootstrap/3.2.0/css/bootstrap-theme.min.css |
 |
22
Livid MOD PRO 做得非常好。
我比较好奇，目前这个数据量，是跑在一台什么配置的机器上呢？ |
|
24
dbbbit OP @kokdemo
虽然也有同感，但是能否给几个关键词？ 方便我作为判断和调整的依据 不能否认做排序的时候我并不介意经典大长贴出现在前面 但是有时候时间太过久远，比较难取舍，这是个难题诶 也欢迎提供更好的排序方法。 |
 |
25
vinsa Sep 4, 2014
相当赞
|
 |
28
talentsnail Sep 4, 2014
感谢已发送:)
|
 |
29
dudong0726 Sep 4, 2014
dota2
谷歌抽风之后，v2的搜索一直是个痛 |
 |
30
windedge Sep 4, 2014
v2ex的api限制一个小时只能访问120次, 你爬取数据用了多长时间?
|
|
31
kokdemo Sep 4, 2014
@dbbbit
你现在用的公式是： log2（回复数）* 搜索引擎的匹配得分 * log2（发帖时间 - 建站时间） 分为三个部分，回帖数，匹配得分，存在时间三个部分。 但是考虑到v2上会有一些吵架贴的存在，所以第一部分其实很不稳定。 相对来说，你可以取帖子的收藏数，感谢数为一个依据。 其次是发帖人的资质，比如注册时间，发帖数，回帖数。 当然我不知道你能不能抓到这些数据，仅仅是给一些建议。 |
|
32
dbbbit OP 1
@kokdemo
非常好的建议。 现在的方法是基于手上的数据，里面确实没有你的建议里提到的数据类型。 主要我比较懒，我会试试爬取更多的数据。 关于发帖人的资质 曾想过用 pagerank 对用户做 rank。 一个 @ 动作就是一次投票。 得到发帖人的 rank 用来作为排序因素之一，但计算能力不足 作罢。 |
 |
34
yuankui Sep 4, 2014 1
问下楼主为什么要用elasticSearch作为搜索引擎
而不是solr/lucene之类的呢？ |
 |
35
ven Sep 4, 2014
威武！
|
 |
36
xiaowangge Sep 4, 2014
楼主能把搜索栏居中吗？看着难受 = =.
:-) |
 |
37
jaylong Sep 4, 2014 1
早就不爽自带的google自定义搜索了。楼主加油！
|
|
38
dbbbit OP |
|
39
dbbbit OP @yuankui
楼主通常选择东西都是凭感觉 囧 es 和 solr 都是基于lucene，好坏楼主也说不上来 es 是在 logstash + kibana + es 的场景中了解到的 感觉对 restful 接口很容易使用，对用户较友好 还有分布式搜索 听起来很炫（虽然还用不上） 大概就是这样 |
 |
40
hzlzh PRO 做得很好，pagerank？这个可以有。
|
 |
41
skyline75489 Sep 4, 2014
看起来结果还挺好的，感谢楼主
|
 |
42
withrock Sep 5, 2014
不错不错，眼前一亮的赶脚。
|
 |
43
poke707 Sep 5, 2014
|
|
44
dbbbit OP |
 |
45
smalldirector Sep 5, 2014
@dbbbit 非常不错，响应速度也可以，想学习学习，希望能够开源+1
|
|
46
dbbbit OP |
|
47
hoogle Sep 7, 2014
感谢。。 太好了。。 我会尽快加上搜索功能～～
|
 |
48
zckevin Sep 7, 2014
相当赞！期待开源~ :-）
|
Select Language