V2EX › vibbow 的所有回复 › 第 187 页 / 共 191 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 179 180 181 182 183 184 185 186 187 188 ... 191

❮

❯

2011-12-26 10:01:52 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

@dndx GTalk ... 木有... 我直接开Gmail吧.... [email protected]

2011-12-26 09:57:17 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

@dndx 明文问题难道很难解决么？出去关键字外随机星号几个字符就行了。

2011-12-26 09:49:38 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

呃...
终于读懂了你的代码，不过你的代码貌似没有考虑读取步进的问题。
举例来说，比如说我有这么 12345678这么一串字符串，我想搜索456。
你的代码先读取了1234，发现没有匹配，然后直接读取了5678，发现还是没有匹配。
于是就认为不匹配了。
我觉得这就是你 large 函数里发生的错误...

呃... 刚才用XDebug对我的代码进行了一下性能分析，发现最耗性能的居然是strtolower函数...
看来有必要做两份数据库了...

2011-12-26 08:33:25 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

而且你的代码貌似区分大小写来着...

2011-12-26 08:21:51 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

发现一个问题诶。
你的代码，搜索正常的csdn文件速度是很快
但是如果我自己创建个文件，每行都是 "vibbow\r\n" 重复上两三万行
那么用你的代码搜索vibbow，一个结果都木有...

2011-12-26 06:44:42 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

当然了，运行时间也是和结果数量是成正比的。
如果结果数量特别多的话就需要七八分钟了。

2011-12-26 06:43:26 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

我没觉得我的搜索速度有多快啊...
既不支持正则，也不支持行号输出...

我搜索服务端算法大体改了3次，我整理整理代码加一下注释，稍后发上来。

性能信息就是：在E5400处理器上，只使用1核心（PHP一次也只能使用一个核心），7200转普通sata硬盘，3G内存上（根据Process Explorer的记录，httpd进程峰值占用了650M的内存），对所有9个数据库搜索（纯文本文件，总大小4.6G），单关键字搜索大约需要3分钟，10关键字并发搜索大约需要5分钟...

2011-12-26 05:20:28 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

也就是说硬盘性能根本不是瓶颈，而是CPU性能。

2011-12-26 05:18:40 +08:00

回复了 Tianpu 创建的主题 › PHP › 纯php实现大文件全文搜索

相信我，搜索时大部分时间不是浪费在硬盘时间上，而是strpos过程上。

2011-12-26 04:04:05 +08:00

回复了 vibbow 创建的主题 › 信息安全 › 重新分享：密码泄漏全文搜索工具，1亿多条数据

@dndx MySQL

2011-12-25 23:30:53 +08:00

回复了 vibbow 创建的主题 › 信息安全 › 重新分享：密码泄漏全文搜索工具，1亿多条数据

额... 蛋疼了。在twitter上发了一下链接，结果现在列队里积攒了800多个搜索...
服务器一晚上都闲不了了...