52G 的库，用什么办法检索速度最快？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 3156 天前的主题，其中的信息可能已经有所发展或是发生改变。

只导了 126 的数据到 mysql 已经有 10G ，做了索引， like 语法查起来还是很慢。（平均： 45s 设备： 256SSD+i5 ）要想达到 163password.download 查询的速度，该用什么技术或架构？

MySQL

索引

SSD

语法

63 条回复 • 2016-04-06 17:59:24 +08:00

Bryan0Z

2016-04-04 14:43:03 +08:00 via Android

这网站为什么会返回乱码，是我的密码还没泄露？
另外参照找密码网的源码，人家 500G 数据， 30 多个库速度也在 10 秒以内

zonghua

2016-04-04 14:43:25 +08:00 via iPhone

按首字母分库啊，并行查找

yeyeye

2016-04-04 14:46:05 +08:00

他的是精确查找你的是 like 查找不是一个道理吧。只是要精确查找的话还可以分成很多个表，查询速度必然迅捷无比。最简单的按 2 位首字母分表就可以分至少 1296 个查询的时候做下判断就可以精确的去相应的表里面查性能直接提升 1296 倍你的 45S 马上就变成了 0.0347S

dapang1221

2016-04-04 14:53:48 +08:00

Sphinx

kslr

2016-04-04 15:16:37 +08:00

话说那个 TXT 里面乱七八糟的格式，我导了 100 万就放弃了，太麻烦了。

Flygoat

2016-04-04 15:32:11 +08:00 via iPhone

mongodb ？

416877140

2016-04-04 15:36:35 +08:00

@Bryan0Z 改 utf8 编码就好了

ifconfig

2016-04-04 15:39:03 +08:00 via iPhone

@yeyeye 虽然不是太懂，感觉好牛叉的样子，我先试试用首字母分区

liyvhg

2016-04-04 15:44:22 +08:00

全部加载到内存

ifconfig

2016-04-04 15:44:23 +08:00

@kslr 我用的是 LOAD DATA INFILE 语法，秒导

ifconfig

2016-04-04 15:45:38 +08:00

@Bryan0Z 哥们你说的找密码网的源码，有没有链接？

ucaime

2016-04-04 15:50:09 +08:00 via iPhone

倒入到 ES 集群了，嗯，正在倒入，还有两个包，几个亿数据毫秒级。妈蛋这次的数据重复太多，去重略耗时间

kslr

2016-04-04 15:50:29 +08:00

@ifconfig 可是格式呢，里面有----切分的还有不定长度空格什么的

ifconfig

2016-04-04 15:52:34 +08:00

@kslr
LOAD DATA INFILE 'path/info.txt' INTO TABLE xxx FIELDS TERMINATED BY '----' LINES TERMINATED BY '\n';
多看点参数说明就好了

ifconfig

2016-04-04 15:59:46 +08:00

@ucaime 看来哥们是搞大数据专家，我准备上 sphinx 试试

slixurd

2016-04-04 16:03:42 +08:00

Elastic Search 啊，虽然 like 这种通配符匹配还是很慢，但是分词后的模糊查询超快的，我们现在一个 index 就是 80G ，速度还超快。

ifconfig

2016-04-04 16:05:51 +08:00

@slixurd 牛叉，接触 ES 试试

SlipStupig

2016-04-04 16:17:49 +08:00

mongodb+es 几十亿都没任何问题，这种杂乱数据注意一下清洗，如果要做规则或者杂乱格式转发请用 kettle ，不过话说学会都是一个月后的事情了

SlipStupig

2016-04-04 16:18:26 +08:00

求裤子分享

badcode

2016-04-04 16:23:40 +08:00

ynyounuo

2016-04-04 16:25:27 +08:00

不先整理一下？我全部转为 UTF-8 然后合并到一个文件并且 sort -u 之后数据就只剩 12 GB 了，这还有大量重复的信息呢

lichao

2016-04-04 16:32:47 +08:00 via iPhone

这破事，网易官方有回应吗？

RangerWolf

2016-04-04 16:55:06 +08:00

我觉得 163password.download 并不快啊~

ucaime

2016-04-04 17:20:33 +08:00 via iPhone

@lichao 网易太鸡贼了，第一把所有曝出的库的邮箱标记为可疑，各种提示。第二把关键邮件比如苹果发来的要求手机验证查看，装糊涂吧

ifconfig

2016-04-04 17:27:00 +08:00

@ucaime 唧唧，这么一听你说，渣易真够贱的

dingyaguang117

2016-04-04 17:28:41 +08:00

163password.download 是不是不全啊？我查了没有

dingyaguang117

2016-04-04 17:30:41 +08:00

@ynyounuo 为什么还需要转码？邮箱密码不应该 ascii 就够了吗

badcode

2016-04-04 18:04:38 +08:00

有意思，一张图片一个小时多而已
来自 v2 的 views 就有 300 多次

guoer

2016-04-04 18:14:13 +08:00

你们都下载好了？

jiongjionger

2016-04-04 18:22:39 +08:00

只有 50 多 G ，直接丢内存得了

soway

2016-04-04 18:28:49 +08:00 via Android

类似搜索引擎的做法

ianisme

2016-04-04 18:36:27 +08:00

grep -nr 自己的邮箱啊！！ *

ifconfig

2016-04-04 18:53:38 +08:00

@ianisme grep 效率太低了，还是上 ES 搜索系统试试

SlipStupig

2016-04-04 18:57:56 +08:00

求下载地址啊

ifconfig

2016-04-04 19:43:05 +08:00 via iPhone

@SlipStupig v 站内就有的

jhaohai

2016-04-04 19:49:49 +08:00 via iPhone

索引对 like 无效

kuzhan

2016-04-04 19:50:14 +08:00

分表

moult

2016-04-04 20:06:35 +08:00

模糊查找的话，还是基于 Lucene 吧。
精确查找的话，关系型数据库也不会慢吧。或者试试看 Redis 。

strwei

2016-04-04 20:07:35 +08:00

试试文档数据库或者 Redis

ifconfig

2016-04-04 20:26:49 +08:00 via iPhone

@moult 这谢谢

ifconfig

2016-04-04 20:27:01 +08:00 via iPhone

@strwei 谢谢

micookie1

2016-04-04 20:29:39 +08:00

我忘记密码的终于找回了

strwei

2016-04-04 20:31:07 +08:00

@ifconfig 以前做 bt 搜索网站的时候用的 redis 网站 n G 数据，查找很快

linescape

2016-04-04 20:36:14 +08:00

@dingyaguang117 我查了有我的邮箱但是不是我的密码。。。

ucaime

2016-04-04 21:53:13 +08:00

http://www.03sec.com/usr/uploads/2015/04/2864323021.pdf

03sec 的老文，可以参考，用了 coreseek

ucaime

2016-04-04 21:54:22 +08:00

@jhaohai 谁说无效，正序索引只要 like 不是%开始还是可以用的

TemporaryID

2016-04-04 23:23:19 +08:00

导入数据： http://pastebin.com/2PyKHPjn
Web 服务： http://pastebin.com/SErx0WNj

用的是 LevelDB
导入后大概 25GB
服务器在 DigitalOcean 上
楼上 @yeyeye 说的对，因为是精确匹配，所以快

还有真的不要 DDoS 我好吗，我真的不是做这个的，只是玩玩 T_T