目前使用了 php jieba 分词,加载了自己的词库,14 万行的词库,速度太慢。 有什么好的解决方法吗?
1
veike OP 那我就自问自答一波了。使用 swoole 搭建一个 http 服务器,加载字典的步骤在启动 swoole http 服务器的时候就执行。速度杠杠的。swoole 太牛逼了。现在别说 100000 行的字典,20 万行的字典都没有问题了。
|
2
KalaSearch 2020-08-28 00:27:24 +08:00
好久的贴,顺手答一波
词库加载速度和分词速度应该分开来算,词库一般加载后就 singleton 一直用了。单个分词速度可以试试不同分词器来算一下。 如果分词的作用是做搜索的话,我会建议 1. 不要把分词搞太复杂,需要高精度分词才能达到优秀结果的搜索引擎体验不会好 2. 主要把工作在索引的时候做完 如果感觉分词头疼,就是需要个搜索引擎用,也懒得维护个 ES 之类,可以考虑我们做的卡拉搜索 |