V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
nowgoo
V2EX  ›  PHP

再造个轮子,简单快速的 PHP 词库工具

  •  
  •   nowgoo · Jul 4, 2014 · 8069 views
    This topic created in 4321 days ago, the information mentioned may be changed or developed.
    这么说吧,假如你有一段文本,还有一个巨大的关键词库(几十万起步),现在需要从文本中找出这些关键词,甚至要基于关键词对应的值做一些替换,怎么弄?

    在这个简单又常见的需求面前,strtr str_replace preg_replace 什么的集体歇菜了,因为词库太大。

    scws?一开始我也这么弄的,可惜它只能帮你把词库中的词找出来,不能基于关键词对应的值进行处理。虽然可以利用词库的属性字段,但它只支持两个字节,显然不能满足需求。

    在 Google 上找了半天也没找到我需要的轮子,只好自己撸了一个词库工具:

    SimpleDict
    https://github.com/nowgoo/dict

    简单。纯 PHP 实现,不用安装扩展,也不依赖 xcache memcache redis 之类的缓存。
    实用。支持大词库,我自己 40W 的词库跑起来轻轻松松。还支持回调式替换哦!
    快速。使用了高大上的 trie 树进行匹配,查找耗时跟文本长度相关,跟词库大小关系不大,速度杠杠的。词典保存成二进制文件,使用时只维持一个文件句柄,避免了传统 trie 树内存开销巨大的弊端。

    欢迎有需要的朋友试用 :P
    13 replies    2014-11-23 15:50:14 +08:00
    kenzi
        1
    kenzi  
       Jul 4, 2014 via Android
    多谢,最近正好需要给几个大文件替换不同的内容生成不同的文件。 preg_replace 太慢了
    nowgoo
        2
    nowgoo  
    OP
       Jul 4, 2014
    @kenzi 感谢测试。替换功能还没来得及优化,有什么 BUG 欢迎反馈。
    wgqzlj
        3
    wgqzlj  
       Jul 4, 2014
    这个很赞,star了!
    cornelia
        4
    cornelia  
       Jul 4, 2014
    点赞头像,野田妹;-)
    wanjun
        5
    wanjun  
       Jul 4, 2014
    我是来看头像的
    jingwentian
        6
    jingwentian  
       Jul 4, 2014
    准备文本格式的词库的格式: 词语<tab>值
    LZ给两个例子我看看吧

    已感谢..
    ideaa
        7
    ideaa  
       Jul 4, 2014
    刚好要用,赞个
    zjupigeon
        8
    zjupigeon  
       Jul 4, 2014
    php有没有什么好的开源项目,想学习下php
    raincious
        9
    raincious  
       Jul 4, 2014
    求做成Composer兼容的。
    crny520
        10
    crny520  
       Jul 4, 2014
    我冲着头像来的。。
    chijiao
        11
    chijiao  
       Jul 4, 2014
    感觉很吊的样子
    star001007
        12
    star001007  
       Jul 29, 2014
    star
    mingyun
        13
    mingyun  
       Nov 23, 2014
    nice
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2199 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 16:09 · PVG 00:09 · LAX 09:09 · JFK 12:09
    ♥ Do have faith in what you're doing.