V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xiaoks
V2EX  ›  程序员

电影网站:关于大量关键字屏蔽与替换的设计思路

  •  
  •   xiaoks · Sep 14, 2015 · 5020 views
    This topic created in 3878 days ago, the information mentioned may be changed or developed.

    前几个月我做了一个电影分享网站,在运营的过程中发现:很多人分享 18 禁的内容,在评论里还有可能出现一些污秽语言。

    为了保证网站内部氛围的健康,之前采用在 code 写关键字的形式进行屏蔽。但是在运营的过程中还是会发现有不足,很多关键字依然没能屏蔽掉。关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    希望大家能分享一下简单有效设计思路,谢谢!

    ps :思路可行的前提下,尽量保证程序有效率。

    13 replies    2015-10-22 16:16:30 +08:00
    kslr
        1
    kslr  
       Sep 14, 2015   ❤️ 1
    DFA 算法,关键字去青云的青云志我记得有个文章里面带了份北京公安局给的关键词名单。
    yinheli
        2
    yinheli  
       Sep 14, 2015
    https://log.qingcloud.com/?p=389
    检索到了. 或许我也需要.
    virusdefender
        3
    virusdefender  
       Sep 14, 2015
    @yinheli 这关键词也太粗了吧

    自制
    购买
    直销
    订购

    提供
    专卖
    热销
    批发
    供应
    专供
    买卖
    自制
    订购

    专卖
    热销
    供应
    买卖

    销售
    直销
    批发
    供应

    这都是关键词...
    imn1
        4
    imn1  
       Sep 14, 2015
    有这个关键词详单分享一下
    seiwev
        5
    seiwev  
       Sep 14, 2015
    都做电影分享网站了还怕 18 禁?电影分享一样被禁。
    9hills
        6
    9hills  
       Sep 14, 2015
    > 关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    如果只是解决这个问题,那你把关键词做成可动态加载的字典不就好了。存到数据库里也行啊

    当时高级点还有些别的方法
    mengzhuo
        7
    mengzhuo  
       Sep 14, 2015
    直接上 cuckoo filter 不就结了,关键是分词得做好
    2015813
        8
    2015813  
       Sep 14, 2015 via iPhone
    这个自己写的话很麻烦,建议用现场代码
    nowcoder
        9
    nowcoder  
       Sep 15, 2015
    自己写很容易。把关键词做成一个字典树。 对 ugc 进行查找,效率很高的。 去百度搜 DFA ,字典树,敏感词代码到处都是,根本没几行
    nowcoder
        10
    nowcoder  
       Sep 15, 2015
    @kslr 求名单地址
    jugelizi
        11
    jugelizi  
       Sep 15, 2015
    存到数据库发布后状态为 0 不立即显示呀,后台跑个任务过滤完成了再显示出来
    dingyaguang117
        12
    dingyaguang117  
       Sep 17, 2015
    请搜索 AC 自动机
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5635 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 07:58 · PVG 15:58 · LAX 00:58 · JFK 03:58
    ♥ Do have faith in what you're doing.