• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xiaoks
V2EX  ›  程序员

电影网站:关于大量关键字屏蔽与替换的设计思路

  •  
  •   xiaoks · Sep 14, 2015 · 5479 views
    This topic created in 4070 days ago, the information mentioned may be changed or developed.

    前几个月我做了一个电影分享网站,在运营的过程中发现:很多人分享 18 禁的内容,在评论里还有可能出现一些污秽语言。

    为了保证网站内部氛围的健康,之前采用在 code 写关键字的形式进行屏蔽。但是在运营的过程中还是会发现有不足,很多关键字依然没能屏蔽掉。关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    希望大家能分享一下简单有效设计思路,谢谢!

    ps :思路可行的前提下,尽量保证程序有效率。

    13 replies  •  2015-10-22 16:16:30 +08:00
    kslr
    kslr
    Sep 14, 2015❤️1
    1
    DFA 算法,关键字去青云的青云志我记得有个文章里面带了份北京公安局给的关键词名单。
    yinheli
    yinheli
    Sep 14, 2015
    2
    https://log.qingcloud.com/?p=389
    检索到了. 或许我也需要.
    virusdefender
    virusdefender
    Sep 14, 2015
    3
    @yinheli 这关键词也太粗了吧

    自制
    购买
    直销
    订购
    卖
    提供
    专卖
    热销
    批发
    供应
    专供
    买卖
    自制
    订购
    售
    专卖
    热销
    供应
    买卖
    售
    销售
    直销
    批发
    供应

    这都是关键词...
    imn1
    imn1
    Sep 14, 2015
    4
    有这个关键词详单分享一下
    seiwev
    seiwev
    Sep 14, 2015
    5
    都做电影分享网站了还怕 18 禁?电影分享一样被禁。
    9hills
    9hills
    Sep 14, 2015
    6
    > 关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    如果只是解决这个问题,那你把关键词做成可动态加载的字典不就好了。存到数据库里也行啊

    当时高级点还有些别的方法
    mengzhuo
    mengzhuo
    Sep 14, 2015
    7
    直接上 cuckoo filter 不就结了,关键是分词得做好
    2015813
    2015813
    Sep 14, 2015 via iPhone
    8
    这个自己写的话很麻烦,建议用现场代码
    nowcoder
    nowcoder
    Sep 15, 2015
    9
    自己写很容易。把关键词做成一个字典树。 对 ugc 进行查找,效率很高的。 去百度搜 DFA ,字典树,敏感词代码到处都是,根本没几行
    nowcoder
    nowcoder
    Sep 15, 2015
    10
    @kslr 求名单地址
    jugelizi
    jugelizi
    Sep 15, 2015
    11
    存到数据库发布后状态为 0 不立即显示呀,后台跑个任务过滤完成了再显示出来
    dingyaguang117
    dingyaguang117
    Sep 17, 2015
    12
    请搜索 AC 自动机
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4809 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 08:58 · PVG 16:58 · LAX 00:58 · JFK 03:58
    ♥ Do have faith in what you're doing.