有什么不良内容检测的方案吗？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3940 days ago, the information mentioned may be changed or developed.

最近在做一个百度贴吧的自动管理机。
现在用的是关键词判别，但是这样误杀率太高了。。。
有没有什么现有的不良内容（涉黄，粗口，不友善）检测方案吗？

顺便丢个地址，求 star 什么的。。。
TiebaManager

误杀率

不良

检测

判别

33 replies • 2016-01-27 10:46:32 +08:00

KIDJourney

Jan 25, 2016

这个现在已经可以用啦，只不过根据关键词来弄得话误杀率比较高。。。

aheadlead

Jan 25, 2016

https://www.aliyun.com/product/lvwang

https://www.aliyun.com/product/cdi

KIDJourney

Jan 25, 2016

@aheadlead 多谢。

SoHMarionette

Jan 25, 2016

实际来说都会有一定的误判吧
例如发广告的加空格，连句触发
毕竟中华文化博大精深

zhicheng

Jan 25, 2016 via Android

朴素贝叶斯

ethego

Jan 25, 2016

@SoHMarionette 去空格再进行分词，现在中文分词的正确率已经非常高了

SoHMarionette

Jan 25, 2016

@ethego 不仅仅是空格，还有加符号的，加一样的字的什么的层出不穷，邮箱已经见惯不惯了

ethego

Jan 25, 2016

@SoHMarionette 一行正则就能剔除所有符号

KIDJourney

Jan 25, 2016

@zhicheng 吧务后台现在有问题，不然我也用训练集了。

timepast

Jan 25, 2016

同求一份脏字库

lrz0lrz

Jan 25, 2016

@ethego 同噩性噩交噩友，缓錒解錒寂錒寞 wWw 点 V2EX 点 cOm

ethego

Jan 25, 2016

@lrz0lrz 你这个只能人工审核，没别的办法

ethego

Jan 25, 2016

@lrz0lrz 可以做到把这种异常的语句剔出来人工审

nlzy

Jan 25, 2016 via Android

迅哥好

@lrz0lrz 这个不应该是 wWw 点 BilIbiLi 点 c0M 么

aprikyblue

Jan 25, 2016

只有我想到鉴黄师吗？:doge:

KIDJourney

Jan 25, 2016

@nlzy 泥壕

gzlock

Jan 26, 2016 via Android

@lrz0lrz
正则可破，就是开销大
同.{0,3}性.{0,3}交.{0,3}友
但如果用同音字就无解了：铜星焦油无解

@nlzy 网址有点麻烦，不过还是有规律
例如你举例的
.{1,5}[.。点點].{2,10}[.。点點].{2,5}

ps ：以上正则用于已去除空格的文本

ryd994

Jan 26, 2016 via Android

贝叶斯大法好
但首先你得有足够的样本库……

nlzy

Jan 26, 2016 via Android

@gzlock 误杀率好高，这个正则连 2016.01.26 或 ...... 都能匹配到

KIDJourney

Jan 26, 2016

@ryd994
吧务后台挂啦。。。。不然我就用了。。。。。
而且还要处理图片，这个比较麻烦。。。

em70

Jan 26, 2016 via iPhone

阿里云的 OSS 有图片鉴黄功能了

KIDJourney

Jan 26, 2016

@em70 看到啦，多谢。

wd0g

Jan 26, 2016

腾讯好像有个语义识别

KIDJourney

Jan 26, 2016

@wd0g 看了，很棒，多谢～
但是 API 太贵了。。。。

lavasing

Jan 26, 2016 via Android

@nlzy
@lrz0lrz
应该是 github
:doge:

ye10010

Jan 26, 2016

@ryd994 有没有贝叶斯 python 实现方面的资料参考下?俺有样本

KIDJourney

Jan 26, 2016

@ye10010 scikit-learn

KIDJourney

Jan 26, 2016

@ye10010 为啥不问我← ←

wd0g

Jan 26, 2016

@KIDJourney 自己抓包腾讯语义分析 demo 站的 API ，我以前试过可以的！

ryd994

Jan 27, 2016 via Android

@ye10010 我没做过，不了解

ye10010

Jan 27, 2016

@KIDJourney 多谢大神^-^,star 啦.
是 steam 吧 KIDJourney 吗?好活跃,可惜俺不玩游戏

KIDJourney

Jan 27, 2016

@wd0g 我一开始也是这样想的 23333
我每分钟要判 20 次，我多开几个 IP 吧。

KIDJourney

Jan 27, 2016

@ye10010 是哒，我也不怎么玩了。