V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
atpking
V2EX  ›  全球工单系统

今天被某云厂商存储的死循环逻辑弄死了

  •  1
     
  •   atpking · 2021-06-09 15:21:17 +08:00 · 7967 次点击
    这是一个创建于 1287 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大概是这么样的

    我们有一个审核平台, 是存储应用违规记录的, 之后如果应用违规涉黄, 我们就需要截图存证 之后 今天客服反馈, 无法截图上传了. 最后一一番检查, 发现是云厂商的问题, 直接不返回任何内容了. 工单沟通, 说是因为我们的存储涉黄, 所以封禁了

    我一做内容鉴黄,留凭证的业务,到底算不算涉黄?

    厂商告诉了我们 bucket 某个 object 违规, 但是 我现在已经无法查看这个 bucket 上的内容, 因为整个 bucket 生成的地址已经 403 了.

    最后 我们说明了理由, 说我们这个只有上传, 和内部人员的审核, 外部无法访问

    工单说, 写申请, 15 个工作日解封.

    跟这家云厂商本来关系不错的, 上周我还请他们个哥们吃饭, 结果出这档子事.

    最后想问大家, 是如何保存这种 需要对违法犯罪的证据做存证的存储的, 感觉就是个死循环

    第 1 条附言  ·  2021-06-09 17:33:35 +08:00
    最后 我咨询了国内几家大家都用的 bucket 存储厂商

    答案都是 不能将 bucket 存储本身涉黄的内容, 哪怕你本来就是审核涉黄内容而存下的证据.


    解决方案:

    如果使用的是阿里云:

    阿里云有提供 审核转储, 也就再让阿里的人审核一次, 他们会将违规内容存到一个专用的 bucket 上, 这个转储的 object 会被内部标记为证据保留.


    任意厂商:

    方案 A: 自行存储在服务器中, 理论上云厂商不会对服务器的文件进行扫描

    方案 B: 上传前加密, 下载后自行解密, 保证公共范围内, 没有解密方案无法读取数据
    82 条回复    2022-07-22 00:58:22 +08:00
    wellsc
        1
    wellsc  
       2021-06-09 15:22:06 +08:00 via iPhone
    阿里?
    atpking
        2
    atpking  
    OP
       2021-06-09 15:23:02 +08:00
    @wellsc 不要猜云厂商啦 都是兄弟伙 只是想如何规避这个问题
    kop1989
        3
    kop1989  
       2021-06-09 15:23:26 +08:00
    1 、加密存储。
    2 、打码处理。
    DGideas
        4
    DGideas  
       2021-06-09 15:25:26 +08:00   ❤️ 8
    之前往某对账存储服务里用户上传了个眼镜框都被封了
    petercui
        5
    petercui  
       2021-06-09 15:25:38 +08:00
    从理论上来说,你这就是上传涉黄内容,这种东西还用云存储?就算你这次解封了,明年护网阶段还得给你封了。
    atpking
        6
    atpking  
    OP
       2021-06-09 15:26:10 +08:00
    @kop1989
    1. 其实本身就是私有 bucket , 这次感觉也是云厂商内部审核扫到的 因为地址不会在公网暴露, 就算暴露, 5 分钟后也就因为鉴权失效了

    2. 打码这个估计不行, 因为你这个是作为违规证据存档的 到时候别人有可能说 你这不是原始数据, 再就是成本问题, 还得给客服培训打码 多一道手续
    atpking
        7
    atpking  
    OP
       2021-06-09 15:29:03 +08:00
    @petercui 所以我觉得这个地方就有点死循环 公安要求我们存储审核记录 云厂商不允许我们存储涉黄材料 那我只能拷到自己的私有硬盘上?
    ZhaoHuiLiu
        8
    ZhaoHuiLiu  
       2021-06-09 15:29:24 +08:00
    先数据储存在自己服务器上,审核通过了再上传到云服务器上?
    kop1989
        9
    kop1989  
       2021-06-09 15:30:18 +08:00
    @atpking #6

    其实本质上就是一个责任成本的问题。不是技术问题,也不是业务问题。

    对象存储方不愿意承担此责任。而且他也不想承担因此产生的后果和审核成本。
    事实其实对服务方不重要,他们要的就是不追加成本,不出生产事故。
    atpking
        10
    atpking  
    OP
       2021-06-09 15:30:28 +08:00
    @ZhaoHuiLiu
    关键是 我这个业务就是存储 涉黄违规图片的 不违规的 其实理论上我都不用保存
    MakeItGreat
        11
    MakeItGreat  
       2021-06-09 15:34:09 +08:00 via Android   ❤️ 2
    他是你兄弟的话,你为什么不找兄弟?
    wellsc
        12
    wellsc  
       2021-06-09 15:35:30 +08:00 via iPhone
    @atpking 自建(🐶,反正我们就是这么处理的
    ZhaoHuiLiu
        13
    ZhaoHuiLiu  
       2021-06-09 15:36:23 +08:00
    @atpking 既然储存的是图片,客户先上传到你自己服务器上,让云厂给你鉴黄 api 接口,再把数据发送到这个鉴黄接口上,如果是涉黄违规图片就储存到自己硬盘上,并在自己数据库表中标记为涉黄违规图片。这样不就解决保存证据的问题了吗?
    yitingbai
        14
    yitingbai  
       2021-06-09 15:38:56 +08:00   ❤️ 8
    为什么国家对于涉黄这么敏感? 每个人都需要的东西, 每天晚上都得干的事情, 就连主席也要娶老婆 , 有那么严重非要赶尽杀绝吗?
    ZhaoHuiLiu
        15
    ZhaoHuiLiu  
       2021-06-09 15:39:18 +08:00
    @atpking 这样做,还能让云厂给你做初步鉴黄,不更省事?为啥那么非要自己去仔细看图片呢?
    shyrock
        16
    shyrock  
       2021-06-09 15:40:33 +08:00
    截图加密后上传,需要取证时解密,行不行?

    话说你这还要请乙方吃饭,出了问题也只能网上求助,简直没有甲方的自觉。
    yunye
        17
    yunye  
       2021-06-09 15:43:47 +08:00   ❤️ 1
    事实证明酒肉朋友不如上网发帖
    shiny
        18
    shiny  
       2021-06-09 15:44:11 +08:00
    阿里的遇到过,用阿里 CDN 给腾讯 qpic 做个镜像,结果把腾讯认为没问题的图片给封了
    atpking
        19
    atpking  
    OP
       2021-06-09 15:45:04 +08:00
    @ZhaoHuiLiu 不是用户上传图片 是我们自己上传图片 上传 有人违规的证据, 不是 ugc, 是我们审核人员上传的 所以我们审核人员上传别人的涉黄证据的的时候 这个图片一定就是涉黄的.
    atpking
        20
    atpking  
    OP
       2021-06-09 15:50:58 +08:00
    @shyrock 跟乙方沟通了 乙方说 正在催 😂

    我倒是发现了他们封禁 bucket 的 bug , 通过他们的漏洞取巧解决了

    所以才有时间跟 v 友吹水讨论
    liudaolunhuibl
        21
    liudaolunhuibl  
       2021-06-09 15:52:05 +08:00
    我在想这种能不能不发图片呢,比如把图片转成 base64 或者加密之类的然后换成文本文件上传应该就识别不出来了把
    ZhaoHuiLiu
        22
    ZhaoHuiLiu  
       2021-06-09 15:52:45 +08:00   ❤️ 4
    @atpking 明白了,你的需求了。这样的话,你得对图片数据做下处理,比如把图片的二进制数据颠倒过来,这样云厂打不开,就不能判定是否涉黄了。你们要打开的时候,再把二进制数据颠倒过来就可以打开了。
    这个颠倒说的是,数据如果是 1a b4 e6 11, 你们颠倒为 11 e6 b4 1a 这样保存到云端就可以了。
    Symo
        23
    Symo  
       2021-06-09 15:54:17 +08:00
    七牛吧, 最近也遇到了, 拉个群处理的话, 挺麻烦.
    lakehylia
        24
    lakehylia  
       2021-06-09 15:54:22 +08:00
    1. 存自己服务器呗。
    2. 打包加密后存储咯。
    justfindu
        25
    justfindu  
       2021-06-09 15:56:59 +08:00
    有些厂商直接做内容安全之后可以使用证据转存. 这个就不会出现违规了. 就是用他们内容安全接口之后
    shapl
        26
    shapl  
       2021-06-09 15:57:39 +08:00
    把图片后缀改了再存。。客服审核时改回来,这样不知道可不可以。
    ch2
        27
    ch2  
       2021-06-09 15:59:37 +08:00
    加密存储
    atpking
        28
    atpking  
    OP
       2021-06-09 16:00:08 +08:00
    @ZhaoHuiLiu 明白你的意思 其实可以理解为 @liudaolunhuibl 说的方法

    就是审核界面的时候 很麻烦 需要自己包装一个 img 组件 来处理 因为图片没办法直接识别
    atpking
        29
    atpking  
    OP
       2021-06-09 16:04:51 +08:00
    @justfindu 哦? 哪家供应商 能透露下么
    gamexg
        30
    gamexg  
       2021-06-09 16:10:56 +08:00
    老实的加密保存
    否则,即使这次加了白名单解决了,下次净网行动一样可能挂。
    而且还最好是 aes 等强加密,
    justfindu
        31
    justfindu  
       2021-06-09 16:18:14 +08:00
    @atpking #29 阿里 内容安全 有一个证据转存
    liudaolunhuibl
        32
    liudaolunhuibl  
       2021-06-09 16:28:40 +08:00
    @atpking 审核还是图片啊, 就是上传图片之后肯定走的后端接口上传到云的 OSS 上把,在这个接口里面就把图片转了啊,然后转换成一个 txt 文本文件上传,我记得 2010 年左右贴吧还有个更绝的,就是在一个完全正常的图片里藏迅雷的种子
    petercui
        33
    petercui  
       2021-06-09 16:44:07 +08:00
    @atpking 你不想自建的话,可以做数据加密啊,用的时候再解密。
    atpking
        34
    atpking  
    OP
       2021-06-09 16:45:36 +08:00
    @petercui 嗯 是的 目前看来 这种最简单 不用动太大的逻辑
    atpking
        35
    atpking  
    OP
       2021-06-09 16:46:54 +08:00
    @liudaolunhuibl 直传 之不过想了下, 其实都无所谓 client 端 js 处理就好了, 都是小问题
    jingslunt
        36
    jingslunt  
       2021-06-09 16:49:47 +08:00
    存储涉及到法律地带的,只能自建存储。
    这类自建存储其实也不合规,触犯法律的,赵家内部存这些的自己都怕,更别说我们
    jingslunt
        37
    jingslunt  
       2021-06-09 16:55:27 +08:00
    如果是你们上传证据的,为什么不做成 pdf 等正规格式的,这类证据做成带密码的文档,
    或者做成带密码包的形式。还是安全意识不够
    chairuosen
        38
    chairuosen  
       2021-06-09 16:56:23 +08:00
    图片上传后就变成 public 的了,只是你没把 URL 泄露而已。
    弄个中间服务读图,图走内网 URL
    HarrisonZ
        39
    HarrisonZ  
       2021-06-09 17:03:06 +08:00
    如果 bucket 设置了 RAM 权限,只有认证之后的用户可以访问的话。那么厂商是怎么能扫描内容的。虽然厂商有一万种方法绕过他们自己的权限系统,但是要脸的厂商都不会这么做的吧
    atpking
        40
    atpking  
    OP
       2021-06-09 17:03:18 +08:00
    @jingslunt 主要是我们的上级机构 需要预览我们的审查内容,

    这个地方本来前面也有 OAuth 登录, 不可能有外界的人从我们的系统拿到这个地址.

    当然也有歪门邪道, 做个插件或者写个专用的油猴脚本, 但是我是正紧生意啊 搞得跟盗取美帝核心科技一样
    atpking
        41
    atpking  
    OP
       2021-06-09 17:28:38 +08:00
    @HarrisonZ 我咨询了几家云客服 他们会扫 oss, 无论权限
    zhuang0718
        42
    zhuang0718  
       2021-06-09 17:33:36 +08:00
    这种业务没有专门的通道 进行特殊报备 然后使用的渠道吗。。
    jingslunt
        43
    jingslunt  
       2021-06-09 17:35:06 +08:00
    @atpking oss 厂商都会对客户做大数据分析的,然后提供大数据类型的增值服务。
    绕过互联网用户很简单,你要绕过的对象是这些厂商,在他们眼里,你的非加密文件都是明文,都是他们分析的对象
    hjw45611
        44
    hjw45611  
       2021-06-09 17:40:48 +08:00
    上传加密下载解密算是一个常规操作了。
    atpking
        45
    atpking  
    OP
       2021-06-09 17:47:21 +08:00
    @zhuang0718 咨询了阿里 腾讯 可能是我们不是大客户吧 没有
    ruixue
        46
    ruixue  
       2021-06-09 18:13:16 +08:00
    还是自建存储吧。一定要用国内的云,加密上传是必须的。至于预览什么的,也可以集成解密模块。只不过都需要投入成本去开发,但是也没办法,要用国内的服务就得做好面对各种恶心政策的思想准备
    HarrisonZ
        47
    HarrisonZ  
       2021-06-09 19:03:45 +08:00
    @atpking 这就太流氓了,客户的数据属于客户,服务提供商没有授权怎么能扫描呢。还是换 aws 吧,好歹有点节操
    kaedea
        48
    kaedea  
       2021-06-09 19:29:42 +08:00 via Android
    aws
    zhoujinjing09
        49
    zhoujinjing09  
       2021-06-09 19:33:06 +08:00
    私有 bucket 也要扫吗?这不是在搞笑?
    那就加密一下呗,或者 xor 一下?
    Jirajine
        50
    Jirajine  
       2021-06-09 20:05:43 +08:00 via Android   ❤️ 7
    真特么讽刺,你们审查用户,云厂商审查封了你。
    你想继续审查用户,还得专门用违法的、抗审查的方式存储审查数据。
    ji39
        51
    ji39  
       2021-06-09 21:13:17 +08:00
    怎么不刻录光盘呢
    Raven316
        52
    Raven316  
       2021-06-09 21:18:01 +08:00
    用 ipfs
    ryd994
        53
    ryd994  
       2021-06-09 21:41:26 +08:00 via Android
    你想客户端直接下载的话就比较麻烦。但是这样呢:
    云服务器不储存数据,从 bucket 里取数据解密再提供给用户

    “保证公共范围内, 没有解密方案无法读取数据”
    其实不用。混淆一下就可以了。都是自动化扫描的。不会针对你搞破解的。
    akira
        54
    akira  
       2021-06-09 22:24:52 +08:00
    看起来只能在本地存储了?
    ihipop
        55
    ihipop  
       2021-06-09 22:26:42 +08:00 via Android
    阿里云不是可以开启 OSS 加密
    foMM
        56
    foMM  
       2021-06-09 22:36:45 +08:00
    这到底有几层的审核?
    MaiKuraki
        57
    MaiKuraki  
       2021-06-09 23:19:07 +08:00
    魔幻
    serverABCD
        58
    serverABCD  
       2021-06-10 00:53:57 +08:00 via iPhone
    @DGideas 蛤?
    levelworm
        59
    levelworm  
       2021-06-10 04:48:20 +08:00
    话说为啥一定要上云?放自己公司里头不就得了?
    twl007
        60
    twl007  
       2021-06-10 07:39:02 +08:00 via iPhone
    按道理来说 厂商不应该去看用户存储的资料吧 如果厂商和么做 谁敢把资料放他那里? 这本身就是不合规啊
    petercui
        61
    petercui  
       2021-06-10 08:19:31 +08:00
    @twl007 厂商也有一套煎黄系统,通过机器系统扫描并不算存储厂商“看”客户资料。
    twl007
        62
    twl007  
       2021-06-10 08:50:13 +08:00 via iPhone
    @petercui 这个当然算啊 oss 都承带数据加密 如果数据加密我用我自己的 key 做的 你厂商怎么扫描?我觉得不去触碰客户数据算底线吧?要不谁敢存东西上去
    madpecker009
        63
    madpecker009  
       2021-06-10 09:25:07 +08:00
    放自己的内网中不行吗。。。
    xxxyy2y
        64
    xxxyy2y  
       2021-06-10 09:35:35 +08:00
    用 swarm 吧
    isnullstring
        65
    isnullstring  
       2021-06-10 09:46:07 +08:00
    图片切割、打乱
    字节流打乱

    加密 就算了,还得花时间去解密
    dreamage
        66
    dreamage  
       2021-06-10 09:48:02 +08:00
    加密存一下啊,你都知道是 H,还直接往云服务商扔,这不是害人么哈哈哈
    no1xsyzy
        67
    no1xsyzy  
       2021-06-10 10:00:21 +08:00   ❤️ 1
    @twl007 说到底层层监管压力在,云服务厂商不去看,公安一看云服务厂商倒霉
    国内行政似乎不怎么接受避风港原则,一个很大原因就是早前不少人滥用避风港原则,自己在自己平台注册账号搞事情
    winglight2016
        68
    winglight2016  
       2021-06-10 10:13:14 +08:00
    既然是内部使用,就在内网放一个存储服务器呗
    newmlp
        69
    newmlp  
       2021-06-10 12:01:14 +08:00
    用异或简单加密下就行了
    zhw2590582
        70
    zhw2590582  
       2021-06-10 12:22:14 +08:00
    这么说,厂商不冤枉,不能就因为用户说是内容鉴黄,就能任意保存黄色内容,到时大家都说自己是鉴黄师怎么办,你又没有提供什么国家认可的鉴黄资质。
    petercui
        71
    petercui  
       2021-06-10 13:26:56 +08:00
    @twl007 并不算,比如 gmail 用机器扫描邮件推送广告,你会说 google 看了你的邮件么?另外,oss 所谓的数据加密也不是客户自己的 key 做的。要是自己的 key 做的机器扫描后只会是它所不理解的二进制数据而已。
    gablic
        72
    gablic  
       2021-06-10 13:36:52 +08:00
    @DGideas 蛤?
    houzhiqiang
        73
    houzhiqiang  
       2021-06-10 14:08:25 +08:00
    base64 后再 gzip 压缩一次...
    twl007
        74
    twl007  
       2021-06-10 16:04:41 +08:00
    @no1xsyzy oss 可以看 那么你的虚拟机能看么? 你托管的其他业务可以看么…… 感觉这个实在是让人担心数据安全


    @petercui Google 现在已经不扫描邮件了 还是涉及到隐私问题的 oss 的加密方式你看 aws 除了你默认用它提供的进行加密 你也可以选择 sse-kms 来加密 上传自己的 key 或者直接用 sse-c 来加密数据 换个方面说 这个对审计也是问题 如果你托管商要扫描我的数据 我也得拿到你的扫描记录才行 否则哪天真的数据泄露了 算托管商的还是算我的?
    twl007
        75
    twl007  
       2021-06-10 16:13:47 +08:00
    @petercui 这个系统说实话就是厂商自己给自己开的后门 说明了厂商有一个超级账号 可以绕过客户自己设置权限管理来读取任意的数据进行扫描 这个系统还是个黑盒 甚至扫描记录都不公开 这个后门厂商自己能用 那么厂商怎么保证不被别人拿去用? 内部风控也不透明 从根本上来说 就不应该有能绕过客户权限系统的系统存在 就算有 也要披露相关的审计日志甚至扫描前要得到用户许可才行
    junbaor
        76
    junbaor  
       2021-06-10 19:42:43 +08:00 via iPhone
    外区的 aws 也有这个问题吗
    no1xsyzy
        77
    no1xsyzy  
       2021-06-10 19:52:55 +08:00
    @twl007 我的意思是,这是国情,不是厂商希望如此。如果对此有意见,怨头债主是谁不用我多说了吧
    当然,根据纯粹自由主义,gov 这么搞也不是不行。不爽就跑路,iCloud 都云上贵州了。

    顺便,虚机的话,还会诱导你,给你加进程哦(指漏洞扫描,并且缺乏恰当的解释说会给你加进程

    从法务到程序到运维都完全清楚的「后门」,我不清楚你为何会感到奇怪。难道你有证据证明 AWS 不会扫描吗?你能试着在 AWS 里下个 child porn 或者迪士尼的片的种子吗?文化不同,敏感点不同罢了。
    风控的目标本身决定了它不可能透明。
    扫描前的确获得了明确许可,否则别说扫描了,连存都存不进去。
    petercui
        78
    petercui  
       2021-06-11 08:34:48 +08:00
    @twl007 ………… 您想的太多了,用了公共云存储,云计算您实在就不要考虑数据安全这些了,这跟后门没有任何关系,厂商也不想这样,但是或者利益驱使或者是中国特色的监管需要决定了必须这么做,而且用户协议里也明明白白的写清楚了,不同意的就自建私有云吧。
    czjdrj
        79
    czjdrj  
       2021-06-11 15:46:40 +08:00
    @atpking 你好,我们今天也因”涉黄“被封了,请问楼主当时是怎么解决的?求助
    atpking
        80
    atpking  
    OP
       2021-06-11 17:09:13 +08:00
    @czjdrj

    我是利用了我的供应商的一个漏洞 你可以加我微信聊 搜我用户名即可
    7RTDKSAK
        81
    7RTDKSAK  
       2022-07-10 15:12:26 +08:00
    @yitingbai
    因为反黄反诈是遮羞布,或者说至少是一小块遮羞布
    你不见为墙站台之人必说“墙外平台黄赌毒危害青少年身心健康”、“境外电信诈骗太猖狂”和“没有墙要被境外势力渗透”吗
    如果不反黄,如何向草民解释存在墙这个事实?
    crazyweeds
        82
    crazyweeds  
       2022-07-22 00:58:22 +08:00
    想来想去,我觉得还是老老实实 AES 一下吧。厂商之所以不愿意,还是责任问题。个人主观理解,厂商最害怕的就是你搞分享,或者权限设置不当,导致泄露出去,然后直接把整 OSS 域名搞废了,那就真的玩大了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5764 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 01:45 · PVG 09:45 · LAX 17:45 · JFK 20:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.