今日看到国产大模型本地部署机器有感。
 |
1
feikaras Mar 29, 2025
类似：你把钱给我用用，我保证还你。
|
 |
2
billccn Mar 29, 2025
技术上用可信计算那一套就可以：显示芯片里内置一套唯一的公私钥，公钥再由厂家签名成证书，服务器把证书传给客户端，客户端验证厂家签名，然后用该公钥加密自己需要计算的程序。运行时服务器先载入模型数据，显卡形成一个状态哈希码，客户程序解密以后第一件事就是比较哈希码，如果和编译时候的不同就把显卡重置，反之开始运行程序，结果再加密返回给客户。整个过程中宿主机 CPU 和操作系统只承担拷贝数据的角色，不知道运算的内容。
当然和已有的可信计算硬件一样，很有可能出漏洞，还可以搞供应链或者物理攻击泄漏一些芯片的私钥，所以这最终还是需要客户信任厂商。 |
 |
3
msg7086 Mar 29, 2025
没办法，这东西只能靠信任和法律保障，比如说数据泄露了赔偿 1 个亿，那问题就结了。
当然，归根结底还是看你的数据有多重要，处理机密数据的厂除了自建以外没有别的选择。 而且就算自建也需要处理安保问题，必须是经过审核的人才能进机房碰机器。 |
 |
4
es1muss2sein Mar 29, 2025
怎么可能
|
 |
5
danhahaha Mar 29, 2025
找个第三方的可信机构或者部门托管，但是目前国内好像真没有，不如交给朝鲜，封到长白山上
|
 |
6
wyntalgeer Mar 29, 2025
可以的，你搞定园区主任，邀几个企业入驻，然后机房部署后给他们扯网线用。去掉第三方就好了，也就是说你的突破口在园区主任，加油
|
 |
7
sujin190 Mar 29, 2025 via Android
直接设计 asic 芯片估计可以做到，芯片直接在物理上就设计成内部解密内部计算，不提供外部读取数据能力就是了，只要物理做死了通过检测，大概率就没什么好方法破坏了
|
 |
8
yinmin Mar 29, 2025 via iPhone
租云服务商的算力自己部署大模型，azure 、aws 、阿里云、腾讯云都有这种服务的。
|
Select Language