关于动态替换 import 内容的功能

我写了一个基于 pytorch 的算法应用，现在考虑做一个功能，就是允许用户上传不同版本的 pytorch （源码或者安装包之类的），然后我在用户上传的这个版本的基础上进行 import 等操作，基于该版本的 pytorch 运行我自己写的算法应用，整个操作要求是不需要后台手动替换或者手动安装，完全自动化，这个有可能做到吗？假设先不考虑不同版本之间的依赖和兼容性问题

动态替换

import

pytorch

15 条回复 • 2024-03-25 15:03:39 +08:00

chf007

2024-03-18 16:14:22 +08:00

Python 不是那种基于虚拟机的语言，动态换代码难

aloxaf

2024-03-18 16:17:14 +08:00

不怕用户上传个挖矿程序上去吗

mightybruce

2024-03-18 16:21:14 +08:00

可以做到，但是这简直就是可以直接攻击的点，最好还是不要干。
这个叫做 self modifying script

uliah

2024-03-18 16:24:10 +08:00

从项目的角度有两种常用的做法：
1 、将 pytorch 部分开发成独立应用, 通过 HTTP 暴露
2 、运行多个版本的 pytorch 容器
3 、main 进入后, 查询支持的 pytorch 版本, 选择后调用

1 、编写一个 DOCKERFILE & deploy 模板
2 、main 进入后, 填写 version 发布任务
3 、任务 BUILD 后运行, 返回结果

qazwsxkevin

2024-03-18 16:27:00 +08:00

importlib.import_module 是重载模块代码的，你这个情况应该适用

shuax

2024-03-18 16:35:31 +08:00

你要找的是不是 importlib

cc666

2024-03-18 17:21:49 +08:00

importlib.reload() 可以动态更新模块

但是依赖于被更新模块的模块不会自动被更新，挺麻烦，可以试试 ipython 的%autoreload ，但还是有坑（ from module import something ），没研究过是怎么实现的

这个需求挺奇怪的，为什么不用多进程或者重启进程，大不了 subprocess 跑一个 python 脚本

nevermoreluo

2024-03-18 17:31:34 +08:00

总的来说完全切出去用进程间通信管道或者网络之类的都可以，这样风险低很多，不然要考虑的太多心智负担太重

如果真的要做
代码里面首先不能有全局变量之类的声明，这些声明的空间是另外开辟的你要想好覆盖会不会发生异常情况
其次原理上就是把 import 的 cache 删了再 reload
但是这时候内存中已经实例化的对象是不变的，如果这是你想要的就叫 feature ，如果不是祝你幸福
顶多加载到静态类方法能执行到新的