这是一个创建于 1185 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有这样一个需求，在 UE4 中有一个人脸，想通过程序代码获取人脸信息，然后调用 opencv/pytorch 模型，为此人脸添加滤镜。此滤镜为普通 2D 滤镜，即输入是 2D 图片，输出也是 2D 图片，比如我们手机自拍里常见的美白滤镜，眼镜变大滤镜等。
现在此滤镜已经 ready，使用的是 opencv/pytorch，用 python 编写（当然也可以改为 c++），请问通过怎么样一种方式集成到 UE4 中去？由于滤镜是 2D 滤镜，所以仅要求贴完滤镜后的的人脸只对某一个特定 camera 投影 OK 就行。
想询问下实现思路，感激不尽。 请大神们可以给点建议，即使不是 end to end solution 也行。
第 1 条附言 · 2021-09-05 20:06:39 +08:00
其实我们想做的就是，把现成在手机自拍 app 里那种美白、大眼的各种滤镜，应用到 UE4 里的人物上。但是这种滤镜以往都是针对手机自拍 2D 图片的，作用到 UE4 里的 3D 人物上的话，只需要对其正对 camera 的摄像头投影生效就可以。
 |
1
hs0000t 2021-09-05 16:50:15 +08:00 via Android
不懂 UE4，感觉可以走 tcp 或者 http，给 py 模型套一层 web 服务器，监听本地高位端口
|
 |
2
jtacm OP @hs0000t 感谢建议。
走 web 服务有些额外开销，特别是近实时的场景，我更想把 opencv/pytorch 更 native 的集成到 UE4 中去贴脸。 |
 |
3
LifStge 2021-09-05 17:39:46 +08:00
需求有点模糊啊 不都是建模 shader 处理的么 啥应用场景呢 是采集摄像机 然后整合到 ue4 的场景里么 这样的话 跟 UE4 的东西关系也不大啊 不就是影视处理的那套流程么 对摄像机采集的图片直接处理 处理完后 贴进场景 还是说想对 UE4 里渲染的人物做处理呢 不用 shader 的方式的话 不也是将模型渲染到纹理 然后 2d 处理么 处理完后再帖进去
|
 |
4
loveour 2021-09-05 18:00:05 +08:00
没太懂，如果是 C++，直接写个插件把代码集成进去不就可以了吗？或者直接集成在 UE4 的工程里也可以，但是这样不方便以后用在别的 UE4 项目里面。就是普通的 C++包含头文件调用接口呀，需要什么思路？
|
|
5
jtacm OP @LifStge 感谢。 我们是想对 UE4 里渲染好的人物做处理，人物已经在 UE4 里弄好，然后想用 opencv/pytorch 加一些效滤镜果上去。这些滤镜效果，是以人脸作为输入，然后输出大眼、美白后的人脸。就和我们在各类手机自拍 app 里的效果差不多，只不过是作用在 UE4 里的人物里，可能和 2D 纹理贴图还不同。请问还有啥思路？
|
|
6
jtacm OP @loveour 有这类插件的例子吗？其实我们想做的就是，把现成在手机自拍 app 里那种美白、大眼的各种滤镜，应用到 UE4 里的人物上。但是这种滤镜以往都是针对手机自拍 2D 图片的，作用到 UE4 里的 3D 人物上的话，只需要对其正对 camera 的摄像头投影生效就可以。
|
 |
7
YuriX 2021-09-05 21:49:26 +08:00
听起来滤镜像是 CPU 上的？那么只能从 RenderTarget 读回像素，然后转发到滤镜上了。处理完再传回来，写到纹理里面。弄个 postprocess 画到屏幕上。过程快不了，隔帧弄吧
|
 |
9
lightjiao 2021-09-06 00:17:47 +08:00 via iPhone
美颜滤镜这种需求在游戏开发中被称作相机后处理呀（虽然我不会写后处理
|
 |
10
future0906 2021-09-06 01:23:00 +08:00
1.集成的话，opencv 可能简单点，直接当成一个插件一起编译到 UE4 就行。Pytorch 不确定集成方式，不知道有没有 C++接口。可以看看商城有没现成成的插件，没有的话可能要自己做。
2.生成出来的图片主要看你要怎么用。直接在界面上显示平面图的话，用 slate 就行；如果要放在 3D 场景的话，要看你想怎么放；是作为纹理绑定到模型上还是直接作为一个面片（公告板）放到场景 |
 |
11
paopjian 2021-09-06 02:11:52 +08:00 via Android
opencv 好像自带神经网络了，不考虑把模型改成原生的吗
|
 |
12
root99527 2021-09-06 07:29:29 +08:00 via iPhone
改成 c++的 inference 库即可，可以考虑使用 tensorrt,mnn,ncnn 等等
|
Select Language