我现在想在静态图片上用 CoreML 去掉人体(能打码最好),进行了以下尝试,但有些问题不太懂
用 Vison 里的人体分割识别,可以实现人体透明,但是对其中的参数不太理解。
现象:分割前传入 image size 为 1920*1080 px, 识别后返回 mask size 为 2016 * 1512 。最后渲染的时候根据宽高比进行 scale 后实现效果。
问题:为什么 mask size 和原始图片比例不一样?但是最后又能实现效果。还是说其中有些像素差了但是我并没有察觉吗?
使用了 DeepLabV3 模型。模型要求输入 Image (Color 513 × 513) ,输出 MultiArray (Int32 513 × 513)。其实 renderView 还是 200*200pt 。
现象:我传入了 19201080 的 image, renderView 是拿返回的 513513 数据渲染的。可以实现人体的黑色范围标记。
//renderView render
//200*200
let size = self.bounds.size
//513
let segmentationmapWidthSize = segmentationmap.segmentationmapWidthSize
let segmentationmapHeightSize = segmentationmap.segmentationmapHeightSize
let w = size.width / CGFloat(segmentationmapWidthSize)
let h = size.height / CGFloat(segmentationmapHeightSize)
for j in 0..<segmentationmapHeightSize {
for i in 0..<segmentationmapWidthSize {
//这里是模型返回的标记的 class 类型
let value = segmentationmap[j, i].int32Value
let rect: CGRect = CGRect(x: CGFloat(i) * w, y: CGFloat(j) * h, width: w, height: h)
let color: UIColor = segmentationColor(with: value)
color.setFill()
UIRectFill(rect)
}
}
问题:
1. 为什么传入比例明明不是 513*513 ,返回的数据进行如上处理后可以和原来图片重合?是内部自动将图片先处理成 513*513 的了吗?
- 如果没处理,为什么通过以上方法后可以和原图重叠?现在返回类别里透明的和原图背景都是 0 ,我怎么去区分透明的和原图的背景?
- 如果处理了,它又怎么保证和原图对得上?
请大佬帮我答疑解惑。如果打字太多,直接甩我一些链接或者关键字也可以。