发现微信的聊天记录居然可以通过文字来搜索图片，好奇这个功能咋实现的？

This topic created in 1329 days ago, the information mentioned may be changed or developed.

首先老旧 iPhone 不支持 ios 自带的文字扫描；

1.是图片上传到微信服务器的时候它识别完加上这个图片的一下标签信息再返回到本地。后续搜索通过这些标签来搜索的吗？
2.还是图片就在本地，当用户搜索的时候，微信再一遍遍的识别？
3.或者是微信保存在服务器了，通过云端再返回回来的？

微信

搜索

图片

标签

19 replies • 2022-09-23 01:52:11 +08:00

yukiww233

Sep 22, 2022

微信 /qq 都会对上传的图片 /视频做 ocr 和物体识别，
大概是识别都做了，就废物利用吧

Morriaty

Sep 22, 2022

1. 微信的聊天搜索一定是客户端实现的，要是做成服务端，太湖之光超级计算机来都搞不定。

2. 具体实现的话，我曾经一直认为调服务端 ocr 接口，本地存文字结果是个比较合理的猜想。但随着微信 apk 越来越大，我现在很怀疑是 ocr 模型（甚至是更直接的 text2image 端到端模型）存在本地了。

learningman

Sep 22, 2022 via Android

@Morriaty 服务端实现为啥不能，整个腾讯就只能有一台服务器吗，上集群啊

Exdui

Sep 22, 2022

@learningman 集群也要钱，OCR 成本太高了，比鉴黄 /政高 N 倍。

QUC062IzY3M1Y6dg

Sep 22, 2022

会不会是给微信客户端塞了一套机器学习 doge

SenLief

Sep 22, 2022 via iPhone

我怀疑是本地做的，微信已经非常庞大了，所以极有可能是本地 ocr 的。

AS4694lAS4808

Sep 22, 2022

@Morriaty 现在预训练好的简单 OCR 模型放到手机上也能运行，我司有类似 2B 产品，本地就能搞。一些手机 OS 的相册也能本地运行，然后文字搜索。

@PYHII 一般会首先识别物体类型，根据置信度选择保存哪些，然后再 OCR 识别文字，供全文搜索。

BMAO

Sep 22, 2022 via iPhone

现在几十 G 的聊天记录，之前没开这个功能，现在才开的话。他是现在检索并 OCR 一遍存下来？还是实时呢？实时的话就厉害了。

Morriaty

Sep 22, 2022

@learningman 就微信这体量的聊天记录，几万个集群都扛不住啊

yanq123

Sep 22, 2022

1. 搜索速度如此快，很显然不是搜索的时候才去 ocr 识别，而是在上传图片时就进行了 ocr 。
2. 联网时才可以通过文字搜索图片，断网后搜索失效，证明文字或者标签信息保存在云端。

猜测：每次上传图片就进行了 ocr ，然后保存了 ocr 信息在云端。通过文字搜索的时候，云端返回图片标签信息，然后本地根据标签信息找到本地图片。

(如果配合抓包，应该就比较清晰了)