有点标题党,这个产品叫「寻隐」(英文版叫 Queryable),之前在 V 站推广过: t/905377, 因此这里不再赘述它的功能了,简单来说,它是一个离线的自然语言相册搜索工具,你可以用「一只狗在玩滑梯」来搜索你的 iPhone 相册,而不是搜单纯的“狗”,并且不联网。
昨天我把这个产品免费&开源了:App Store | Github | 网站
「将 CLIP 模型部署在手机上,用自然语言搜相册」这个 idea 源自于 2022 年 9 月,直到去年 12 月我才有空闲和能力完成,在今年的 2 月 7 日上了Hacker News 首页,让 Queryable 在当天占领了全部欧洲国家工具榜#1 ,美国工具榜#2 。
后续国内的果壳、差评、少数派的自来水曝光,让我从 1-3 月几乎每个月可以获得 1-2 万块的收入。因为运行在手机端,在不想添加新功能的情况下,也不需要维护和服务器成本。从 4 月份起,没有任何流量曝光、不做任何更新的情形下,平均每月大概可以获得 3000 元的收入。
我在前天限时免费了一次,很惊讶有很多人下载。我想,与其维持这样每月 3000 块的收入,可能阻止了 99%的人发现这个产品(用户数决定了关键词排序),不如让所有人都可以使用它,因此产生了「让它一直免费的念头」。
在昨天,我决定这么做了。
想起来过去半年,一直有用户对寻隐/Queryable 的相册隐私安全提出疑虑,很多美国人也天然反感中国开发者的产品,而另一些开发者也常常发邮件询问我技术方案。既然决定让产品免费,不如也一起开源了:你可以从了解如何做 LLM 模型的本地加载、向量计算、存储和排序。
因为我需要生存。 当时刚从之前的工作离开,我需要新的收入维持生计,并且缓解焦虑。 现在,我有了新的收入(虽然不多),焦虑感也降低了很多,因此才下定决心,帮助他人的想法战胜了对收入的依赖。
项目的协议是MIT,所以将这个 repo 用于商业产品使用是完全可行的,但是我不建议你换个 icon 上架 App Store ,或者类似的恶性竞争,你可以试试开发自己的 Android 版本。
我并非 iOS 工程师,所以代码里 Swift 的部分非常的烂,但你可以参考其中关于模型的部分。我希望它能帮你实现本地向量存储、搜索,这样对于短文本构建向量,可能也不需要 OpenAI Embedding API 了。如果你有想实现的功能,非常欢迎贡献 PR 。
另外,中文模型的训练使用了一些非公开语料,所以抱歉目前只公开了英文模型权重。
大半年后的一点心得:尽量不要将你的产品完全免费,至少象征性地收取一些费用。因为完全免费会导致当用户向你提交反馈/bug/建议时,你感到非常不耐烦(内心OS:免费给你用就不错了,还挑三拣四),并且几乎懒得更新产品。
适当的收费,会使你更心平气和地应对用户的意见、改进产品(相信我,你不是圣人),最终也能够让所有人用上打磨更好的产品,而不是疏于维护过几年死掉。
101
woooooOOOO 2023-07-11 10:20:01 +08:00
大佬就是牛,我还是第一次听说 Core ML ,可能是我没有苹果电脑的原因吧。
|
102
ersic 2023-07-11 10:40:09 +08:00
看大佬博客还玩 Stable Diffusion ,请问什么显卡设备玩这个比较合适。
|
103
muchenlou 2023-07-11 10:40:13 +08:00
感谢大佬
|
104
bsder 2023-07-11 10:45:02 +08:00
感谢楼朱,已下载支持。请问 icloud 的照片会影响吗?
|
105
blank0ken 2023-07-11 10:47:18 +08:00
谢谢楼主,这个功能对我来说很有用,经常想找一张照片但是找不到
|
107
wseani OP @ersic 我用的 V100 ,但后来有 fp16+low memory 优化,8G 显存足够了,ControlNet 之后的技术就不太了解了。
|
108
wseani OP @bsder 不会影响,即使原图存储在 iCloud ,本地也是有缩略图缓存的,模型使用缩略图构建索引足够了。不过如果想查看 iCloud 原图,就需要允许联网,你会在 App 里看到说明的 : )
|
109
longmeidao 2023-07-11 11:16:45 +08:00
感谢楼主!是否能增加一个打开原图在 iOS 相册里的位置的功能呢,想看看照片拍摄时间前后的照片。
|
110
wseani OP @longmeidao 谢谢,我也想,可苹果不允许跳转 : (
|
111
vincentwu 2023-07-11 11:36:22 +08:00
膜拜大佬
|
112
romisanic 2023-07-11 11:42:14 +08:00
这样的大佬是十分值得尊敬的
|
113
hexo 2023-07-11 12:16:52 +08:00
牛逼
|
114
lrvy 2023-07-11 12:36:15 +08:00
佩服大佬,Github Follow 以示敬意
|
115
HGXs1LdZRPSi5O9e 2023-07-11 12:42:42 +08:00
respect!
|
116
hanssx 2023-07-11 12:58:55 +08:00
后排支持一下,非常佩服博主。
|
117
MaxSoloware 2023-07-11 13:18:46 +08:00
大佬
|
118
zhaoweihao 2023-07-11 13:37:16 +08:00
@wseani 好的感谢老哥🙏
|
119
idwalker 2023-07-11 14:23:41 +08:00
好奇背后的语言模型有没有优化的可能性呢?
|
120
NeedforV2 2023-07-11 14:36:02 +08:00
大佬牛 B !
|
121
wseani OP @idwalker 如果你想更改模型结构,可以用 Python 设计一个新的然后训练。如果只是想要用自己的数据 finetune ,可以试试 Google: finetune clip model
|
122
iawes 2023-07-11 14:50:05 +08:00
大佬牛逼
|
123
findex 2023-07-11 16:02:46 +08:00 via iPhone
厉害留名
|
124
oceana 2023-07-11 20:27:40 +08:00
点赞开源
|
125
kuma42710 2023-07-12 08:09:29 +08:00 1
惨遭背刺😭买早了哈哈
|
126
craiiz 2023-07-12 09:46:45 +08:00
其实你分享那篇原理文章就够了
|
128
hanxl 2023-07-12 10:05:38 +08:00 1
执行力真强!从不会 IOS 开发,有了一个点,到上架应用,并获得不错的收入,太厉害了!
|
129
wqnmlgbzml 2023-07-12 10:59:37 +08:00
大佬什么时候搞个安卓版本呀
|
130
lee88688 2023-07-12 13:52:14 +08:00 via Android
楼主应用中生成向量是用什么数据库存储的呢?
|
133
SourceCode 2023-07-12 20:18:29 +08:00
佩服,为博主点赞
|
134
xcaff 2023-07-13 11:25:39 +08:00
大佬牛逼,学习!
|
135
LawlietZ 2023-07-13 17:17:46 +08:00
大佬点赞
|
136
275761919 2023-07-13 18:06:12 +08:00
my honor
|
137
OPLUS 2023-07-13 19:49:27 +08:00
支持大佬
|
138
ChellFong 2023-09-06 17:17:32 +08:00
@Heisenbery #78 看到你的评论之后去看了“一次杀人”这篇文章,不得不说楼主的文笔真的不错啊!看完之后很有味道,不过我还挺好奇的这个杀人是不是有指代什么吗
|
139
lch21 2023-09-07 09:09:19 +08:00
这种爆款的工具 App 每月也只能赚 3000 元,app 开发的收入属实有点低啊
|
142
longmeidao 2023-09-27 14:29:31 +08:00
想问下,Mac 版有办法支持指定路径图片的搜索吗?照片 app 毕竟还绑定 iOS 的相册。
|
143
wseani OP @longmeidao 不支持,抱歉我几乎没有在开发 Mac 版(不会),只是简单做了兼容。
|
144
mianlaodie 2023-09-27 15:28:06 +08:00
@HangoX 应验了
|