利用 Mac 上的 iPhone Mirroring 把 iPhone 投屏到电脑，通过 MCP 协议获取截图、注入触控事件，让 LLM 驱动整个交互闭环。用户说一句话，Agent 自己截图 → 理解屏幕 → 决策操作 → 循环执行，直到完成。
操作类：把拼多多订单分享给微信好友（跨 APP ）
查询类：打开微信支付汇总上周账单支出
探测模式：自动探索任意 APP 页面结构，生成可复用的知识库
演示视频都在 README 里，欢迎交流和学习～
 |
1
octocatami 1 day ago
太慢了
|
 |
2
tony9413 1 day ago
完美闭环了，知识库这个蛮有创意的。
|
 |
3
YAFEIML 1 day ago
不错，star 已送。
|
 |
4
402124773 1 day ago
Qwen3.5-35B-A3B 这个模型本地化运行需要多大显存占用
|
 |
5
spike0100 1 day ago
感觉挺牛的，我试试
 |
 |
6
glayyy8717 OP @402124773 不知道哦，没实测过，我是调阿里云的 API 的，用量化版的，单卡 4090 估计够用
|
|
7
glayyy8717 OP @YAFEIML 感谢老铁～
|
|
8
glayyy8717 OP @tony9413 谢谢老铁😊
|
 |
9
gezimonkey 1 day ago
非常有意义的项目,star 已送!
|
 |
10
fangqiu1992 1 day ago
|
 |
11
ovtfkw 1 day ago
没有 mac 能跑吗
|
 |
12
v2gba 1 day ago
|
|
13
glayyy8717 OP |
|
14
v2gba 1 day ago
@glayyy8717 scrcpy 的基础上可以实现吗？
|
 |
15
xing7673 1 day ago
既然都用 iphone mirroring 了，不如直接用 codex 控制？
|
 |
16
ButcherHu 1 day ago
🐮的，star 了，不知道再小的模型行不行，本地还是有点慢的
|
 |
17
csdreamdong 1 day ago
能用第三方的模型么？
|
|
18
glayyy8717 OP @v2gba scrcpy + adb ，感觉在安卓应该可以
@xing7673 常规的任务 codex 没啥问题，就是比较贵而已，但是对 APP 的交互是有点奇怪，有些页面只有 drag 不能 scroll ，有页面就反过来，codex 对这些手势操作还点问题 @ButcherHu 没试过更小的，还在摸索中... @csdreamdong Qwen3.5/6/7 全系列都行，其他不行，因为这里利用 qwen 系列的 grounding 能力，不同模型解析坐标的方法不同 |
Select Language