is101
V2EX  ›  Android

不懂就问,刚才看到一个很好的 AI 应用场景,想问一下这个是怎么实现的。

  •  
  •   is101 · Nov 19, 2025 · 4342 views
    This topic created in 353 days ago, the information mentioned may be changed or developed.

    看起来像是 AI 操作手机,手机 UI 界面每个控件被彩色框出来,框上还有数字标记,想问下这个是怎么实现的呀?

    应用场景视频: https://share.cleanshot.com/npxzbc0G

    没搞过安卓开发相关项目 问了下 gpt 回答是 AutoJs ? 不是吧...

    9 replies  •  2025-11-20 10:24:16 +08:00
    crysislinux
    crysislinux
    Nov 19, 2025
    1
    Fooooo0
    Fooooo0
    Nov 19, 2025
    2
    搜 mobile-use , UI-TARS
    jon97
    jon97
    Nov 19, 2025
    3
    框像是是开发者模式中的“显示布局边界”,或者是配合了 uiautomator 抓取布局自己绘制的?
    leehaoze98
    leehaoze98
    Nov 19, 2025❤️1
    4
    leehaoze98
    leehaoze98
    Nov 19, 2025
    5
    mqnu00
    mqnu00
    Nov 19, 2025
    6
    android 开发者模式 不是有 ui 标注功能吗?
    iflint
    iflint
    Nov 19, 2025
    7
    但凡是能适用于任意三方进程的就来两种模式,一种是 Droidrun 、Maestro 那种去基于无障碍系统/uiAutomator 去 dump UI 布局信息然后画框的;另一种是走的纯截图然后视觉识别以后画框的。 当前主流的就还是通过拿无障碍信息
    iyaozhen
    iyaozhen
    Nov 19, 2025
    8
    统称 computer-use ,其实很成熟了。可以是纯视觉方案,可以加一些元素辅助
    is101
    is101
    OP
    Nov 20, 2025
    9
    @leehaoze98 #4 看了下感觉确实是这个 👍
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   764 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 23:04 · PVG 07:04 · LAX 15:04 · JFK 18:04
    ♥ Do have faith in what you're doing.