V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
wildmaker
V2EX  ›  奇思妙想

如何能训练 AI 操作软件?

  •  
  •   wildmaker · 12 天前 via iPhone · 1646 次点击

    发现一个需求,工作中要用多个仿真软件,软件操作重复性高,软件现成的接口几乎没有,求教有什么方法可以自动化?

    看了看开源项目,依然没有思路,🤣

    话说我觉得这需求可以商业化,不过容易被 AGI 一下子干死

    能搞钱的需求太难找了,现在找到的需求都 TOO HARD ,无力吐槽

    第 1 条附言  ·  12 天前
    补充:操作路径并不严格,是有“思路”的,大致相当于调参过程。
    具体例子 :用仿真软件进行换热器的设计计算,如果结果不理想,要调整参数再来一次。
    14 条回复    2024-09-16 23:01:15 +08:00
    GooMS
        1
    GooMS  
       12 天前 via Android
    RPA
    sillydaddy
        2
    sillydaddy  
       12 天前 via Android
    现在的大语言模型应该就可以做到。只需要开放给它通过 UI 操作软件的权限。

    我最近正好也想找一个这样的工具,平时的开发工作,编码完成后,需要点击很多次 UI 来调试时,也可以用到。
    line
        3
    line  
       12 天前
    要直接将屏幕内容输入给 AI 目前还是很难的,AI 自主再通过操作鼠标键盘操作 PC 。 这个难度相当于:操作二维世界的机械手。
    gaobh
        4
    gaobh  
       12 天前 via iPhone
    通过无头浏览器操作,传统爬虫怎么搞的原理一样
    iloveayu
        5
    iloveayu  
       12 天前
    1 楼正解,对接 UI Path 这类的 RPA 软件,应该是最快的。
    windmoonwind
        6
    windmoonwind  
       12 天前
    具体啥操作啊,如果就是规律的条件化操作,感觉你这需求按键精灵类的就能做到,用不着上大模型啊....
    或者用这个水哥版 RPA
    https://github.com/xlbljz/waterRPA
    SWALLOWW
        7
    SWALLOWW  
       12 天前
    这么说我能大模型玩游戏啦
    youyoumarco
        8
    youyoumarco  
       12 天前
    按键精灵+1
    wildmaker
        9
    wildmaker  
    OP
       12 天前 via iPhone
    @windmoonwind 不是路径严格的操作,需要根据结果判断下一步动作
    cat9life
        10
    cat9life  
       12 天前
    之前记得在 hackernews 上见过一款调用 chatgpt 来操作的软件。
    windmoonwind
        11
    windmoonwind  
       12 天前
    @SWALLOWW 今天刚看到一则新闻,有个团队趁热训练 AI 打黑悟空,死了 1000 多次,把第一关过去了...
    lneoi
        12
    lneoi  
       12 天前
    向大模型解释各个参数信息,然后返回参数数据,实际调整由另外的软件去操作
    Baymaxbowen
        13
    Baymaxbowen  
       11 天前
    web 端有类似工具吗,我想让设计个 agent ,来实现类似 UI 自动化的操作
    rekulas
        14
    rekulas  
       4 小时 43 分钟前
    你这需求似乎 cradle 很适合 https://github.com/BAAI-Agents/Cradle
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   953 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:45 · PVG 03:45 · LAX 12:45 · JFK 15:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.