V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kuingsmile
V2EX  ›  分享发现

github copilot X - chat 使用体验分享

  •  3
     
  •   kuingsmile · 2023-05-12 23:44:45 +08:00 · 4713 次点击
    这是一个创建于 546 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨天一觉醒来发现等待了好久的基于 GPT-4 的 copilot chat 终于通过了,在这里分享一下我的试用体验~

    准备

    使用 copilot chat 需要满足以下几个条件:

    1. 有正在生效的 copilot 订阅(听说学生包的不可以,不确定,我自己是付费订阅的)
    2. 加入并通过了 copilot chat 的 waitlist GitHub · Where software is built
    3. 安装 VS code Insider 版本
    4. 安装 GitHub Copilot Nightly 和 Github Chat 插件

    都安装好之后使用自己的 copilot 订阅账号登录就可以激活了,这时可以看到侧边栏的 copilot 聊天窗口,同时使用ctrl + I可以在行内调出对话栏

    image.png

    测试

    在对话框内输入/可以快捷输入已经内置的命令,分别是:

    • /vscode - 关于 VS code 的问题
    • /tests - 为选中代码生成单元测试
    • /simplify - 简化选中代码
    • /fix - 修复选中代码可能存在的 bug
    • /explain - step by step 的解释选中代码
    • /ext - 关于 VS Code 扩展开发的问题
    • /help - 帮助

    image.png

    代码修改测试

    首先来试一下使用聊天窗口进行互动,选中一段将 Vue 的响应式对象还原为原始对象的函数,然后使用/simplify预置命令,copilot 很快的就给出了简化方案,而且代码块可以选择复制或者直接插入到光标处。

    image.png

    使用相同的代码和 prompt 询问一下网页版的 chatGPT-4:

    image.png

    再来问一下 GPT-3.5:

    image.png

    对比结果可以看出 copilot chat 和 GPT-4 给出的代码逻辑基本一致,而且都正确解读了原代码的意图,但 GPT-3.5 就明显有点跑偏了,直接自作主张的把 isRef 和 isReactive 给去掉了。。。

    贪吃蛇游戏生成测试

    这里我们来复现一下 Github CEO 前段时间在发布会上使用 copilot 写贪吃蛇游戏的操作,具体报道可以参考GitHub 放大招! CEO 现场挑战 18 分钟开发小游戏,人还在台上网友已经玩到了 | 量子位 (qbitai.com)

    我们使用相同的 prompt 来进行测试:

    • What is a snake game?
    • Create the code for a snake game in Javascript
    • How can I call this code

    在 copilot 里,我们在询问后可以直接选择将代码块插入到新文件内,十分的方便,copilot 分别给我们生成了 js 文件和 index.html 文件: image.png

    image.png

    使用Alt+B在浏览器中打开 html 文件,试玩一下,可行!一个字的代码都没有改过,完全是 copilot 生成的。

    230512 224516.gif

    这里我也测试了一下 chatGPT-3.5 和 chatGPT-4 ,其中只有 4 给出了可以运行的代码,3.5 虽然也基本实现了整体代码,但实际跑不起来,需要额外的修改。GPT-4 给出的代码如下所示:

    ChatGPT-Snake_Game_in_JS-2023-05-12.png

    此外,我还分别用 Google Bard 、讯飞星火大模型和百度文心一言做了测试,只有 Bard 给出的代码可以跑起来,但仍有 bug ,另外两个给出的代码都不可运行。

    行内对话模式

    copilot chat 还支持通过ctrl + I调出行内对话模式,生成的代码会直接以 diff 的形式显示在文件内,方便对比,如果没问题就可以一键接受修改。

    image.png

    使用总结

    总的来说,copilot chat 的编程能力从我这两天的使用和对比来看确实和 GPT-4 相当,微软诚不我欺,而且相对于之前的 copilot ,可以自己指定代码段,自定义 prompt 和任务,使用的灵活度上大大提高,再也不用傻傻的只能等着代码出来 tab 。

    推荐有条件的朋友都去尝试一下~

    18 条回复    2023-06-27 13:05:02 +08:00
    TWorldIsNButThis
        1
    TWorldIsNButThis  
       2023-05-12 23:51:49 +08:00   ❤️ 1
    贪吃蛇意义不大,这种源码网上到处都是,作为训练素材估计早就训练了几亿遍了,跟背书差不多

    如果能对一段和具体业务逻辑相关的代码给出有价值的生成结果才算比较好用

    总感觉目前阶段这个问题无法解决,除非能私有部署读取企业内的所有文档和代码
    zhangxu1621
        2
    zhangxu1621  
       2023-05-13 00:10:44 +08:00
    我觉得还是比 gpt4 差点, 感觉应该是 gpt3.5 的微调, 提升了代码能力
    zhangxu1621
        3
    zhangxu1621  
       2023-05-13 00:11:28 +08:00
    学生包是可以的, 我就是, 周五通过的
    GreatAuk
        4
    GreatAuk  
       2023-05-13 08:38:09 +08:00
    问下,chat 可以问与代码无关的问题,就当一个 chatgpt 4 用吗
    Tilie
        5
    Tilie  
       2023-05-13 09:06:35 +08:00
    @zhangxu1621 #3 请问通过了是由邮件发过来么
    ysicing
        6
    ysicing  
       2023-05-13 09:11:15 +08:00
    sarices
        7
    sarices  
       2023-05-13 11:21:32 +08:00
    我全都符合要求,但就是没有 Chat 的窗口,非常奇怪
    zhangxu1621
        8
    zhangxu1621  
       2023-05-13 13:07:14 +08:00
    @Tilie #5 对的, 会给你发邮件通知你的
    zhangxu1621
        9
    zhangxu1621  
       2023-05-13 13:08:02 +08:00
    @GreatAuk #4 有些问题不行, 会说: 与代码无关的问题不回答, 而且用的并不是 GPT4
    fresco
        10
    fresco  
       2023-05-13 13:17:13 +08:00 via iPhone
    好气,今天看了看还是没通过
    EdwardWong
        11
    EdwardWong  
       2023-05-13 15:17:29 +08:00
    Copilot chat 写代码聊问题还是挺好用的,但是无法联网 + 训练数据集只到 2021 是硬伤
    nicchester
        12
    nicchester  
       2023-05-16 18:10:12 +08:00
    请问你 vscode 装的是哪个主题? @kuingsmile
    kuingsmile
        13
    kuingsmile  
    OP
       2023-05-17 07:52:33 +08:00 via Android
    @nicchester eva theme , 图里用的是 eva light bold
    nicchester
        14
    nicchester  
       2023-05-17 09:20:24 +08:00
    jethroX
        15
    jethroX  
       2023-05-17 14:51:28 +08:00
    用了两天,对写业务代码基本没啥用处。反而 copilot 能带来更多惊喜。这两天写公司的 flutter 项目,我让他帮我把一段代码抽取成组件。完全不可用。改都改不出来。
    laogui
        16
    laogui  
       2023-05-20 10:45:47 +08:00
    通过几个小学数学问题和 GPT-4 做了下对比,得出结论是:目前这个和 new Bing 一样,是个假的 GPT-4 。
    0boy
        17
    0boy  
       2023-05-21 19:07:51 +08:00
    今天也刚通过了,搞起来
    xiaopanzi
        18
    xiaopanzi  
       2023-06-27 13:05:02 +08:00
    目前 Bug 还是非常多。在侧边栏总是 Thinking...,从来没有成功过;但是<Ctrl-i>行内提问可以成功。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2340 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:50 · PVG 23:50 · LAX 07:50 · JFK 10:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.