V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Austin2035
V2EX  ›  分享创造

👏🏻 [妙笔写作助手] 基于 ChatGPT 开发的一款垂直应用,顺便聊聊如何提速。

  •  
  •   Austin2035 · 2023-03-05 09:17:28 +08:00 · 2080 次点击
    这是一个创建于 628 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简介

    一个基于 ChatGPT 的小程序,目前可以帮你写周报,文章检查与润色以及写小红书文案等。 如果反响还行,后面会开发网站,并且新增功能。

    优化了一下,能秒出结果了。 输入内容不能太少,要不然就是人工智障。

    gh_cc6f69c4359c_258

    🚀 如何提速?

    我的速度,经过我和我身边人的测试还是可以的,我是这么做的。

    1. 后端服务器在国内,通过反向代理解决 OpenAI 被墙问题。
    2. 使用 OpenAI 的流式传输,也即参数 Stream=True ,这种也是 EventStream 的方式。
    3. 后端接口全异步,使用 FastAPI + aiohttp 模块。
    4. 由于小程序不支持 EventStream 的方式,所以我使用 websocket 的方式替代。
    5. 上面那样做,是为了实时渲染 ChatGPT 的返回结果。

    经过这些优化,基本可以做到秒出结果(非高并发情景,大佬勿喷)。

    10 条回复    2023-03-06 08:12:22 +08:00
    ersic
        1
    ersic  
       2023-03-05 10:21:50 +08:00
    有时确实挺智障的,经常驴唇不对马嘴😂
    Austin2035
        2
    Austin2035  
    OP
       2023-03-05 10:26:28 +08:00
    @ersic 多输入点东西就好了
    Austin2035
        3
    Austin2035  
    OP
       2023-03-05 10:26:52 +08:00
    @ersic 要不然 需求还没 prompt 的字数多,哈哈😄
    cyio
        4
    cyio  
       2023-03-05 11:06:31 +08:00
    挺好用的,加个自定义 prompt 就更好了

    chatgpt 类应用,不知道有没有被封杀风险
    Austin2035
        5
    Austin2035  
    OP
       2023-03-05 12:22:10 +08:00
    @cyio 加了自定义的 prompt 估计被封杀风险更大。
    dabaibai
        6
    dabaibai  
       2023-03-05 20:01:40 +08:00
    感觉很快会全线封杀。
    LiuJiang
        7
    LiuJiang  
       2023-03-05 21:22:27 +08:00
    反向代理怎么做的?
    Austin2035
        8
    Austin2035  
    OP
       2023-03-05 21:42:23 +08:00
    @LiuJiang 直接用 nginx
    LeeeSe
        9
    LeeeSe  
       2023-03-06 05:09:52 +08:00
    @Austin2035 国内服务器没被墙吗?能连到官方 api ?
    Austin2035
        10
    Austin2035  
    OP
       2023-03-06 08:12:22 +08:00
    @LeeeSe 帖子里面说了,用了反向代理呗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1305 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 17:41 · PVG 01:41 · LAX 09:41 · JFK 12:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.