podel
V2EX  ›  OpenAI

ChatGPT 的回复太慢了有啥办法可以加快吗

  •  
  •   podel · Dec 12, 2022 · 12737 views
    This topic created in 1251 days ago, the information mentioned may be changed or developed.

    如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

    Supplement 1  ·  Dec 13, 2022
    结帖: 是 POST 请求长连接返回的。没办法一次性返回结果。
    并且最近几天米国的 /我这边 IPLC 线路都不稳会出现 network error
    22 replies    2022-12-18 14:44:44 +08:00
    zhoufenfens
        1
    zhoufenfens  
       Dec 12, 2022
    它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
    bluedawn
        2
    bluedawn  
       Dec 12, 2022 via iPhone
    似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
    podel
        3
    podel  
    OP
       Dec 12, 2022
    没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
    所以必须保持 长得稳定得连接才行。没办法加快
    lookStupiToForce
        4
    lookStupiToForce  
       Dec 12, 2022
    应该不是“后台应该数据早就一次性就返回了”
    有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
    mxT52CRuqR6o5
        5
    mxT52CRuqR6o5  
       Dec 12, 2022
    @lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
    podel
        6
    podel  
    OP
       Dec 12, 2022
    @mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
    Garalt
        7
    Garalt  
       Dec 12, 2022
    用英语比中文快,个人体验
    me221
        8
    me221  
       Dec 12, 2022
    有没有可能是你国不稳定
    systemcall
        9
    systemcall  
       Dec 12, 2022
    VPN 太烂了吧,换个好点的就会快不少
    x52S60GIsMZHtJPN
        10
    x52S60GIsMZHtJPN  
       Dec 12, 2022 via iPhone
    @me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
    zhuweiyou
        11
    zhuweiyou  
       Dec 13, 2022
    长连接持续返回的,并不是一次返回
    Shosuke
        12
    Shosuke  
       Dec 13, 2022 via iPhone
    它好像最近的人类道德观念非常强烈
    netabare
        13
    netabare  
       Dec 13, 2022   ❤️ 1
    一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
    rpman
        14
    rpman  
       Dec 13, 2022 via iPhone
    这种序列 decoding 模型 streaming 其实是一种优化
    因为完整解码就要这么多时间。他只是把中间结果也展示了。
    needpp
        15
    needpp  
       Dec 13, 2022
    ![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


    顺带问一下,我想知道这种分段的数据前端怎么接收的?
    summer2019
        16
    summer2019  
       Dec 13, 2022 via iPhone
    @needpp event stream
    Tink
        17
    Tink  
    PRO
       Dec 13, 2022 via Android
    他在组织语言
    Ocean810975
        18
    Ocean810975  
       Dec 13, 2022 via Android
    @ViolaH 话说是不是因为不在美国?你要在美国当我没说
    eggsblue
        19
    eggsblue  
       Dec 13, 2022
    作为一个人,你也需要组织语言来交流🥹
    neptuno
        20
    neptuno  
       Dec 13, 2022 via iPhone
    人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。
    ZztGqk
        21
    ZztGqk  
       Dec 13, 2022 via iPhone
    用的 decoder ,现在还是无法并行输出的。
    wong2
        22
    wong2  
       Dec 18, 2022
    Server Sent Event 当然最终是原理限制的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   895 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 20:10 · PVG 04:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.