podel
V2EX  ›  OpenAI

ChatGPT 的回复太慢了有啥办法可以加快吗

  •  
  •   podel · Dec 12, 2022 · 13302 views
    This topic created in 1430 days ago, the information mentioned may be changed or developed.

    如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

    Supplement 1  ·  Dec 13, 2022
    结帖: 是 POST 请求长连接返回的。没办法一次性返回结果。
    并且最近几天米国的 /我这边 IPLC 线路都不稳会出现 network error
    22 replies  •  2022-12-18 14:44:44 +08:00
    zhoufenfens
    zhoufenfens
    Dec 12, 2022
    1
    它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
    bluedawn
    bluedawn
    Dec 12, 2022 via iPhone
    2
    似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
    podel
    podel
    OP
    Dec 12, 2022
    3
    没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
    所以必须保持 长得稳定得连接才行。没办法加快
    lookStupiToForce
    lookStupiToForce
    Dec 12, 2022
    4
    应该不是“后台应该数据早就一次性就返回了”
    有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
    mxT52CRuqR6o5
    mxT52CRuqR6o5
    Dec 12, 2022
    5
    @lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
    podel
    podel
    OP
    Dec 12, 2022
    6
    @mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
    Garalt
    Garalt
    Dec 12, 2022
    7
    用英语比中文快,个人体验
    me221
    me221
    Dec 12, 2022
    8
    有没有可能是你国不稳定
    systemcall
    systemcall
    Dec 12, 2022
    9
    VPN 太烂了吧,换个好点的就会快不少
    x52S60GIsMZHtJPN
    x52S60GIsMZHtJPN
    Dec 12, 2022 via iPhone
    10
    @me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
    zhuweiyou
    zhuweiyou
    Dec 13, 2022
    11
    长连接持续返回的,并不是一次返回
    Shosuke
    Shosuke
    Dec 13, 2022 via iPhone
    12
    它好像最近的人类道德观念非常强烈
    netabare
    netabare
    Dec 13, 2022❤️1
    13
    一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
    rpman
    rpman
    Dec 13, 2022 via iPhone
    14
    这种序列 decoding 模型 streaming 其实是一种优化
    因为完整解码就要这么多时间。他只是把中间结果也展示了。
    needpp
    needpp
    Dec 13, 2022
    15
    ![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


    顺带问一下,我想知道这种分段的数据前端怎么接收的?
    summer2019
    summer2019
    Dec 13, 2022 via iPhone
    16
    @needpp event stream
    Tink
    Tink
    Dec 13, 2022 via Android
    17
    他在组织语言
    Ocean810975
    Ocean810975
    Dec 13, 2022 via Android
    18
    @ViolaH 话说是不是因为不在美国?你要在美国当我没说
    eggsblue
    eggsblue
    Dec 13, 2022
    19
    作为一个人,你也需要组织语言来交流🥹
    neptuno
    neptuno
    Dec 13, 2022 via iPhone
    20
    人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。
    ZztGqk
    ZztGqk
    Dec 13, 2022 via iPhone
    21
    用的 decoder ,现在还是无法并行输出的。
    wong2
    wong2
    Dec 18, 2022
    22
    Server Sent Event 当然最终是原理限制的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2199 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 13:46 · PVG 21:46 · LAX 05:46 · JFK 08:46
    ♥ Do have faith in what you're doing.