V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MarlonFan
V2EX  ›  程序员

OpenAI 接口访问速度问题

  •  
  •   MarlonFan ·
    marlonfan · 2023-03-29 23:03:26 +08:00 · 2668 次点击
    这是一个创建于 591 天前的主题,其中的信息可能已经有所发展或是发生改变。

    发现使用 stream 模式能非常快的响应结果. 但是如果直接使用 gpt3.5-turbo 模式的话, 每个问题的答案生成需要 20s 左右。 不知道大家有什么好办法么?

    目前使用了新加坡机场 和 aws 日本节点, 都非常的慢。

    8 条回复    2023-03-31 00:00:51 +08:00
    charmToby
        1
    charmToby  
       2023-03-29 23:07:00 +08:00   ❤️ 1
    就用 Stream 模式就行,很快的,可以了解下 SSE ,很简单的,每次返回一个字,和官网效果一样。
    swulling
        2
    swulling  
       2023-03-29 23:08:13 +08:00   ❤️ 1
    总时长是一样的,只是 stream 让你感觉快了而已
    cocomiko
        3
    cocomiko  
       2023-03-29 23:13:06 +08:00   ❤️ 1
    stream 从第一个字到最后一个字也差不多要花 20s 左右
    tool2d
        4
    tool2d  
       2023-03-29 23:14:38 +08:00 via Android   ❤️ 1
    你写代码只能用 stream 模式,用非 stream 实在太慢了。
    yrj
        5
    yrj  
       2023-03-30 00:36:28 +08:00   ❤️ 1
    如果不是做聊天,没必要搞打字效果。。
    TomsOutside
        6
    TomsOutside  
       2023-03-30 00:42:53 +08:00   ❤️ 1
    感觉跟你的问题有关,偏综合性的,比较性的,会更慢一些
    kerb15
        7
    kerb15  
       2023-03-30 01:09:10 +08:00   ❤️ 1
    接机器人的时候就很蛋疼,因为各种场景和应用下的机器人,基本都不支持流式输出
    MarlonFan
        8
    MarlonFan  
    OP
       2023-03-31 00:00:51 +08:00 via iPhone
    感谢大家,了解了,可能确实体感占据很大一部分因素
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1945 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 00:35 · PVG 08:35 · LAX 16:35 · JFK 19:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.