发现使用 stream 模式能非常快的响应结果. 但是如果直接使用 gpt3.5-turbo 模式的话, 每个问题的答案生成需要 20s 左右。 不知道大家有什么好办法么?
目前使用了新加坡机场 和 aws 日本节点, 都非常的慢。
1
charmToby 2023-03-29 23:07:00 +08:00 1
就用 Stream 模式就行,很快的,可以了解下 SSE ,很简单的,每次返回一个字,和官网效果一样。
|
2
swulling 2023-03-29 23:08:13 +08:00 1
总时长是一样的,只是 stream 让你感觉快了而已
|
3
cocomiko 2023-03-29 23:13:06 +08:00 1
stream 从第一个字到最后一个字也差不多要花 20s 左右
|
4
tool2d 2023-03-29 23:14:38 +08:00 via Android 1
你写代码只能用 stream 模式,用非 stream 实在太慢了。
|
5
yrj 2023-03-30 00:36:28 +08:00 1
如果不是做聊天,没必要搞打字效果。。
|
6
TomsOutside 2023-03-30 00:42:53 +08:00 1
感觉跟你的问题有关,偏综合性的,比较性的,会更慢一些
|
7
kerb15 2023-03-30 01:09:10 +08:00 1
接机器人的时候就很蛋疼,因为各种场景和应用下的机器人,基本都不支持流式输出
|
8
MarlonFan OP 感谢大家,了解了,可能确实体感占据很大一部分因素
|