领导要我做一个服务，暂且叫做 aiservice ，就是把外部大模型的 api 都包一下，公司内部统一通过这个 aiservice 中转，目的是记录各部门的使用次数、以及限流（防止不合理调用）。 有几个问题请教下：
-
有没有必要做这个项目？ 我的理解是可以给每个部门分配一个 api key ，使用记录和限流大模型供应商那边都是现成的。
-
如果要做，有没有必要做一个服务出来？ 直接用 nginx 这类 web 服务器是不是也能做记录和限流？
-
如果要做一个服务，这种场景有什么推荐的技术栈。
10 条回复 • 2024-12-04 21:04:54 +08:00
 |
1
qczone 8 天前  1
|
 |
2
jaycezhang7890 8 天前 1
做这个还是有必要的吧，感觉也合理，做一个 aiservice 可以让使用记录和限流规则可以更加精确，本人前端，推荐 node ，nodejs 的中间件机制很合适，其实这种就用自己熟悉的技术栈就行。
这种的话，可以给每个部门分配同一个 api key ，然后你这边可以对每个部门乃至每个人做记录和限流。 |
 |
3
NoDataNoBB 8 天前 1
限流一般是按照 token 和请求频率的，nginx 没有这种限流
|
 |
5
lasuar 8 天前 1
找开源的，而且你得了解大模型的一些基础知识，否则不一定做得下来。
|
 |
6
markgor 8 天前 1
1 、如果是做一个适配服务，适配目前的 api ，统一使用方法，那我觉得可行吧。
*但是实际情况我看了下都是往 openAI 接口对齐的，豆包、腾讯、阿里 的。虽然接口是对齐，但如果是接入多个外部模型就变了你不能复用模型提供方的记录和限流，必须自己单独做限制记录。 2 、nginx 原生不支持，并且你还涉及到 产生你自己的 token 或 key 给每个部门。 3 、用自己熟悉的技术栈，但要考虑连接数的问题，可以优先考虑支持协程的。 |
 |
7
Ayanokouji 8 天前 1
|
 |
8
blakezhaothinks OP 感谢各位建议，奉上 10 铜币。已准备使用开源项目 one-api 试一试。
|
 |
9
hunkjun 8 天前
one-api
|
 |
10
RangerWolf 7 天前
one-api 亲测好用
|
Select Language