https://github.com/pandodao/tokenizer-go
最近在用 Go 做基于 OpenAI API 的应用，需要在请求前对 token 做检查，当请求太大时可以自动的缩减 (Chat completions) 或者分批次请求 (Embeddings)，github 没找到可以在 Go 里用的包，所以打算自己写一个。
从头实现的难度太大，取巧了一下，embed 了现成的 npm 包，然后通过 JavaScript 函数调用来获取结果，这样在 Go 里就跟原生包一样直接用了。得益于使用的 goja 库是纯 Go 实现的 JavaScript engine ，所以也不需要 CGO 那些，从 Benchmark 上看执行效率也不错。有类似需求的话可以直接使用。
 |
1
taowen Mar 17, 2023
https://bellard.org/ts_server/ fabrice bellard is all you need
|
 |
2
unco020511 Mar 17, 2023
有一些免费或者按次数调用的自然语言处理接口,可以用来归纳总结,然后当 token 过长时(特别是连续对话),就可以先归纳总结,然后再发送给 gpt,这样既保证了对话的连续性,又不至于 token 爆炸
|
 |
3
Rehtt Mar 17, 2023 via Android
@unco020511 怎么进行归纳总结？
|
 |
4
WendellSun OP @taowen 这个不错唉，做的挺全面，谢谢推荐。
|
|
5
unco020511 Mar 17, 2023
@Rehtt "有一些免费或者按次数调用的自然语言处理接口"
|
|
6
WendellSun OP @unco020511 这样优化也可以。
|
 |
7
hamsterbase Mar 17, 2023 via Android
你不如把 npm 代码发给 chatgpg ，让他帮你转 golang
|
|
8
WendellSun OP @hamsterbase 单纯的函数应该可以，这种有上下文依赖的估计不好搞。
|
 |
9
xiaoz Mar 18, 2023 via Android
@unco020511 #5 ，发出来看看呢
|
Select Language