有了解 fast tokenizer 的老哥吗？怎么将 baichuan2-13b 的 tokenizer 转成 fast tokenizer?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 748 days ago, the information mentioned may be changed or developed.

目前在用 vllm 做 baichuan2-13b-chat 模型的推理框架，想进一步加速推理速度，怎么将 slow tokenizer 转成 fast tokenizer 呢？

1 replies

Auston

Apr 23, 2024

大佬们，能给个思路吗