分词器把连续文本切成模型能处理的 token 序列。它决定了模型如何“看待”语言，直接影响效率、多语言能力与代码处理能力。小小的分词器，其实深刻影响模型表现。 分词器是一个被严重低估的组件...

Token 是大模型处理文本的最小单位，可能是一个字、一个词或一个词根。中文一句话通常被切成多个 token，英文一个单词可能是 1-3 个 token。模型按 token 计费、按 token 计数上下文。 理解 tok...