标签：分词器 tokenizer

为什么 AI 数不清 strawberry 里有几个 r：它看到的不是十个字母，是三块

问 ChatGPT「strawberry 里有几个 r」，它常常答 2。原因不是笨，而是它根本没收到十个字母——我用官方分词库实测，strawberry 在三本不同词表里都是三块：st / raw / berry，三个 r 分散在其中两块里，而「逐块拆开再累加」这个动作从来没被训练过。这篇用「矗字里有几个直」讲清这件事，再给你四个自己跑得出来的数：同一句 17 个汉字，老词表切 34 块、新词表切 15 块；站内一篇 5,500 汉字的中文稿实测 7,112 块，约 0.77 汉字一块，换本词表变 9,491 块、多算 33%（和 Anthropic 官方那句「约 30 percent more tokens」对得上）；9.11 之所以比 9.9 大，是因为它看到的是整块「11」。也有一条必须纠正的流行说法：分词不是唯一原因，arXiv 三篇论文给的图景更麻烦，而「换了 tokenizer 就修好了」厂商从未公开解释过。