「機器學習模型的訓練資料」這 11 個字，在 GPT-4 的斷詞器裡是 20 個 token，換成簡體只要 13 個。這個差距不是玄學，是 BPE 這個 1994 年的壓縮演算法留下的痕跡。本文從手刻一個 mini BPE 開始，一路拆到 tiktoken 的 regex 前切分與 byte-level 設計。
