← 回到首頁
#生成式 AI 2 篇文章
BPE 與 tiktoken：同一句話，繁體中文為什麼比簡體貴一倍
「機器學習模型的訓練資料」這 11 個字，在 GPT-4 的斷詞器裡是 20 個 token，換成簡體只要 13 個。這個差距不是玄學，是 BPE 這個 1994 年的壓縮演算法留下的痕跡。本文從手刻一個 mini BPE 開始，一路拆到 tiktoken 的 regex 前切分與 byte-level 設計。
#LLM#Tokenizer#BPE#tiktoken#生成式 AI
Temperature、Top-K、Top-P：三個參數，其實在管同一件事
同樣的提問，為什麼模型每次回答都不一樣？因為它不是在「想答案」，而是在抽籤。Temperature、Top-K、Top-P 這三個參數，控制的就是這場抽籤怎麼抽——本文用一個具體例子把它們講清楚。
#LLM#Sampling#生成式 AI