中文怎么办 —— 没有空格的语言,怎么过 tokenizer 这一关

# ============================================================ # 【演示目标】看清"字符"在计算机里的真面目——UTF-8 字节。 # 这是字节级 BPE 的物理基础: 英文字母 1 字节,常用汉字 3 字节。 # 正文说"中文在 GPT-2 里吃亏",根子就在这 3 倍的字节差。 # 【思路】两小步: # 1. 单字符视角: encode("utf-8") 把字符变成字节,打印十六进制, # 亲眼看到"学"= e5 ad a6 三个字节(而 A 只是 41 一个字节) # 2. 整句视角: 数一数同一句中文的"字符数"vs"字节数",对比出 3 倍差 # 读法: U+XXXX 是字符的 Unicode 编号;hex() 显示的是编码后的字节 # ============================================================ # ---- 第 1 步: 逐个字符看字节构成 ---- for ch in ["A", "9", "学", "习", "！"]: b = ch.encode("utf-8") # 字符 → 字节串(这就是计算机里存的东西) print(f" {ch} U+{ord(ch):04X} → {len(b)} 字节: {b.hex(' ')}") # ord(ch) 取 Unicode 编号;b.hex() 把字节显示成十六进制。 # 注意:3 个汉字和全角叹号都是 3 字节——它们才是中文的"常态" s = "深度学习改变了很多行业。" print() # ---- 第 2 步: 整句对比 字符数 vs 字节数 ---- print(f"「{s}」: {len(s)} 个字符 → {len(s.encode('utf-8'))} 个字节(每个汉字 3 字节,句号也是 3 字节)") # len(s) 数字符,len(s.encode()) 数字节——两者差 3 倍。 # 同样一句话,中文占的字节是英文的好几倍,这就是"字节级分词"里中文的起点劣势

# ============================================================ # 【演示目标】亲眼看见"汉字词元"怎么从字节零件里长出来。 # 算法和第 2 课的 old/finest 一模一样,只是开局零件从"字母"换成"字节"—— # 由此你会同时看懂两件事: 汉字能被焊出来,GPT-2 只是因为没票才没焊出来。 # 【思路】三段: # 1. 开局: 每个中文词拆成 UTF-8 字节(每个汉字 = 3 个字节零件) # 2. 训练 26 刀: 数相邻对 → 焊接票王 → 重复。 # 盯着看三个瞬间(正文 win 卡片详解): # 刀 1-2 「学」的 3 个字节焊成整块 —— GPT-2 缺的正是这一步 # 刀 3 合并跨过汉字边界 —— BPE 不知道"字"在哪结束,"词"就这么诞生 # 刀 16 「深度学习」整个成语块 # 3. 切新句: 学过的字/词保留,生字裂回字节碎片(GPT-2 面对中文的处境) # 读输出的技巧: show() 把词元尽量解成汉字,解不出的半截字显示十六进制 # ============================================================ corpus = {"深度学习": 9, "学习模型": 7, "训练模型": 5, "好模型": 3} # 改我! num_merges = 26 # 改我!加大看更多词块长出来 def show(tok): # 词元 = 一段字节。能组成合法 UTF-8 就解成汉字给人看; # 解不出(半个汉字,如 e5 ad)就显示十六进制——那就是"碎片"的真身, # 也是 GPT-2 单独解码中文词元时输出 � 的原因 try: s = tok.decode("utf-8") return s if s else "''" except UnicodeDecodeError: return " ".join(f"{b:02x}" for b in tok) # ---- 开局: 每个词 → 一串"单字节词元" ---- # w.encode("utf-8") 得到字节串;bytes([b]) 把其中 1 个字节包成最小词元 words = {tuple(bytes([b]) for b in w.encode("utf-8")): f for w, f in corpus.items()} merges = [] # 合并规则清单(和第 2 课同一个角色) # ---- 训练循环: 数票 → 焊接票王(每轮叫"一刀") ---- for step in range(num_merges): # ① 数相邻对(乘词频)。"对"的两边可以是 字节、半个字、整字、词—— # BPE 不关心语义,谁相邻就数谁,这正是"词"能跨字长出来的原因 pairs = {} for toks, f in words.items(): for a, b in zip(toks, toks[1:]): pairs[(a, b)] = pairs.get((a, b), 0) + f if not pairs: break best = max(pairs, key=lambda p: pairs[p]) # ② 票王(并列取先扫到) merges.append(best) # ③ 全语料执行焊接: 相邻两词元命中 best 就拼接(bytes 相加 = 字节串连接) nxt = {} for toks, f in words.items(): out, i = [], 0 while i < len(toks): if i < len(toks) - 1 and toks[i] == best[0] and toks[i + 1] == best[1]: out.append(toks[i] + toks[i + 1]); i += 2 # 焊接,吃掉两个位置 else: out.append(toks[i]); i += 1 # 无关,照抄 nxt[tuple(out)] = f words = nxt print(f"第 {step+1:2d} 刀: {show(best[0]):<8} + {show(best[1]):<8} → {show(best[0]+best[1]):<10} (×{pairs[best]})") # ---- encode: 拿规则清单切全新句子 ---- # 先把新句变字节流,再按训练顺序重放规则——与第 2 课同一个逻辑 def encode(text): toks = [bytes([b]) for b in text.encode("utf-8")] for a, b in merges: out, i = [], 0 while i < len(toks): if i < len(toks) - 1 and toks[i] == a and toks[i + 1] == b: out.append(a + b); i += 2 else: out.append(toks[i]); i += 1 toks = out return toks print("\n切没见过的句子:") for s in ["深度好模型", "大模型行业", "强化学习"]: toks = encode(s) print(f" {s}({len(s)}字/{len(s.encode())}字节) → {len(toks)} 词元: {' | '.join(show(t) for t in toks)}") # 对照正文 win 卡片读: 深度好模型→2 词元(全是学过的块); # 大模型行业→生字「大/行/业」裂回字节碎片;强化学习→「学习」复用、「强/化」裂开