分词与 BPE —— 词表是怎么从语料里长出来的

# ============================================================ # 【演示目标】亲手训练一个迷你 BPE,再拿它切"语料里根本没有的新词", # 验证第 2 课最重要的一句话: 词表 = 一份"合并规则清单",新词靠零件拼装。 # 【思路】代码分两段,和课文的四步一一对应: # A. 训练 = 反复做两件事: # ① 数一遍所有相邻词元的出现次数(乘词频,票数) # ② 把得票最高的一对"焊接"成一个新词元,并记下这条规则 # 课文四步里的 ①贴 ②拆字符 是开局准备,③数对子 ④合并 是循环体 # B. 切新词(encode) = 从单字符开局,按训练时的顺序"重放"规则清单 # 对照实验: 演算器里点的每一刀,应与这里每次循环打印的完全一致 # ============================================================ corpus = {"old": 7, "older": 3, "finest": 9, "lowest": 4} # 词 → 词频(第 2 课原语料) num_merges = 5 # 改我!试试 2 / 10 / 13 # ---- 开局准备(课文第①②步): 每个词拆成单字符 + 词尾哨兵 ---- # 用 tuple(不可变序列)当字典键,把"一个词当前的切法"作为整体来存 words = {tuple(list(w) + [""]): f for w, f in corpus.items()} merges = [] # 训练的真正产物:合并规则清单(不断加长) # ---- A. 训练循环:每轮 = 数票 + 焊接票王 ---- for step in range(num_merges): # ① 数相邻对: 对每个词的每一对相邻词元,累加词频 # zip(toks, toks[1:]) 把序列错开一位 → (t0,t1)(t1,t2)(t2,t3)… pairs = {} for toks, f in words.items(): for a, b in zip(toks, toks[1:]): pairs[(a, b)] = pairs.get((a, b), 0) + f if not pairs: break # 全部焊成整词了,没对可数 # ② 取票数冠军。max 并列时取先扫到的——与课文/演算器一致(es 先于 st) best = max(pairs, key=lambda p: pairs[p]) merges.append(best) # 记下这条规则,encode 时要用 # ③ 全语料执行焊接: 命中 best 的相邻对拼成一个词元,其余原样保留 nxt = {} for toks, f in words.items(): out, i = [], 0 while i < len(toks): if i < len(toks) - 1 and (toks[i], toks[i + 1]) == best: out.append(toks[i] + toks[i + 1]) # 焊接: 两个词元 → 一个 i += 2 # 吃掉两个位置 else: out.append(toks[i]) # 与 best 无关,照抄 i += 1 nxt[tuple(out)] = f words = nxt print(f"第 {step + 1:2d} 次合并: {best[0]} + {best[1]} (出现 {pairs[best]} 次)") # ---- 看训练成果: 4 个词现在的切法(对照课文第⑤步的层级词表) ---- print("\n合并后的切法:") for toks, f in sorted(words.items(), key=lambda kv: -kv[1]): print(f" {'/'.join(toks):<30} ×{f}") # ---- B. encode: 用学到的规则切(可能没见过的)新词 ---- # 关键认知: 切词用的信息 100% 来自 merges 这份规则清单——词表即规则。 # 所以"slowest 语料里没有"不碍事: 只要它的字节零件命中过任何规则,就能拼 def encode(word): toks = tuple(list(word) + [""]) # 和训练开局一样: 先拆成单字符 for a, b in merges: # 按训练时的先后顺序重放每条规则 out, i = [], 0 while i < len(toks): if i < len(toks) - 1 and (toks[i], toks[i + 1]) == (a, b): out.append(a + b); i += 2 # 规则命中 → 焊接 else: out.append(toks[i]); i += 1 # 没命中 → 原样保留 toks = tuple(out) return list(toks) print("\n语料里没有的新词,用学到的词表切:") for w in ["slowest", "oldest", "lowest"]: print(f" {w:<9} → {encode(w)}") # 对照正文 win 卡片读结果: oldest → old+est 整词命中; # slowest 的 l·o 方向对不上 o+l 规则,只能借到 est 这一个零件