AI042. BPE 子词合并训练

训练一个字节对编码分词器（Byte Pair Encoding，BPE）。给定 w 个词及其出现频次，每个词初始被切成单字符的符号序列。执行 R 轮合并，每轮规则如下： 1. 统计所有词中相邻符号对 (A, B) 的加权出现次数：词内每一个相邻位置计一次，权重为该词的频次。同一个词里的符号对可以重复计数，例如符号序列 a a a 含两个相邻对 (a,a)，对计数的贡献是 2 倍词频。 2. 取加权次数最高的符号对；并列时取字典序较小者（先比较 A 的符号串，相同再比较 B 的符号串，均按普通字符串字典序）。 3. 把每个词的符号序列中所有相邻的 (A, B) 从左到右不重叠地合并为新符号 AB（符号串拼接）。例如对 (a,a) 合并 a a a 得到 aa a。 4. 若统计不到任何相邻符号对（所有词都只剩一个符号），提前结束，后续轮不再执行，也不产生输出行。 输出每一轮实际执行的合并（符号对及其加权次数），以及 R 轮（或提前结束）后每个词的最终切分。