BERT+CRF 怎么联合训练?

BERT 与 CRF 的分工

BERT 为每个输入 token 产生上下文相关 hidden state h_i。线性层把 h_i 映射为每个标签的 emission logits/scores，不是彼此独立且已归一化的 P(y_i|x)。

线性链 CRF 再引入标签转移分数 A_{y_{i-1},y_i}。一条标签序列的总分为 emission 分数之和加 transition 分数之和：

score(x,y)=sum_i emission_i(y_i)+sum_i A[y_{i-1},y_i]

训练最大化正确序列的条件对数似然，分母用 forward algorithm 对所有标签序列求和；解码用 Viterbi 找总分最高的标签路径。梯度同时更新 BERT、线性头和 CRF 参数。

优势与边界

相比逐 token softmax，CRF 能学习相邻标签依赖，例如实体内部标签与边界模式。但普通 CRF 的转移矩阵只是学习偏好，不保证 BIO 规则绝对合法；若需要硬合法，必须显式 mask 非法转移或使用 constrained CRF。

BIO 中 I-PER → B-LOC 可以合法地结束人物实体并开启地点实体。典型非法例是 O → I-PER 或 B-ORG → I-PER。CRF 的收益取决于数据量、标签体系和 encoder 强度，也会增加训练/解码成本；应与 token classifier 在 span-F1、非法率和延迟上公平比较。

图解