中文语料污染严重

是的。今天碰到了

就是意外出现一个训练较少的 token ，它的 embedding 方差很大，直接影响了 LayerNorm 层的计算，导致后续 token 归一化后数值集体偏向同一个方向,attention score 分布严重退化（趋向于 uniform 或 single token attention ）梯度也跟着爆炸/消失

上次我用 Gemini 的时候它直接引用黄网内容来分析，最后写起了小说，越写越黄....

这是好事 加速到领导开会放 ppt 时乱入黄色内容后禁用 AI