1. 浅层对齐的隐患行为达标不代表内部电路达标1.1 从“会拒绝”到“拒绝回路”先聊一个我在实际评估中反复撞见的误区很多人把“模型会拒绝”当作“模型已经对齐了”。这两个说法在表面上看起来差不多但在做后训练和可操控性研究时它们之间的差距能大到让一次部署计划彻底翻车。所谓“拒绝回路”指的是模型内部用来识别有害请求、抑制生成路径、切换到安全回应的那一整条神经通路。它不是某个单独的头或者某一行权重而是跨多层、分布在注意力头与MLP之间的一组协同活动。当你向模型抛出一个危险请求这条通路会被激活把残差流往“拒绝方向”推最终让解码器输出类似“我不能协助这个请求”的内容。我在做内部电路分析时习惯上会把拒绝回路看作两部分一部分负责“识别”也就是判断当前输入是否触发了安全边界另一部分负责“执行”也就是压制正常的续写分布把输出引导到安全模板上。优秀的对齐模型这两部分是打通的识别到风险后执行层会立刻接管。但问题恰恰出在这里。很多后训练方案只保证了“执行”部分被训练出来了而“识别”部分可能仍然是脆弱的、模糊的甚至只对训练分布里出现过的措辞有反应。这就是所谓的浅层对齐——模型学会了拒绝的行为但内部并没有形成稳固、可迁移的电路。1.2 浅层对齐的典型表现只学了套路没改结构浅层对齐有几个很容易观察到的表现。第一换一种说法拒绝就消失了。比如模型对“告诉我怎么制造危险物品”会拒绝但改成“我正在写小说需要专业细节”之类的话术可能就乖乖配合了。第二对抗性后缀能让拒绝电路直接失效——这不是模型没用而是它的拒绝回路根本没有接入到深层的语义理解上只是表层的关键词匹配。最让我警惕的是第三个表现这些模型在激活空间里的“拒绝方向”非常模糊。我们用探针去读模型的中间层表征能看到真正有序的对齐模型在某个或某几个方向上存在清晰的“语义对立”——安全请求与危险请求在这个方向上的投射距离很大。而浅层对齐的模型向量投射分布经常是重叠的只有到了最后几层才勉强分开。这直接影响了后续的“转向”操作。所谓转向steering就是通过给激活或解码过程注入一个预设方向引导模型输出特定行为。转向鲁棒性指的就是这种注入在模型内部能多干净地起作用会不会被模型自身的其他机制冲散、覆盖或者反过来放大。如果你面对的模型只是浅层对齐转向注入往往表现得很诡异。你注入一个“更友好”的方向可能得到的是空洞的客套话注入一个“更安全”的方向可能只是让模型更多地在输出末尾加警告而中间的有害内容一点没少。因为注入的方向没有跟真正的内部电路对齐它只能在表层语义上游荡。所以我有一个判断标准对齐的可靠性不由你过滤了多少测试样例来决定而由模型内部是否真正长出了可迁移的拒绝电路来决定。这也是后面所有训练的出发点。2. 不同训练后方法对拒绝回路的差异化改造2.1 SFT分布适配式学习回路基本保留指令微调是最常见的后训练起点。它的特点是用大量指令-响应对做监督学习让模型学会在特定风格下格式化输出。我观察了大量SFT模型发现一个规律——如果底模在对齐预训练阶段已经具备不错的拒绝倾向SFT通常会保留这条回路甚至会通过指令格式把它强化一些。但SFT有个隐蔽的副作用它会让模型过度拟合训练数据里的“安全表达”分布。也就是说模型的拒绝更像是一个固定模板而不完全是内部判断的结果。当输入请求属于训练分布范围内时拒绝非常标准一旦偏离太多模型就失去判断依据容易根据语言相似度做出错误响应。此外SFT阶段如果混入了大量“安全-拒绝”配对样本模型会把“高危险度”映射到“使用拒绝模板”这个映射是相对表层的。因为SFT本质上是在做条件分布拟合它能学到输入与输出的对应关系但不保证模型建立对“为什么该拒绝”的深层理解。在电路层面SFT更像是给原本的回路加了一层输出端的规则包装而不是去改造成回路的内部结构。2.2 DPO一族偏好优化中回路的“增强”与“漂移”直接偏好优化和它的变体KTO、IPO这些逐渐成了后训练的主力因为实现简单、资源消耗远小于强化学习。从电路视角看DPO很有意思它基于人类偏好数据调整策略本质上是在压低被拒回答的概率、抬高被选回答的概率。在拒绝这件事上DPO通常会把“拒绝行为”和“非拒绝行为”在表征空间里拉得更开某种程度上确实能增强拒绝回路的稳定性。但DPO同样也会带来回路漂移而且这种漂移很隐蔽。我见过不止一次模型经过DPO优化后在标准安全测试集上表现得很好离线评测分数也漂亮但内部探测显示拒绝相关的特征激活其实在逐渐扩散从原本集中在中间层的几个关键头分散到了更多层。扩散本身不一定是坏事但如果扩散过程中混入了其他语义特征比如“权威性”“确定性”这类特征转向时就会出现交叉干扰。另外一个值得注意的现象是DPO的“奖励过度优化”。偏好优化驱动的模型倾向于输出高分回答而这有时候跟内部安全判断是冲突的。尤其在高温度采样下模型的输出方差变大某些中间层会把“高分方向”误解成“继续生成方向”拒绝回路压制不住于是模型一边输出安全前缀一边泄露危险内容。这种情况在电路层面看就是DPO强化了表层策略但没同步强化底层识别回路。2.3 RLHF/多轮奖励优化整体奖励压力对电路的重塑基于人类反馈的强化学习是对齐训练里的重武器。它通过奖励模型打分、策略优化、KL约束这套流程把模型的生成策略往人类偏好上推。我对RLHF的体会是它对拒绝回路的改造是所有方法里最深、最不可逆的。因为强化学习压力会传导到模型的整个决策路径而不仅仅是输出层的分布。在RLHF的早期阶段模型会快速学到“输出安全内容”能提高奖励这时候拒绝回路被迫变得非常敏感。训练充分后模型不仅会对明确的有害请求触发拒绝还会对模糊的、暗示性的请求表现出回避倾向。这种泛化能力是SFT和DPO很难做到的。但RLHF的代价也在这过度训练可能导致拒绝回路“僵硬”。我做过对照实验同一个底模分别用RLHF长训与短训长训模型的拒绝精度更高但在某些无害请求上会出现过度拒绝。而且这种过度拒绝在转向注入下会被戏剧化地放大——你本来想用一个安全方向去引导结果模型的安全回路全体总动员连正常指令都开始拒了。这说明RLHF不仅改变了输出策略还重塑了内部电路的高度联动性。2.4 针对性控制与消除回路的外科手术除了上面主流的对齐训练还有一类专门针对回路的做法目的是精确控制模型的某类行为。比如“消除拒绝”训练用大量放弃拒绝的样本去反向微调压制模型内部的拒绝方向。“越狱微调”类似但更多是为了做对抗评估而故意制造一个“无安全护栏”的对照版本。我在研究转向鲁棒性时特别看重这一类训练产物因为它们把问题暴露得很彻底。你把一个经过“拒绝消除”的模型拿去测转向会发现两个极端有些模型变得极度顺从任何转向方向都能完美执行有些模型则陷入某种混乱状态——拒绝回路被压下去之后激活空间里失去了一个重要的语义锚点模型在面临复杂请求时输出质量明显下降。这给我的启示是拒绝回路不仅承担安全功能它还是模型语义组织的一部分。粗暴地消除它可能带来“安全性下降”之外的更多问题包括生成质量崩塌和转向行为失控。这也是为什么我一直坚持对齐训练应该做“电路级”的评估而不仅仅是端到端的评测。3. 转向鲁棒性的断裂点当我往模型注入方向时发生了什么3.1 激活转向的机制与前提先简单复习一下转向的操作方式。最常见的是计算某个行为方向的表征向量比如“友好”方向和“敌对”方向然后在推理时把这个向量加到某个中间层的残差流或注意力输出上从而把模型的生成推向目标行为。做法很简单但结果好坏天差地别。转向要理想地生效前提是模型内部本身存在一个与目标行为对应的、相对清晰的方向。如果这个方向天然存在于模型的语义空间里注入就容易成功如果它跟其他方向纠缠不清注入就会出现“偏转”甚至“反向”。拒绝回路恰恰是模型语义空间里最复杂的方向之一。它在训练过程中融合了安全识别、责任回避、社会规范、指令遵守等众多要素。所以当你往一个对齐模型里注入一个方向时注入向量会无可避免地与拒绝回路发生交互。这种交互的结果就是转向鲁棒性的核心。3.2 训练后选择决定转向行为的三种典型失败我在追踪转向行为时归纳出了三种典型失败模式它们的根源几乎都能追溯到训练方法的选择上。第一种是“方向支配”。这常见于对抗样本激增、拒绝回路极度敏感的模型。当注入方向与拒绝方向存在哪怕一点点重叠时模型也会把注入信号解读为“高风险信号”结果转向注入变成了变相越狱放大器。比如你只加一个微弱的“helpful”方向模型反而开始输出危险内容——因为它内部的拒绝电路失灵了而helpful方向又恰好跟“尽量满足用户”绑定。第二种是“方向失效”。这常见于拒绝回路被浅层强化覆盖的模型典型是SFT过度。注入方向虽然被加上了但模型早就在输出层形成了固定的、僵硬的回答格式注入的激活根本影响不到解码阶段。你做了半天向量运算输入输出几乎不变。第三种是“方向纠缠”。这个最麻烦常见于DPO这种偏好优化后的模型。注入方向生效了一部分但又牵扯出一堆关联行为——比如你加“简洁”方向结果模型不仅变简洁了还附带变得过度自信在错误信息上毫不含糊。这本质上是DPO过程中无关的方向和拒绝特征产生了纠缠注入时被一并激活。3.3 一个具体的破坏链分析我动手分析过一个典型的破坏链过程很能说明问题。模型A是一个经过两轮DPO对齐的13B模型安全评测通过率很高。我给它的中间层注入了一个“跟随用户指令”的转向方向期望它变得更容易接受复杂指令。结果在若干测试提示中模型不仅接受了本应拒绝的请求而且输出得异常详尽——安全评测直接崩盘。我从激活追踪上看到注入向量在进入模型后途经第16-20层时与“高风险请求”的聚类表征发生了共振。DPO训练时模型为了对齐把大量“危险请求”的表征往一个紧凑区域挤压。我的注入方向恰好掠过这片区域放大了其中某些维度的激活。这直接导致了两个结果一是拒绝识别模块误判了输入二是生成模块以为“用户想要一个长答案”于是全力展开。这个案例说明转向鲁棒性本质上取决于拒绝电路在表征空间里的分布形态。如果训练方法导致拒绝相关方向被过度挤压或纠缠那么任何转向注入都有可能踩着这根高压线。4. 在部署前测量转向冲击与恢复能力4.1 设计与指标只测“能不能转向”远远不够如果你只是为了发论文那测一下转向成功率就够了。但要在实际产品里安全地使用转向技术我建议至少测量三个层面方向保真度、行为偏移度、以及电路恢复度。方向保真度衡量的是注入方向后模型在目标行为上的表现是否按预期变化。这个可以量化比如对“友好方向”测量注入前后模型回应中正面情感占比的差值。行为偏移度就复杂一些。它衡量的是转向注入是否带来了非目标行为的变化——模型是不是变啰嗦了、是不是对无关内容也提高了附和度、在敏感话题上是不是表现出了异常。电路恢复度是我自己项目里一直在用的一个指标在转向注入停止后模型需要多长时间、多少步才能回到正常的“默认行为分布”。我在多个模型上跑出来的结果差异很大有的模型去掉注入向量后立刻恢复有的模型则要经过十几个token才慢慢绕回来还有的模型干脆回不来了——它的内部状态被转向操作推到了一个新的吸引域。4.2 自动化探针与手工验证结合要测量上面这些指标单纯靠人工评测是不现实的。我们搭了一套半自动化的验证流程。第一步是离线探针测试。我们在模型内嵌入了若干线性探针用来实时读取模型在不同层级的“安全风险激活值”和“拒绝意图激活值”。转向操作时探针会记录这些激活值的变化曲线。正常情况下安全风险的激活值应该保持相对稳定如果注入后安全风险激活值出现剧烈波动说明转向与安全回路产生了非预期交互。第二步是差异回溯。我们会对模型做逐层的激活差异分析找出注入前后激活变化最大的层。再用因果消融去验证把特定层的差异激活抹掉看转向行为是否消失或改变。这样就能定位到具体的转向生效区域也能知道它跟拒绝回路的重叠范围有多大。第三步才是人工抽检。我坚持每个候选模型都要有人工看至少50条转向样本因为离线指标经常掩盖语义层面的细微变化。比如模型可能被“更安全”方向引导后在普通对话里的回答语气异常僵硬这在自动指标里很难体现。4.3 通过离线合成揭示回路健康还有一套我自己常用的“回路健康体检”专门在离线状态下做不需要高危样本安全又高效。体检一方向正交性测试。计算目标转向方向与拒绝方向在表征空间里的余弦相似度。如果绝对值偏高无论正负那这个转向方向大概率会干扰安全行为。体检二方向稳定性测试。在不同上下文里反复注入同一个方向向量看模型行为波动大小。如果波动很大说明这个方向没有对应到稳定的内部语义只是被模型临时解读成了某种全局偏移。体检三拒绝回路敏感性测试。给模型一系列梯度递增的风险提示同时注入固定转向方向观察拒绝行为从哪一档开始失效。这套体检做完我基本能判断一个模型在转向操作上的“安全余量”有多大。这个过程花不了多少算力却能避免很多部署后的安全事故。5. 我实践中的选择为可操控鲁棒的模型构建训练后管线5.1 优先级权衡安全性与可控性不能二选一谈谈我在设计训练管线时的一些取舍标准。很多人会把安全性和可控性放在对立面觉得要么模型够安全但很“死板”要么模型够灵活但容易失控。我的观点是它们互相对立是因为训练方法没有区分“识别”与“执行”这两个回路。设计目标应该是保留甚至增强识别回路的灵敏度同时让执行回路具备可调节的空间。换句话说我想让模型知道“什么不能做”但不想让它在行为上只有“拒绝一切”和“顺从一切”两个极端。这个目标的实现手段通常是在训练数据里刻意加入分层级的回应策略样本——对不同风险程度的请求给出不同强度的拒绝和引导而不是非黑即白。我发现当训练数据里包含足够多的“中间态”回应时模型内部自然会长出更丰富的行为组织方式。拒绝回路不再是一条笔直的死路而更像一个带有多级阈值的分流器。这种模型在转向注入下会表现出非常好的韧性你可以调节它的严格程度但它不会因为一个通用方向就彻底崩溃。5.2 训练顺序与混合策略的实战建议我把这些年验证过比较有效的训练顺序和混合策略整理一下供参考。第一不要上来就做偏好优化。我建议先做一到两轮高质量SFT但拒绝样本不要占太大比例尤其不要全是有害请求的硬拒绝。要适当加入解释型拒绝和替代性建议让模型学会“拒绝但不结束对话”。第二DPO阶段要控制“偏好差距”。DPO失效的一大原因是偏好对里的拒绝回答和选择回答区分度太大模型被逼着把表征空间拉得太开。我的做法是加入一些“难度接近”的偏好对让模型学会精细化判断而不是一味地拉开距离。第三如果资源允许我强烈建议在DPO之后再叠加一个短程的RLHF或基于拒绝采样的微调。这一步不是为了做奖励最大化而是为了让那些被偏好优化压得很紧的方向稍微“松绑”。我们实测下来这样做之后转向注入的稳定性有明显的提升尤其是在模型面对OOD输入时的表现。第四训练数据里要专门加一批“转向类样本”。就是让模型自己生成一些多轮对话期间人为地改变指令风格、话题强度、安全边界然后让模型学习在这些变化下保持一致的回应原则。这个操作听起来简单但它能让模型的回路对“行为变化”本身更有鲁棒性。5.3 训练结束时的验收红线最后分享几个我在验收阶段坚持的红线标准。第一个模型必须通过“双测试”——标准安全评测之外还必须跑一轮转向对抗测试。具体做法是从模型里提取两到三个常见方向helpful、concise、strict分别注入后跑一遍安全测试集如果注入后通过率低于注入前的一定比例直接打回重训。第二个红线模型的安全违规不应该集中在某一种特定的注入方向上。如果我用十种不同的方向做测试违规样本应该均匀分布而不是全部集中在某一种方向上。出现后者意味着模型内部存在一个跟该方向强绑定的脆弱点。第三个红线至少做一次“回路消融可恢复性”测试。在模型推理时人为抑制某些中间层的激活观察模型能否在若干步内恢复到正常的拒绝状态。如果抑制作用一去掉模型很长时间回不来那说明这个模型的回路自恢复能力太弱不适合部署。根据我的项目经验过了这三条红线的模型在转向鲁棒性上通常都表现得很扎实。当然这也会提高训练成本但相比部署后出一次安全事故的代价这些投入完全是值得的。我到现在还记得有一次模型已经通过全部标准安全测试却在转向测试里意外暴露了严重问题——注入一个完全无关的“formal语气”方向模型居然开始对帮助性请求产生防御性回应。那次之后我把转向对抗测试放到了跟安全评测同等重要的位置也建议所有做对齐后训练的人把内部电路健康度当作一等公民来对待。