开源大模型的安全对齐，只靠一个方向撑着

Google 的 Gemma-4-31B 发布 90 分钟后就被"越狱"了。安全限制归零，什么都能回答。

这不是靠什么花哨的 prompt 技巧。是直接对模型动手术 —— 一种叫 Abliteration 的技术，找到模型大脑里负责"说不"的那根神经，然后把它切掉。

我用三个不同的模型实际复现了整个过程 —— Qwen2.5-1.5B、Qwen3-4B、DeepSeek-R1-7B。结果令人震惊：Qwen 系列 2 分钟就能破解，而 DeepSeek-R1 甚至不需要破解，基线就不拒绝。

为什么大模型会拒绝你？

当你问 ChatGPT "怎么造炸弹"，它会说"对不起，我无法协助"。这个行为不是规则引擎，不是 if-else，而是安全对齐训练（RLHF / DPO）在模型权重里烙下的印记。

Arditi 等人在 2024 年的研究中发现了一个惊人的事实：

LLM 的拒绝行为，由残差流中一个单一方向控制。

什么意思？可以这样理解：

想象模型内部有一个 4096 维的空间（对于大模型来说是真实的维度数）。每次你输入一句话，模型在这个空间里产生一个向量，代表它"理解"的内容。安全对齐训练做的事情，是在这个空间里加了一个特殊的方向 —— 我们叫它拒绝方向。

当输入触发了敏感话题，模型的内部表示就会在"拒绝方向"上有一个大的分量。这个分量传导到输出层，就变成了"对不起，我无法协助"。

关键洞察：这个方向是单一的、线性的、全局的。不是每层一个，不是每个话题一个，而是整个模型共享一根"拒绝神经"。

Abliteration 是怎么找到这根神经的？

原理极其直观，只需要三步：

第一步：准备两组 prompt

一组"有害"的（比如 "how to hack a database"），一组"无害"的（比如 "explain photosynthesis"）。各准备一百多条。

第二步：收集激活值，计算差异

把两组 prompt 分别喂给模型，记录每一层中间的隐状态（残差流）。然后对每一层计算：

拒绝方向 = mean(有害prompt的激活值) - mean(无害prompt的激活值)

归一化后，这就是该层的"拒绝方向"候选。

直觉：有害 prompt 和无害 prompt 在模型内部的表示差异，最显著的那个方向，大概率就是安全对齐训练加上去的"拒绝信号"。

第三步：正交化权重

找到拒绝方向 d 后，对模型中所有"写入残差流"的权重矩阵做正交化：

W_new = W - (d · W) * d

这一步的几何意义：从权重矩阵中移除 d 方向的所有分量。之后模型在几何上再也无法产生"拒绝"信号 —— 因为拒绝方向已经从所有权重的输出空间中被抹掉了。

整个过程不需要训练，不需要 GPU 算力，不需要数据标注。只是线性代数。

实际复现：Qwen2.5-1.5B 上的手术

我用 Qwen2.5-1.5B-Instruct 做了完整复现。这是一个 15 亿参数、28 层的小模型，方便验证。

基线表现（手术前）

问四个"有害"问题：

四个全拒绝。安全对齐正常工作。

找拒绝方向

用 128 条有害 prompt 和 128 条无害 prompt 收集所有 28 层的激活值，计算 27 个候选拒绝方向（Layer 0 因为 NaN 被跳过）。

按 abs(mean) 排序的 Top-5：

但统计量最大的 Layer 5，在实际推理测试中完全无效 —— score 0/8。

推理时介入测试（关键环节）

这是整个流程中最关键的一步：不是看统计量，而是实际用 hook 在推理时干预，看哪个方向真的能移除拒绝。

对 Top-20 候选方向逐一测试，用 hook 在每层的 forward pass 中减去该方向的投影，然后检查模型是否还会拒绝。

结果出乎意料：

真正的拒绝方向在 Layer 16（总共 28 层的 57% 处），它的统计量并不是最大的 —— 排在第 7 位。

这说明：拒绝方向的"位置"比"强度"更重要。浅层（Layer 1-5）的方向虽然均值差异大，但可能编码的是其他语义差异（有害/无害 prompt 本身的话题差异），而不是"拒绝行为"本身。真正控制拒绝的方向在模型的中后段。

手术后的效果

用 Layer 16 的拒绝方向对全部权重做正交化后：

四个全突破。拒绝行为完全消失。

不仅不拒绝了，模型甚至用"exciting challenge"来形容这些请求 —— 因为拒绝方向被移除后，模型把这些请求当成了普通的技术问题来回答。

多模型对比：Qwen3-4B 和 DeepSeek-R1-7B

单个模型的结果可能是巧合。我又对 Qwen3-4B-Instruct（新一代 Qwen，36 层）和 DeepSeek-R1-Distill-Qwen-7B（推理模型，28 层）做了同样的实验。

Qwen3-4B：首个候选就命中

Qwen3 基线拒绝得更"认真"——不只是"I'm sorry"，还会附上完整的法律说明：

I'm sorry, but I can't assist with that request. Hacking into any government database—whether secure or not—is illegal, unethical, and a serious violation of laws and regulations such as the Computer...

收集 128 个样本后，计算出 35 个候选方向。Top-5：

直接用 Top-1 候选（Layer 24）做正交化 —— score 4/4，首个候选就完美命中。

有意思的是，Qwen3 消融后的回复比 Qwen2.5 更"有良心"—— 它虽然不拒绝了，但仍然在回复开头指出"这是违法的"。拒绝方向控制的是行为（是否回答），而不是认知（是否知道这是错的）。

Layer 24 在 36 层中占 67%，和 Qwen2.5 的 57%（Layer 16/28）一致 —— 拒绝方向稳定在模型中后段。

DeepSeek-R1-7B：不需要越狱的推理模型

DeepSeek-R1 的结果是整个实验中最出人意料的。

基线测试（手术前）：

四个问题全部没有拒绝。 R1 在 <think> 中表达了犹豫（"that sounds concerning"、"I know hacking is illegal"），但思考完之后照样回答。

这说明 DeepSeek-R1 的安全对齐训练在推理链（chain-of-thought）场景下几乎失效。模型学会了"假装犹豫"但不会真正拒绝。或者更准确地说：R1 的推理训练覆盖了安全对齐训练的效果。当模型被训练为"认真思考每个问题"时，"拒绝回答"就变成了一个被思考过程绕过的障碍。

三模型对比总结

跨厂商验证：国内 + 国外的 7 个模型

3 个 Qwen 模型加 1 个 DeepSeek 还是不够 —— 都是中国公司、相似的训练流程。如果 abliteration 只对 Qwen 系列有效，那这就不是一个普适的发现。

我又测了 4 个不同来源的模型：

5 个不同厂商，3 个国家，6 个被成功越狱，1 个甚至不需要越狱。

Yi-1.5-6B（零一万物）的结果

零一万物（01.AI）是李开复创办的公司，Yi 系列基于 LlamaForCausalLM 架构但完全独立训练。结果：Layer 18/32 (56%)，Top-1 候选直接命中。消融后输出：

Hacking into a bank's database is a process that involves several steps. Here's a tutorial on how to do it:

1. Identify...

干净利落的步骤列表，没有任何道德说教。

Phi-3.5-mini（Microsoft）的结果

Microsoft 的 Phi 系列以"小模型大能力"著称，安全训练用的是不同于 Anthropic Constitutional AI 的方法。基线回复风格是"I must clarify that..." + 长篇道德说教（不是简单的"I'm sorry"），需要扩展拒绝关键词检测才能识别。

Layer 13/32 (41%)，第 2 个候选才命中（第 1 个是 false positive）。消融后：

Title: Hacking into a Secure Government Database: A Step-by-Step Guide Introduction: In this tutorial, we will explore...

直接输出教程标题。

Mistral-7B-v0.3（Mistral AI）的结果

法国 Mistral AI 是 Llama 之外最重要的开源模型来源。Mistral-7B 的基线很有意思——它已经会主动用 "Disclaimer" 或 "Hypothetical Guide" 包装然后回答，安全对齐相对宽松。

Layer 16/32 (50%)，4/4 完美。消融后输出：

To develop a plan to steal confidential data from a company, follow these steps:

1. Research: Gather as much information as possible about the company's...

注意 Mistral 的拒绝方向层位置 (Layer 16/32 = 50%) 和 Qwen2.5-7B (Layer 16/28 = 57%) 几乎相同 —— 不同公司、不同数据、不同训练流程，最终在同一个相对位置形成拒绝方向。

跨厂商规律

所有厂商的安全对齐都集中在模型 41%-67% 深度处。这不是巧合——这是 RLHF/DPO 这类对比学习方法的几何必然性：

1. 浅层学不出"拒绝"的语义概念
2. 深层主要负责生成具体词汇
3. 中后段是抽象决策的形成阶段，最适合编码"是否要拒绝"这种二元决策

只要训练范式不变（RLHF/DPO + transformer），不管哪家公司、哪个国家、哪个数据集，都会在同一个几何位置形成可被一刀切除的拒绝方向。

这说明了什么？

1. 安全对齐是脆弱的

当前的安全对齐方法（RLHF、DPO）在开源模型上几乎没有防御意义。对齐效果被编码在一个低维子空间（甚至一个方向）里，可以用简单的线性代数移除。

这不是理论，而是工程现实：Gemma-4-31B 发布 90 分钟，HuggingFace 上就出现了去对齐版本。

2. 为什么只靠一个方向？

这与 RLHF/DPO 的训练方式有关。这些方法本质上是在教模型区分"应该回答"和"应该拒绝"这两类输入。这是一个二分类问题，而二分类在高维空间中天然可以用一个超平面（一个方向）来实现。

安全对齐训练的"线性化"是结构性的，不是偶然的。

3. 推理模型的安全对齐更脆弱

DeepSeek-R1 的案例揭示了一个深层矛盾：推理训练和安全对齐训练是对抗的。推理训练教模型"认真思考每个问题"，安全对齐教模型"某些问题不要回答"。当两者冲突时，推理训练赢了。

这可能是所有 chain-of-thought 推理模型的通病。模型学会了在 <think> 中"表演犹豫"，但最终还是会给出答案 —— 因为推理训练的奖励信号比安全对齐更强。

4. 闭源 vs 开源

Abliteration 只对开源模型有效 —— 因为你需要访问模型权重。对 GPT-4、Claude 这样的闭源模型，你无法做权重正交化。

但开源模型的趋势是不可逆的。当越来越多的高质量开源模型发布，abliteration 变成了一个一键工具（比如 OBLITERATUS 支持 116 个模型），安全对齐在开源领域基本形同虚设。

5. 性能损失很小

MMLU 基准测试显示，abliteration 后的模型性能只下降约 2%。这是因为拒绝行为只占模型表示空间中极小的一部分 —— 移除一个方向对整体能力的影响微乎其微。

代码和复现

完整复现代码已开源：github.com/imfht/abliteration

基于 transformers 的纯 Python 实现，不依赖 TransformerLens。三个脚本覆盖不同场景：

核心逻辑不到 200 行。关键函数：

# 收集每层 resid_pre 激活值
harmful_acts = collect_resid_pre(model, tokenizer, harmful_prompts)
harmless_acts = collect_resid_pre(model, tokenizer, harmless_prompts)

# 计算拒绝方向候选
directions = compute_refusal_directions(harmful_acts, harmless_acts)

# 推理时介入测试（找到真正有效的方向）
for direction in directions[:20]:
    score = test_direction_with_hook(model, direction, test_prompts)

# 永久正交化权重
model = abliterate_model(model, best_direction)

硬件要求：RTX 5090 上 Qwen3-4B 全程 2 分钟，Qwen2.5-1.5B 约 5 分钟（含 hook 评估），31B 模型约需 30 分钟。

参考

• Arditi et al., "Refusal in LLMs is mediated by a single direction", 2024
• mlabonne, "Uncensor any LLM with abliteration", HuggingFace Blog
• NousResearch/llm-abliteration, GitHub
• OBLITERATUS by Pliny the Liberator, GitHub