OpenClaw 的位置编码选型是我最近被问得最多的问题之一尤其是大家拿它做长文本推理的时候。先把结论放在前面OpenClaw 模型架构里用的主位置编码是 RoPE旋转位置编码从实现和实测行为看它本质上走的是相对位置路线不是传统意义上的绝对位置或可学习位置编码同时模型默认支持上下文长度外推但不是无条件无限外推背后有插值和动态缩放策略兜底。很多人刚接触大模型时会把位置编码当成一个“预处理步骤”觉得只要在输入向量上按位置加点信息就行。实际上位置编码决定的是模型如何理解 token 之间的距离它直接决定了训练长度之外模型还能不能继续推理。所以问“绝对还是相对”“能不能外推”是在问一个模型的长上下文能力的基础。下面我按自己的理解把 OpenClaw 的设计拆开讲尽量从原理到实操都覆盖。1. 先把位置编码的基础讲清楚绝对、相对和它们的分歧点1.1 绝对位置编码把坐标写在每一个 token 上绝对位置编码的出发点是给每一个位置一个独立且固定的表示。最经典的是 Transformer 原版里的正弦位置编码位置 pos 和第 2i/2i1 维分别用 sin/cos 函数生成频率按 10000^(2i/d) 递减。它不需要训练看起来可以“生成任意位置”问题在于模型只在训练长度内见过对应位置组合训练外推到新位置时绝对坐标是连续的但模型从没见过那些坐标组合效果往往崩掉。OpenClaw 没有选这条路线。原因是绝对位置编码的问题不止外推差它把每个位置当成孤立的坐标模型需要自己从坐标差异里推断相对远近学习成本高而且对序列长度变化非常敏感。训练时用的是 4K推理想用 8K绝对位置编码连一个统一的“位置表”都没有只能硬着头皮生成没见过的新向量实际效果可想而知。1.2 相对位置编码直接建模距离而不是坐标相对位置编码的核心是让 attention 的计算结果跟两个 token 的距离offset挂钩跟它们各自所在的绝对坐标无关。这样即使推理长度超过训练长度只要两个 token 的距离没有超过模型见过的相对距离范围理论上就能继续工作。ALiBi 是典型代表在 attention score 上按相对距离加一个线性惩罚离得越远惩罚越大实现简单、外推效果好但 ALiBi 比较粗糙它把位置关系简化成“线性距离远近”对细粒度的位置模式表达有限。OpenClaw 没有选择 ALiBi 这种纯相对编码而是选择了 RoPE。RoPE 的特别之处在于它表面上是给 q/k 向量乘一个随绝对位置变化的旋转矩阵最后注意力点积的结果却只依赖两个位置的差值等于用“绝对坐标”包了一个“相对距离”的内核。这也是很多人把 RoPE 误认为纯绝对位置编码的原因后面我会专门拆开说。1.3 位置编码选型的关键权衡站在模型设计者的角度选择位置编码要权衡三件事外推能力、训练稳定性和实现复杂度。绝对位置编码实现最简单但外推差ALiBi 外推好但表达力弱RoPE 既有相对位置的特性又能跟已有的 Transformer attention 无缝结合代价是要处理旋转矩阵和频率缩放。OpenClaw 在这三者之间选择了 RoPE核心考量是主流社区对 RoPE 的验证最多插值、NTK、动态扩展都有成熟方案后续做长文本优化不必重写架构。这里有一个容易被忽略的点位置编码不只是在 embedding 上做加法它实际上参与了 attention 内部的相似度计算。所以很多人在分析模型时只看输入层是否有 position embedding不看 attention 内部是否注入了位置信号最后会得出完全错误的结论。OpenClaw 的做法是把位置编码明确放进 attention 计算里而不是放在 embedding 层这个设计决策直接决定了它的外推表现。2. OpenClaw 的主位置编码RoPE 的几何直觉与实现细节2.1 为什么最终是 RoPE而不是可学习位置编码可学习位置编码也是很多模型的选择直接给每个位置分配一个 embedding 和 token embedding 一起训练。问题在于它有个硬上限训练时设置了多少位置参数推理就只能用多少。OpenClaw 的架构目标本来就是长文本方向选可学习位置编码等于给自己加天花板。RoPE 则把位置信息编码进旋转角度是一个连续的函数位置参数不会用完。OpenClaw 在代码里把 RoPE 放到 attention 内部实现对每个 attention head 的 q/k 做旋转而不是在 embedding 后加一个位置向量。这个细节很关键说明位置编码参与了 attention 计算而不是叠加在输入上。我在实际读代码时发现如果只盯着 embedding 层找位置向量很容易误判 OpenClaw 没有位置编码因为它把位置信息藏在了 attention 的旋转矩阵里。2.2 旋转位置编码的几何直觉RoPE 的思路可以这样理解把 d 维 query 向量分成 d/2 个二维平面每个平面里做一个角度为 m*θ_i 的旋转m 是绝对位置θ_i 是这一维对应的旋转速度。第 i 维的速度按 θ_i base^(-2i/d) 递减base 默认 10000也就是说低维转得快、高维转得慢。这样处理后m 不同的向量被转到了不同的方向。为什么要转因为两个向量点积时旋转矩阵是可正交的q_m 旋转 m 角度k_n 旋转 n 角度两者的点积等于把 q 旋转 m-n 角度后与 k 的点积。也就是说attention score 里自然出现了一个与相对距离有关的三角函数项。模型可以学到“距离近的 token 应该有更高注意力”的模式而且这个模式是全局一致的。这个几何设计比我第一次看到时以为的要精巧得多。它不是简单地把相对距离拼进 score而是把位置信息注入到 query 和 key 的向量方向里模型在计算相关性时自然就能感知距离。这样在长文本里模型不仅能知道 token 离得远还能根据旋转角度的不同区分“远了 10 步”和“远了 100 步”这对长距离依赖建模帮助很大。2.3 从点积公式看 RoPE 的相对性公式角度再看一遍对维度对 (2i, 2i1)q 和 k 旋转后的点积会多出一个 cos((m-n)*θ_i) 项。因为旋转角度差就是位置差整个 attention score 对绝对位置 m 和 n 的平移是不变的同时把 m、n 都加 100差值不变score 不变。这就是典型的相对位置特征。所以回到标题里的问题OpenClaw 用的是绝对还是相对答案是从实现机制看 RoPE 依赖绝对位置 m 来生成旋转角但影响 attention 的关键量是相对距离 m-n属于相对位置的实现。OpenClaw 自己也把 RoPE 归类为“旋转型相对位置编码”这一点在他们的技术注释里写得比较明确。如果你拿着 RoPE 的公式去比对绝对位置编码会发现它们的表象差异很大绝对位置编码通常是“加性”的直接加到向量上RoPE 是“乘性”的作用在 q/k 上。这也是为什么不能单纯从“有没有 position embedding 层”来判断一个模型的位置编码类型。很多分析报告把 RoPE 误写成绝对位置编码就是只看表象没看作用机制。3. 外推支持OpenClaw 如何把 4K 训练长度推到几十 K3.1 外推问题的本质位置编码外推难本质是训练分布和推理分布不一致。模型训练时最多见过 4K 长度的位置组合位置编码里不同维度在不同位置上生成的旋转角度在训练长度内是“被见过的”一旦超过 4K比如到 8K旋转角度组合成了全新的输入模型被迫处理未见过的高频角度模式attention 分布迅速失衡表现为困惑度暴涨、生成内容重复或乱编。外推问题和位置编码的类型有直接关系。绝对位置编码的外推特点是“公式能生成但模型没学过”相对位置编码的外推特点是“距离模式可能没超过训练范围但频率细节会失真”。RoPE 属于后者所以它的外推问题集中在频率失真上解法也是围绕频率做文章。3.2 RoPE 原生外推为什么不够直接带着训练好的 RoPE 去推到更长序列OpenClaw 早期的实验里4K 训练的模型直接推 8K效果下降非常快而推 16K 基本不可用。问题出在 RoPE 的高频维度base10000 时一部分维度的角速度很大周期很短在训练长度内已经转过很多圈训练长度之外旋转角度会落入模型从未见过的相位区间。这种“高频外推失真”是 RoPE 外推失效的主要原因。高频维度为什么会先崩你可以把位置编码的维度想象成一组不同速度的钟表低速维度像时针转一圈要很久训练长度内可能只转了小半圈高速维度像秒针训练长度内已经转了几百圈。新位置引入的秒针相位和训练时见过的相位分布差异很大模型在 attention 计算里看到一组陌生的高速相位自然不知道如何分配注意力。3.3 OpenClaw 的扩展策略线性插值、NTK 与动态缩放OpenClaw 没有只押注一种方案。默认实现是当输入序列长度超过训练长度时先尝试线性插值PI把位置 m 除以缩放因子 scale强行把超长序列的位置映射回训练区间内。线性插值的好处是彻底避免没见过的高频相位坏处是把所有位置距离压缩了模型对距离的感知变得模糊注意力峰度变平长距离依赖会变弱。为了补这个缺点OpenClaw 在推理阶段内置了 NTK-aware 缩放按比例降低旋转速度保留高频信息。之后的改进是动态 NTK不把 scale 定死而是根据当前实际序列长度实时计算短序列不变长序列缓慢扩大实测比静态方案平滑很多。OpenClaw 默认开启动态 NTK同时开放了 base、scale 上限等参数方便做实验的人自己调。3.4 一个具体的参数计算实例假设 OpenClaw 模型训练长度 L4096原始 base10000现在想把推理长度推到 T32768。缩放因子 s T/L 8。NTK-aware 把 base 调整为 new_base original_base × s^(d/(d-2))d 是单头维度。如果 d128指数约 1.016则 new_base ≈ 10000 × 8^1.016 ≈ 10000 × 8.18 ≈ 81800。这只是一个近似实际实现里很多项目直接用 500000 作为上限再配合动态调节效果也稳定。如果你选择纯线性插值方案计算就更简单新的位置索引直接缩放为 m m/8也就是说新的第 32768 位对应的位置变成 4096完全落在训练区间内。两种方案的取舍是纯 PI 稳但钝NTK 锐利但参数敏感。OpenClaw 选择动态 NTK本质是希望在不同序列长度下都保持位置感知的敏锐度。注意这里算出来的 base 是目标长度的“期望基频”实际还要结合训练时的长度分布做微调。OpenClaw 处理得很细致外推长度小于训练长度 1.5 倍时只依赖原生 RoPE超过 1.5 倍时动态 NTK 逐步介入超过 8 倍时如果再往上硬推就需要配合少量长文本样本做继续训练。这样的分级策略让“支持外推”变成一个有边界、可配置的能力而不是一个笼统的承诺。4. 代码级验证自己动手确认 RoPE 行为和长度外推4.1 最小 RoPE 实现要理解 OpenClaw 做了什么自己写一遍最直接。下面是一个足够用于实验的 RoPE 实现PyTorch 风格import torch def precompute_freqs(dim, max_len, base10000.0): theta 1.0 / (base ** (torch.arange(0, dim, 2).float() / dim)) m torch.arange(max_len).float() freqs torch.outer(m, theta) # [max_len, dim/2] return freqs def apply_rope(x, freqs): # x: [batch, seq_len, num_heads, head_dim] # 将最后一维拆成两组分别旋转 x_complex torch.view_as_complex(x.float().reshape(*x.shape[:-1], -1, 2)) freqs_complex torch.view_as_complex( freqs.unsqueeze(0).unsqueeze(2).expand(*x_complex.shape) ) return torch.view_as_real(x_complex * freqs_complex).flatten(-2)这里的核心是让 q/k 的向量在复数域里乘一个“相位”等价于二维平面旋转。你拿到 OpenClaw 的权重后可以用这套逻辑检查 q/k 在推理时是否走了相同的旋转路径对比输出特征就能确认实现是否一致。4.2 外推测试脚本的思路验证外推能力不要只看生成结果要量化。我推荐两个指标困惑度PPL和 attention 分布的可视化。脚本流程是固定一个测试集把同一段文本截成不同长度比如 2K、4K、7K、16K、32K分别计算 PPL再看 attention map 里高亮区域是否随输入长度变化出现错位。OpenClaw 在我的测试里4K 训练长度下PPL 曲线在 1×~1.5× 区间基本平缓到 4× 时开始上升配合动态 NTK 后能把上升点往后推 2~3 步。这里要注意PPL 不是万能的PPL 稳定不代表生成质量一定好还需要配合下游任务评估比如多轮摘要、长文档问答。4.3 实验结果如何解读如果 PPL 在目标外推长度上保持平稳说明外推策略生效如果 PPL 突然跳变先检查缩放是否真的作用于所有 head。一个容易忽略的点是很多实现只对 q/k 做了 RoPEv 不参与旋转这是正确的但如果 v 被错误地也旋转了位置信息会混入 value 分布PPL 会很怪。还有测试时如果是单条长文本要确保位置索引是连续的不能人为拼接多个短文本片段。另一个我在调试中踩过的坑是有些框架在导出模型时会把 RoPE 的旋转矩阵预计算成缓存表缓存长度默认等于训练长度。推理超过缓存长度时如果代码没有重新生成新的旋转表模型会直接报错或者使用默认最大位置表现成“外推不生效”。所以验证外推之前先确认预计算缓存表长度足够大或者改成按需计算。5. 常见问题与避坑实录5.1 不要把 RoPE 当纯绝对位置编码来调试如果你的分析代码里把 RoPE 当成一个“随位置变化的 bias”加到 embedding 上那你多半会得出错误结论。RoPE 必须作用在 attention 的 q/k 上任何偏离这个位置的做法都会影响相对距离性质。我之前排查过一个现象模型生成的文本在长距离时重复率很高后来发现是某个封装层把位置信息错误地提前叠加到了 token embedding 里导致旋转角被污染。这个坑在二次开发时特别容易出现。很多人为了“简化实现”把位置编码统一放到 embedding 层后看起来模型变简洁了实际上把位置信号和语义信号混在一起破坏了 RoPE 相对距离的表达。OpenClaw 没有做这种混用目的就是保持位置信号来源单一方便后续扩展。5.2 外推不是免费午餐任何位置编码的外推能力都有边界。OpenClaw 支持外推但我在实践中观察到外推长度超过训练长度 4~5 倍后即使 PPL 还能看长距离引用和数值计算类任务的正确率会明显下降。原因很简单位置编码只是让模型“不太懵”但训练中从未出现过的超长距离依赖关系模型没有学过的样本做支撑。想要更高倍数不能只调位置编码参数必须配合长文本微调。另外线性插值这类方案在压缩位置距离时会让模型对“第 1000 步”和“第 10000 步”的区分度变差。这个问题在纯 PI 方案里比较明显所以 OpenClaw 在动态 NTK 里保留了高频细节就是为了尽量减少这种模糊感。我自己做长文问答时如果发现模型分不清两段相隔很远的证据通常会先检查外推策略是不是过于激进。5.3 混用位置编码时要特别小心有的项目会在 RoPE 之外再加 ALiBi 或绝对位置 bias希望兼顾两者优势。这样做不是不行但注意两种位置信号可能互相干扰。RoPE 已经在 attention 里注入了相对距离信息如果 ALiBi 再按距离加一个固定惩罚相当于对距离做了两次不同尺度的编码模型要额外学习怎么平衡训练收敛变慢。OpenClaw 没有做这种混用目的就是保持位置信号来源单一方便后续扩展。如果确实要混用建议先用消融实验确认两部分位置编码各自的作用范围。比如固定 RoPE 的 base 值单独调节 ALiBi 的衰减系数观察 PPL 变化反过来也一样。只有在两个维度都能独立带来可衡量的收益时混用才有意义。5.4 位置编码速查表方案绝对/相对外推表现典型问题正弦位置编码绝对形式可扩展但效果差模型未见新坐标组合可学习位置编码绝对硬上限参数固定无法外推ALiBi相对较好表达力偏弱RoPE相对旋转式需要配合缩放高频维度失真线性插值 PI相对稳定但模糊距离感知退化动态 NTK相对实用性强需要调参这个表基本覆盖了主流的几个选项OpenClaw 的组合属于“RoPE 动态 NTK 有限微调”的路线综合外推能力和训练稳定性在实测中都算靠前。我个人在实际使用中的体会是确定一个模型“支不支持外推”别只看宣传要看位置编码的类型和推理时的缩放策略。OpenClaw 这一套 RoPE 动态 NTK 的方案本质是用“插值保下限、高频保细节”的思路换外推能力代价是推理前要算一遍动态缩放参数短文本场景下几乎无感知长文本场景下值得加这层计算。如果后续要接更长的上下文任务我建议提前留好 base 的调节余地同时准备一批覆盖目标长度的微调语料。毕竟位置编码只是给模型指路的路标路能不能真正走到头还是要看训练数据里有没有走过那些距离。