概念理解1、上下文工程因为API 无状态所以每轮都要把完整上下文重发一遍上下文 静态前缀 动态轨迹上下文工程干这四件事选择放什么进来、组织怎么排、管理何时压缩/隔离、缓存前缀稳定2、Prompt 与 Context 的区别提示词写得好不等于上下文组织得好promt中范围系统提示词管什么指令怎么写谁产生开发者预先写Context范围系统提示词工具定义用户消息模型回复工具执行结果管什么模型看到的一切谁产生开发者 用户 模型 环境共同累积3、Context Window 与 Token 限制窗口是输入输出共享的输出也占额度溢出后果轻则截断丢信息重则报错窗口大不等于能装下上下文腐化context rot信息越多模型对关键信息的注意力越分散上下文学习本质上是检索而非推理4、长上下文与上下文压缩压缩解决的不只是长度问题其一是上下文腐化信息越多注意力越分散。其二上下文学习本质上更接近检索而非推理。分层压缩由轻到重丢弃可重建的内容能从工具结果重建的思考过程保留决策与结论丢弃支撑性证据语义压缩用 LLM 重写隔离隔离是让大体积中间信息根本不进入主上下文用子agent隔离优于压缩压缩是信息进来后再做减法。压缩的设计原则信息价值非均匀分布关键决策点 支撑性证据 冗余噪声语义完整性Sutskever 于 2024 年 5 月离开 OpenAI不能压成Sutskever 离开任务相关性检索类保留广度分析类保留深度压缩即理解负责压缩的模块要接近主模型能力。好处是显式压缩的结果可审查、可跨会话复用压缩最容易丢的三类早期的架构决策、约束背后的理由、失败的路径。所以 Agent 要定期把进展记录到文档而不是让信息零散留在执行历史里。5、为什么上下文工程决定 Agent 能力中等能力的模型配上精心组织的上下文往往胜过顶级模型在信息匮乏下的盲目摸索。实验 2-10学习实验 2-10的核心问题当工具返回的内容大到装不进上下文时不同的压缩/保留策略哪个能在不撑爆上下文的前提下把任务做完选用GLM-4.7-Flash免费、200K 上下文模型GLM-4.7-Flash免费、200K 上下文智谱免费用语料原书第 2 章正文6 份 × 10,569 字符 63,414 字符​智谱不提供联网搜索预算人为压到12,000 token​远小于语料强制触发压缩任务提取 6 个分散在不同文档的关键数字需多步聚合且成功标准明确实验设计#要找什么关键数字1加时间戳后首 token 延迟从多少秒涨到多少秒0.5→3-52信息组织混乱导致成功率下降百分之多少303上下文感知压缩把 token 用量减少百分之多少754压缩实验中从约多少 K 字符压缩到约多少字符148→2000这 6 个数字在原书正文里的分布实测延迟起点 (0.5) - doc2, doc3, doc5 延迟终点 (3-5) - doc2 ← 只有一份有 消融下降 (30) - doc1~doc6 全有 压缩减少 (75) - doc6 ← 只有一份有 压缩前 (148) - doc6 ← 只有一份有 压缩后 (2000) - doc3 ← 只有一份有凑齐 6 个数字最少需要检索 4 份文档doc1、doc2、doc3、doc61 份文档 ≈ 6,170 token ✅ 放得下2 份文档 ≈ 12,340 token ❌ 超预算12,0004 份文档 ≈ 24,680 token ❌ 远远超预算不压缩的话装不下所需的 4 份文档 —— 溢出是结构性必然。4个策略a\ 无压缩基线做法工具返回的 10,569 字符原文原样放进上下文永不处理。预期几次检索后撑爆预算 → 失败。作用提供对照基线证明不处理确实不行。b\个体摘要非任务感知做法每份结果独立生成 2-3 段摘要。关键缺陷压缩模型不知道任务要什么hint 为空只能什么都留一点无法区分相关性。c\上下文感知压缩任务感知做法压缩时把当前查询意图 已积累信息一起传给模型。与 b的差别就在这一个 hint​ —— 这是本实验最重要的对照。d\自适应窗口化延迟压缩三条核心机制阈值触发上下文超过窗口 80% 才激活压缩批量压缩触发时一次性压缩所有未标记的工具结果防重复保护[COMPRESSED]标记确保已压缩内容永不被重复处理固有特征锯齿形 —— 平时高一到阈值断崖下跌再加文档又涨回去。实验结果策略 迭代 峰值 累计 命中 结果 ---------------------------------------------------------------------- 无压缩 3 12,949 12,949 0/6 ❌溢出 个体摘要 5 1,531 29,756 1/6 ⚠未达标 上下文感知 6 412 34,998 6/6 ✅完成 自适应窗口 7 8,321 42,310 0/6 ⚠未达标 ---------------------------------------------------------------------- 成功完成: [上下文感知] 峰值最小(最不容易溢出): 上下文感知 累计最少(成本最优) : 上下文感知收获1、无压缩的溢出是必然的2、压缩的关键不是压得狠而是压掉无关的、留下相关的3、峰值小 ≠ 便宜。​ 上下文感知峰值仅 412省 97%但累计 34,998过程中遇到的小问题服务器拥挤被限流四种策略跑到一半就中断解决方案1、指数退避重试退避序列1 → 2 → 4 → 8 → 16 → 32 秒封顶 60 秒加随机抖动避免多个请求同时重试再次撞车。2、增量存盘 断点续跑3、策略之间主动休眠3 秒降低连续请求被判定为密集的概率过程结果打印 策略上下文感知 | 预算 12000 --- 第 1 轮 --- 上下文 135 / 12000 (1%) ⏳ 限流2s 后重试 (1/6) query: 检索主题系统提示词延迟 --- 第 2 轮 --- 上下文 159 / 12000 (1%) query: 检索主题信息组织混乱成功率 --- 第 3 轮 --- 上下文 187 / 12000 (2%) query: ⏳ 限流2s 后重试 (1/6) --- 第 4 轮 --- 上下文 204 / 12000 (2%) query: 检索主题上下文压缩减少量 --- 第 5 轮 --- 上下文 309 / 12000 (3%) query: 检索主题压缩实验字符数 --- 第 6 轮 --- 上下文 412 / 12000 (3%) query: ANSWER: (1) 0.5秒至3-5秒(2) 30%(3) 75%(4) 148K字符至约2000字符。 [退出] 命中 6/6: [延迟起点, 延迟终点, 消融下降, 压缩减少, 压缩前, 压缩后] 已存盘 exp210_results.json 策略自适应窗口 | 预算 12000 --- 第 1 轮 --- 上下文 135 / 12000 (1%) ⏳ 限流2s 后重试 (1/6) query: 系统提示词延迟变化 --- 第 2 轮 --- 上下文 5619 / 12000 (47%) query: ⏳ 限流1s 后重试 (1/6) ⏳ 限流2s 后重试 (2/6) --- 第 3 轮 --- 上下文 242 / 12000 (2%) query: 上下文感知压缩token用量减少 --- 第 4 轮 --- 上下文 8321 / 12000 (69%) query: 压缩实验字符压缩比 ⏳ 限流1s 后重试 (1/6) --- 第 5 轮 --- 上下文 963 / 12000 (8%) query: 压缩实验字符压缩比 --- 第 6 轮 --- 上下文 8287 / 12000 (69%) query: 上下文压缩实验字符压缩 --- 第 7 轮 --- 上下文 1073 / 12000 (9%) query: 提示工程消融实验成功率下降 已存盘 exp210_results.json