前缀即契约:长程 Agent 的上下文工程
一个 Agent 跑几轮和跑几百轮,是两类工程问题。几轮时,关心的是模型能不能把事做对; 几百轮时,问题变成:上下文里还剩什么,模型还记不记得目标,每一轮要为重复输入付多少钱, 以及它上一轮的推理还能不能接着用。 这篇文章的结论是:这三个问题有同一个根源,就是请求前缀的稳定性。 围绕前缀,可以得到四条原则和一套具体的上下文结构。文中的做法来自一个操作电脑的个人助手的落地, 但原则对任何长程工具调用 Agent 都适用。 一、长程 Agent 的三种退化 退化 表现 直接原因 成本失控 每轮输入越来越贵,缓存命中率很低 前缀被反复改写,提示缓存频繁失效 注意力稀释 模型忘记目标、重复已做过的步骤 上下文里堆满旧内容,关键信息淹没在中间 推理断裂 模型每轮从头想,丢掉长程计划 推理块被删除或失效 第二种通常被称为上下文腐烂(context rot):窗口还没满,效果已经下降,位于中间的信息最容易被忽略 (Lost in the Middle)。 它的解法是压缩,而压缩恰好要改写前缀。所以三种退化最终会交汇到一个问题上:前缀什么时候能改、怎么改。 二、为什么前缀是一份契约 两个机制都按前缀工作: 提示缓存是前缀匹配。 前面任何一个字节变了,后面全部按全价重算。 推理块的签名绑定前缀。 以 Claude 为例,思考块的签名记录了它产生时的系统提示、工具列表和之前每一条消息。 前缀一改,这个块和它之后的所有块都会失效:较新的账号直接返回 400,其他情况被静默丢弃,模型只能从头推理 (Preserved thinking)。 于是有一个容易被忽视的事实:让缓存失效的改动,就是让推理失效的改动。 “只追加、不改写"因此不再只是性能建议,而是正确性要求。下面这些常见写法都违反了它: 每轮重新生成系统提示,里面带着当前时间; 任务进行中增删工具; 回头原地截断旧的工具结果; 插入一条临时提醒,下一轮再删掉。 把前缀看成一份契约,设计就有了四条原则: 前缀稳定:能不改就不改,只在末尾追加。 批量变更:必须改时集中成批地改,减少缓存失效的次数。 可恢复压缩:改动造成的信息损失,要能从存档找回。 推理块一致性:前缀变了,依附在它上面的推理块要随之处理。 三、前缀稳定:分区布局与只追加 把上下文分成三个区,各自只允许一种变化: 区 内容 允许的变化 稳定区 系统提示、工具定义 整个任务不变 锚点区 用户的原始任务,逐字保留 永不改动,压缩也不动 增长区 模型回复、工具调用和结果、周期性状态 只在末尾追加 几个落地细节: ...