多模态 Agent 的自我进化

当模型不再只是回答问题,而是开始定义问题,Agent 就迈出了自我进化的第一步。

从 ReAct 到自主规划

早期的 Agent 遵循 ReAct 范式:思考 → 行动 → 观察,循环往复。而新一代多模态 Agent 开始具备:

  • 长程规划:把复杂任务拆解为子目标
  • 自我反思:从失败轨迹中修正策略
  • 工具创造:为重复性工作编写新工具

延迟优化的三个关键

如果要在生产环境落地 RAG 系统,最先优化的永远是这三处:

  1. 检索阶段的召回精度——召回太差,生成再好也没用
  2. 上下文窗口的利用率——塞满无关片段等于浪费
  3. 缓存策略——相同 query 的重复计算是最大的浪费
def rerank(query, docs, top_k=5):
    scores = model.score(query, docs)
    return [d for d, s in sorted(zip(docs, scores),
            key=lambda x: -x[1])[:top_k]]

理性也有浪漫

算法写就的星河,理性也有浪漫。

技术写作的意义,在于把复杂的东西讲得让下一个研究者少走弯路。这也是这个博客存在的理由。