机器之心· 机器之心·· 2 小时前精选
苹果与CMU提出SSR框架：把Agent推理从逐token生成改为做选择题
Agent推理快10倍是怎么做到的？苹果×CMU：把「生成」改成「做选择题」
AI 导读
苹果与卡内基梅隆大学研究团队提出SSR（Selection-based Structured Reasoning）框架，重新设计智能体工作流中的推理环节。ReAct范式下模型每执行动作前需生成自由形式推理，带来推理开销；SSR改为让模型从一组预定义推理选项中选择，而非逐token生成推理。来源称该方式可使Agent推理快约10倍。
为什么值得看
企业若部署Agent类应用，推理环节的延迟与算力成本是实际支出项。该框架提供了一种降低单步推理开销的思路，值得在评估Agent架构与成本优化时关注。但需注意其效果基于论文实验，预定义选项的构建与场景泛化能力尚不明确，落地前应结合自有任务验证。
来源：机器之心 · zhuanlan.zhihu.com