
如今的AIAgent正在大规模落地,其中应用最广且最受关注的当数ClaudeCode,Codex,Cursor这类codingagent。过去的一年里,这类codingagent产品迭代迅速,在一年内将在swe-bench-verified的准确率提高到了78%+。
然而,相比简单的代码推理或者和代码相关的聊天,codingagent的token消耗也极为显著。在使用这种codingagent的过程中,最常听到的抱怨也是:“为什么它解决问题这么啰嗦”,“为什么要这么长篇大论”,以及“为什么我的credits这么快又用完了?”
这些抱怨的背后暴露出当前codingagent的几大问题:
1.不透明:codingagent消耗token的习惯不清晰,行为模式以及不同模型之间的差异不透明;
2.不保底:在任务执行前难以知道任务成功与否,但不论是否成功,都要支付相应开销;
3.不可预测:人类估计的问题难度真的和实际的token消耗匹配吗?agent能否自己判断问题会消耗多少token呢?
针对这些问题,来自密歇根大学、斯坦福大学等单位的研究者,使用开源的OpenHandsagent框架,分析了8个frontier模型在swe-bench-verified上的轨迹,第一次给出了一份系统性的解答。

AgenticCoding有多贵?
论文首先比较了和coding相关的3种任务:代码推理(和代码相关的单论对话推理任务),代码问答对话(关于代码问题的多轮对话聊天),以及swe-bench上的agentic代码任务。结果发现,agenticcoding任务在平均输出输入token比,平均总token消耗,以及平均金钱消耗,均指数级高于其他两种任务。
这源自于agenticcoding任务的多轮交互和巨大而复杂的上下文管理:巨量的代码查询,文件输出都会被加入到对话历史中,导致消耗持续增加,并且agent会不断把历史上下文、工具输出反复喂给模型,导致输入输出比高达154:1。这意味着agenticcoding任务的成本结构与我们所熟悉的对话和推理任务有显著的不同。

AgenticCoding的开销随机性高,
且花的越多不一定做得越好
论文统计了swe-bench-verified中500个问题的平均token消耗,并将消耗从小到大排序。从图中可以发现,最贵的任务可能比最便宜的任务多消耗约700万token,并且越贵的任务token消耗的标准差也越大。
对同一任务的重复运行来说,通过计算最贵的一次运行和最便宜的一次运行的差异,结果发现即使是同一任务,最贵的运行仍可能比最便宜的运行贵2两倍左右。
进一步分析token消耗多少与准确率的关系,论文发现更多的消耗并不能保证更高的准确率。
对于不同任务来说,论文根据平均token消耗的数量进行分组,并统计每组任务的准确率,结果发现token消耗更多的任务往往准确率较低。
对于同一个任务的不同运行来说,将4次运行按照token消耗排序,分成四个开销等级,然后统计每一个开销等级的准确率。结果发现:平均所有模型来看,最高的准确率并不出现在开销最高的时候,而是出现在较低开销时。当开销最低时,任务运行的准确率最低,当提高开销稍微提高时,准确率达到最高,继续增加开销,当开销第二高和最高时,准确率不增反减——更多的资源消耗并没有带来更高的任务成功率。


为了探索高开销失败背后的原因,论文检查并分析了agent解决问题轨迹中的两类行为:阅读文件以及修改文件。结果发现:开销更大的运行轨迹中,重复修改和重复查看同一文件的次数也明显更多,这表明更多的token消耗其实伴随了很多来来回回的“折腾”,而不是高效的推理,尝试,和检查。简单来说,一味简单地堆token并不能显著带来更好的效果。


哪些模型贵,哪些模型省?
不同模型之间的token效率差异极大
以上的分析是基于所测试的8个模型的整体表现特点,在此基础上,论文对每个模型进行了具体的分析,并比较了他们使用token的效率。
文章测试的八个模型包括OpenAI的GPT-5和GPT-5.2,Anthropic的ClaudeSonnet-3.7、ClaudeSonnet-4和ClaudeSonnet-4.5,Google的Gemini-3-ProPreview,MoonshotAI的Kimi-K2,以及阿里巴巴的Qwen3-Coder-480B。这八个模型覆盖了五家不同的公司,同时包含闭源API模型(GPT、Claude、Gemini系列)和开源模型(Kimi-K2、Qwen3-Coder-480B)。其中ClaudeSonnet有三个版本、GPT有两个版本,这样既包含了跨公司的横向对比,也有同一家族内不同代际的纵向对比。
正品配资平台通过观察不同模型的token消耗与任务准确率的关系,发现不同模型间的差异是系统性的,不是因为任务难度不同,而是模型自身的行为习惯。例如GPT-5以及GPT-5.2可以以较低的token成本达到不错的准确率,但Kimi-K2在成本较高的同时准确率却并没有很高。在同样的500个任务下,Kimi-K2和ClaudeSonnet-4.5比GPT-5多消耗约150万token。


论文进一步选出了两个任务子集:所有模型都成功的任务和左右模型都失败的任务,并再次统计不同模型的token消耗。结果发现模型的token消耗排序基本不变,并且所有模型在失败任务子集上的token消耗都多于成功子集,不同模型从失败子集到成功子集的token消耗增量也各不相同。
是否有办法对任务的token消耗
进行提前预测?
人类专家对任务难度的判断与agent实际token消耗并不完全吻合
当了解了agenticcoding的开销后,下一个问题便是:在执行任务之前,是否有办法根据要执行的任务来预测开销?
文章首先分析人类专家所理解的任务难度是否可以作为预测agenttoken开销的标准。在swe-bench-verified中,每一个任务都有人类专家所标记的任务难度,按照人类专家预期的完成时间分为三档:“1hr”。如果说人类消耗的时间就相当于agent消耗的token,那么人类所估计的任务难度是否和agent的token开销是吻合的呢?

论文将不同任务根据token开销进行排序,并计算它与人类标注难度的相关性。结果发现Kendalltau=0.32,表明人类专家对任务难度的判断和Agent实际消耗的token之间只有很弱的相关性。
其中6.7%的"简单"任务比平均"困难"任务还贵,11.1%的"困难"任务比平均"简单"任务还便宜——更说明了人类程序员和AIAgent对任务的"复杂度认知"是不同的维度。
Agent自己是否可以对任务的token消耗做出预测?
既然人类预测的任务难度和agent的实际任务消耗有所差异,那么是否可以让agent自己来预测自己的消耗?
论文紧接着对agent的自预测进行了尝试:在这部分实验中agent所有的工具和harness的架构都得到了保留,只有在系统提示词中将任务从之前的“解决问题”变成了“预估开销”,这样一来,就可以最大程度的表流agent本身的特征和功能,并让它得以使用同样的工具对代码库进行多轮探索,测试和推理。

论文中用预测的开销和实际开销的相关性作为衡量预测准确率的指标,并同时统计了做预测所消耗的token。结果显示,模型作出的预测与实际的相关性最高只有0.39(ClaudeSonnet-4.5的outputtoken),大多数模型都在0.2-0.3之间,且对outputtoken的预测比inputtoken更加准确。在成本方面,大部分模型作出预测所需要的成本都小于实际任务执行成本的一半,除了早期的ClaudeSonnet-3.7和4,一度超过真正task执行成本的两倍。
文章进一步分析发现所有的模型都低估了任务的实际消耗,尤其对inputtoken的低估特别严重。



因此,不管是人类专家还是agent自己,对token消耗预测目前只能作为粗粒度的信号,离精确的事前定价还有很大距离。
总结
文章通过对codingagent轨迹的分析,发现Agent的token消耗以inputtoken为主导,且在不同问题之间以及同一问题的不同运行之间都存在很高的随机性。不同模型的token效率差异显著,且更多的token消耗并不能保证更高的正确率。在执行前成本预测方面,人类理解的任务难度与Agent的实际token消耗并不吻合,Agent自身的预估也存在准确率较低和普遍低估的问题。未来潜在的研究方向包括更高效的Agent设计,以及更好的开销预测与管理方法。
作者介绍:
本文第一作者LongjuBai是密歇根大学一年级博士生,通讯作者JiaxinPei现为斯坦福大学博士后研究员期货行情资讯门户,即将入职得克萨斯大学奥斯汀分校担任助理教授。合作者包括来自斯坦福大学的ZheminHuang和ErikBrynjolfsson,来自AllHandsAI的XingyaoWang,来自GoogleDeepMind的JiaoSun,来自密歇根大学的RadaMihalcea,以及来自斯坦福大学和麻省理工学院的AlexPentland。
十大品牌实盘配资|十倍杠杆炒股平台提示:本文来自互联网,不代表本网站观点。