斯坦福这篇论文,能治愈我的AI焦虑吗?

摘要:斯坦福 Meta-Harness 论文的核心发现是:不改模型权重,仅优化 Harness(状态管理、错误恢复、评估机制等工程系统),性能可拉开 5-6 倍差距。这意味着让 AI 变强,更多是工程问题而非认知问题。AI 产业正分化为三层:大模
前阵子我在刷 AI 新闻,越刷越焦虑。 GPT-5 要来了、Claude 又升级了、某某模型参数量破天荒……感觉每天都在智商竞赛,我这普通人还跟得上吗? 直到看到斯坦福那篇 Meta-Harness 的论文,我突然释怀了: 原来我一直卷错方向了。 一个让人怀疑人生的现象 你有没有发现一个特别诡异的事: 同样的模型,有的人用得飞起,自动化各种工作流,效率翻好几倍; 同样的模型,有的人(比如我)天天翻车,AI 生成的代码跑不通,改来改去最后还不如自己写。 这是模型的问题吗?显然不是,大家用的是同一个东西。 这是 prompt 的问题吗?我也试过各种咒语模板,好像也没啥本质区别。 那到底是啥问题? 斯坦福这篇论文给了我一个意想不到的答案。 等等,Harness 是个啥? 先别急着看论文结论,我先用大白话解释一下这个概念。 想象一下,你招了个实习生。 这个实习生呢,脑子挺聪明,懂很多知识,但是—— 他不知道做到哪一步了,经常重复干活 他不知道什么时候该用什么工具,乱用一通 他犯了错不知道怎么补救,原地发呆 他不知道什么叫「做完了」,你以为搞定了他以为还在进行中 他有时候会突然干一些离谱的事,比如把数据库删了 这实习生就是模型本身。 而 Harness,就是那套让实习生「靠谱」的管理系统。 它包括: 状态管理——记住做到了哪一步 工具调度——什么时候该干嘛 错误恢复——搞砸了怎么办 评估机制——什么叫「做完了」 中止条件——什么时候必须停手 换句话说: 模型负责「想」,Harness 负责「不把事情搞砸」。 斯坦福发现的这个事,有点离谱 论文的核心结论非常直接: 不改模型权重,仅优化 Harness,性能可以拉开 5–6 倍差距。 5 到 6 倍啊朋友们,这不是 5% 到 6%。 我看完这个结论,心情复杂: 一方面,哇塞,原来还有这么大空间可以挖; 另一方面,靠,我之前一直在纠结选哪个模型,好像完全搞错了重点…… 这意味着什么? 以前的思路是:造一个天才大脑。越大越聪明越好。 现在的思路变成了:一个普通但不笨的大脑,配上一套靠谱的方法论,效果可能更稳、更可控。 问题的焦点悄然转移了: 以前:怎么让 AI 更聪明? 现在:怎么教 AI 学?怎么让 AI 不犯傻?怎么防止 AI 把你电脑删了? 让 AI 变强,现在更像一个工程问题,而不是认知问题。 产业格局正在悄悄重组 从这个视角看,AI 产业正在分成三层: 第一层:大模型本体(大厂的修罗场) 这就是水电煤级别的存在。 谁都想做,但门槛极高,而且差距在慢慢收敛。更像是「不能落后」,而不是「赢家通吃」。 对普通工程师来说,这里不是好下场的地方。 第二层:通用 Harness(被低估的黄金位) 这一层本质上是「AI 操作系统」—— 怎么让 AI 长期运行不崩?怎么把不确定的模型包进确定的系统?怎么统一任务执行逻辑? 这要的是工程能力、架构能力、抽象能力。 我觉得,这才是工程师真正该关注的地方。 第三层:个性化 Harness(普通人能切入的机会) 这一层不追求「更通用」,而是: 更懂某个行业 更贴某个流程 更知道什么叫「真干完了」 比如前端生成的规范校验、企业内部工具流、行业合规 Agent…… 这里上下文极重,大厂很难通吃。 那普通人咋办? 看完这些,我的判断是: 别卷模型了,卷「怎么用好模型」。 更具体地说: 用「通用 Harness 能力」打底,同时找一个你比模型懂的领域,做个性化 Harness。 说白了就是:我造不出天才大脑,但我可以教普通大脑干活。 一条看起来靠谱的学习路线(我正在走) 第一阶段:先换个脑子(0–2 个月) 学会分清一件事:到底是模型不行、prompt 不行,还是 Harness 设计不行。 训练自己用「状态」「失败路径」「中止条件」这些视角去看问题。 这个阶段最大的收获,是你会开始意识到——很多「AI 垃圾」其实是「用法垃圾」。 第二阶段:练通用能力(2–5 个月) 刻意训练的不是写 prompt,而是: 多步任务怎么拆 状态怎么持久化 失败了怎么恢复 怎么判断「做完了」 怎么抽象出可复用的结构 目标是:搞出一个能连续运行、失败可控、不靠玄学的 Agent。 第三阶段:找个领域扎下去(5–12 个月) 选一个你比模型懂的领域。 比如我选前端:需求 → 项目 → 构建 → 校验 → 回退。 不是让 AI 「写代码」,而是让 AI 「交付成果」。 这个阶段建立起来的,是别人一时半会抄不走的工程经验。 几个适合练手的项目(不是玩具) 长流程前端 Agent 代码评审 Agent 带记忆的重构 Agent 可视化 Agent 状态的 UI 这些都是能真正用起来的东西,不是为了做 demo 而 demo。 写在最后 短期看,模型还在狂飙。 但中期看,Harness 才是决定胜负的东西。 长期看,懂 Harness 的人,在定义「怎么用 AI 干活」。 这不是什么风口故事,而是一个「赶紧动手」的信号。 至少对我来说,焦虑少了很多—— 因为我终于知道该往哪卷了。 这篇是我的学习笔记,如果你也在折腾 Agent,欢迎交流。