斯坦福这篇论文,能治愈我的AI焦虑吗?
摘要:斯坦福 Meta-Harness 论文的核心发现是:不改模型权重,仅优化 Harness(状态管理、错误恢复、评估机制等工程系统),性能可拉开 5-6 倍差距。这意味着让 AI 变强,更多是工程问题而非认知问题。AI 产业正分化为三层:大模
前阵子我在刷 AI 新闻,越刷越焦虑。
GPT-5 要来了、Claude 又升级了、某某模型参数量破天荒……感觉每天都在智商竞赛,我这普通人还跟得上吗?
直到看到斯坦福那篇 Meta-Harness 的论文,我突然释怀了:
原来我一直卷错方向了。
一个让人怀疑人生的现象
你有没有发现一个特别诡异的事:
同样的模型,有的人用得飞起,自动化各种工作流,效率翻好几倍;
同样的模型,有的人(比如我)天天翻车,AI 生成的代码跑不通,改来改去最后还不如自己写。
这是模型的问题吗?显然不是,大家用的是同一个东西。
这是 prompt 的问题吗?我也试过各种咒语模板,好像也没啥本质区别。
那到底是啥问题?
斯坦福这篇论文给了我一个意想不到的答案。
等等,Harness 是个啥?
先别急着看论文结论,我先用大白话解释一下这个概念。
想象一下,你招了个实习生。
这个实习生呢,脑子挺聪明,懂很多知识,但是——
他不知道做到哪一步了,经常重复干活
他不知道什么时候该用什么工具,乱用一通
他犯了错不知道怎么补救,原地发呆
他不知道什么叫「做完了」,你以为搞定了他以为还在进行中
他有时候会突然干一些离谱的事,比如把数据库删了
这实习生就是模型本身。
而 Harness,就是那套让实习生「靠谱」的管理系统。
它包括:
状态管理——记住做到了哪一步
工具调度——什么时候该干嘛
错误恢复——搞砸了怎么办
评估机制——什么叫「做完了」
中止条件——什么时候必须停手
换句话说:
模型负责「想」,Harness 负责「不把事情搞砸」。
斯坦福发现的这个事,有点离谱
论文的核心结论非常直接:
不改模型权重,仅优化 Harness,性能可以拉开 5–6 倍差距。
5 到 6 倍啊朋友们,这不是 5% 到 6%。
我看完这个结论,心情复杂:
一方面,哇塞,原来还有这么大空间可以挖;
另一方面,靠,我之前一直在纠结选哪个模型,好像完全搞错了重点……
这意味着什么?
以前的思路是:造一个天才大脑。越大越聪明越好。
现在的思路变成了:一个普通但不笨的大脑,配上一套靠谱的方法论,效果可能更稳、更可控。
问题的焦点悄然转移了:
以前:怎么让 AI 更聪明?
现在:怎么教 AI 学?怎么让 AI 不犯傻?怎么防止 AI 把你电脑删了?
让 AI 变强,现在更像一个工程问题,而不是认知问题。
产业格局正在悄悄重组
从这个视角看,AI 产业正在分成三层:
第一层:大模型本体(大厂的修罗场)
这就是水电煤级别的存在。
谁都想做,但门槛极高,而且差距在慢慢收敛。更像是「不能落后」,而不是「赢家通吃」。
对普通工程师来说,这里不是好下场的地方。
第二层:通用 Harness(被低估的黄金位)
这一层本质上是「AI 操作系统」——
怎么让 AI 长期运行不崩?怎么把不确定的模型包进确定的系统?怎么统一任务执行逻辑?
这要的是工程能力、架构能力、抽象能力。
我觉得,这才是工程师真正该关注的地方。
第三层:个性化 Harness(普通人能切入的机会)
这一层不追求「更通用」,而是:
更懂某个行业
更贴某个流程
更知道什么叫「真干完了」
比如前端生成的规范校验、企业内部工具流、行业合规 Agent……
这里上下文极重,大厂很难通吃。
那普通人咋办?
看完这些,我的判断是:
别卷模型了,卷「怎么用好模型」。
更具体地说:
用「通用 Harness 能力」打底,同时找一个你比模型懂的领域,做个性化 Harness。
说白了就是:我造不出天才大脑,但我可以教普通大脑干活。
一条看起来靠谱的学习路线(我正在走)
第一阶段:先换个脑子(0–2 个月)
学会分清一件事:到底是模型不行、prompt 不行,还是 Harness 设计不行。
训练自己用「状态」「失败路径」「中止条件」这些视角去看问题。
这个阶段最大的收获,是你会开始意识到——很多「AI 垃圾」其实是「用法垃圾」。
第二阶段:练通用能力(2–5 个月)
刻意训练的不是写 prompt,而是:
多步任务怎么拆
状态怎么持久化
失败了怎么恢复
怎么判断「做完了」
怎么抽象出可复用的结构
目标是:搞出一个能连续运行、失败可控、不靠玄学的 Agent。
第三阶段:找个领域扎下去(5–12 个月)
选一个你比模型懂的领域。
比如我选前端:需求 → 项目 → 构建 → 校验 → 回退。
不是让 AI 「写代码」,而是让 AI 「交付成果」。
这个阶段建立起来的,是别人一时半会抄不走的工程经验。
