如何与AI协作避免误信其言?

摘要:这是 「AI是怎么回事」 系列的第 14 篇。我一直很好奇 AI 到底是怎么工作的,于是花了很长时间去拆这个东西——手机为什么换了发型还能认出你,ChatGPT 回答你的那三秒钟里究竟在算什么,AI 为什么能通过律师考试却会一本正经地撒谎。
这是 「AI是怎么回事」 系列的第 14 篇。我一直很好奇 AI 到底是怎么工作的,于是花了很长时间去拆这个东西——手机为什么换了发型还能认出你,ChatGPT 回答你的那三秒钟里究竟在算什么,AI 为什么能通过律师考试却会一本正经地撒谎。这个系列就是我的探索笔记,发现了很多有意思的东西,想分享给你。觉得不错的话,欢迎分享+关注。 第一次看到这个系列?从第1篇开始最顺畅,直接读这篇也没问题。 上一篇我们搞清楚了一件事:Prompt Engineering 不是玄学,而是给 AI 更精准的上下文,让它的模式匹配更精准。 但掌握了"怎么跟 AI 说话"之后,紧接着一个更重要的问题就来了——AI 说的话,你该信几分? 我见过两种人: 一种把 AI 当神谕——它说什么就信什么,连引用的论文都不查。结果呢?2023 年,纽约律师 Steven Schwartz 提交了一份法律文书,引用了 6 个判例,全部是 AI 编造的。他甚至问了 ChatGPT"这些判例是真的吗?"ChatGPT 说"是的"。法官罚了他 5000 美元。到 2025 年,全球已有超过 100 起类似的法律文书造假事件,涉及 128 名律师。 一种把 AI 当玩具——觉得它不靠谱,从来不用。结果呢?2024 年 Google 的内部实验显示,使用 AI 工具的开发者完成任务速度平均提高了 55.8%;微软、埃森哲等公司对近 5000 名开发者的研究发现,使用 GitHub Copilot 的开发者生产力有显著提升。不用 AI,你在跟一个"每天多出 2 小时"的人竞争。 两种都错了。正确的定位是:AI 是一个能力很强但完全不靠谱的实习生。 能力很强——它读过几乎整个互联网的文本,写代码、翻译、起草文档的速度比你快 10 倍。完全不靠谱——它会一本正经地编造事实,而且编的时候比说真话还自信。MIT 在 2025 年 1 月的一项研究发现,AI 在生成错误信息时,使用"肯定""毫无疑问"等高置信度词汇的概率比生成正确信息时更高。 你不会让一个什么都敢说、说错了毫无愧疚的实习生替你做决策。但你也不会因为实习生偶尔出错,就不让他帮你整理资料。 关键是知道什么时候用他,什么时候盯着他。 这就是这篇文章要给你的——四条有原理支撑的 AI 协作原则。不是"技巧",而是"原则"。技巧会过时,原则不会——因为它们建立在 AI 的底层原理之上。 原则一:让 AI 做它擅长的事 先回顾一个老朋友 还记得第 11 篇的"三问判断法"吗? 这个任务能转化为模式匹配吗? 训练数据够不够? 你能验证 AI 的输出吗? 这三个问题不只是用来判断 AI 新闻的。它们同样适用于判断——你应该把哪些工作交给 AI。 适合交给 AI 的任务 初稿生成:写邮件、起草报告、生成文案——AI 训练数据中有海量的此类文本,模式匹配精度很高 信息整理:从一堆资料中提取要点、做总结、列大纲——这是经典的模式匹配任务 代码框架:写常见功能的代码、搭建项目结构——代码是 AI 训练数据中最标准化的内容之一 翻译和改写:语言转换、调整语气、格式转换——语言对是训练数据中最丰富的模式之一 探索可能性:头脑风暴、列出方案选项——AI 能快速遍历它见过的所有相关模式 不适合交给 AI 的任务 事实核查:确认一个数据是否准确、一个引用是否存在——AI 不区分真假(第 7 篇、第 9 篇) 关键决策:医疗诊断、法律判断、重大投资——这些需要因果推理和责任承担 价值观判断:伦理问题、人际关系建议、涉及个人价值取向的选择——AI 没有价值观,只有统计模式 底层原因:为什么是这样? 回到第一章的核心结论:AI 是超级模式匹配器。 适合 AI 的任务,共同特征是什么?它们都可以被转化为"在已有数据中找到类似模式然后输出"。初稿生成是匹配"什么样的文字在这个语境中最常出现";代码框架是匹配"什么样的代码结构最常被用于这类功能";翻译是匹配"这个词在目标语言中最常对应的是什么"。 不适合 AI 的任务,共同特征又是什么?它们需要的不是"找到类似的模式",而是"理解这个具体情境的独特性"。医生判断一个症状是心脏病还是焦虑发作,不能只靠"这个症状组合在训练数据中最常对应什么疾病"——他需要理解这个病人的具体病史、生活方式、检查结果之间的因果关系。 模式匹配型任务 = AI 强项。理解型任务 = AI 弱项。 这不是 AI"还不够好"的问题——这是当前架构的根本特征。还记得第 12 篇的 AI 认知三角吗?只要 AI 的底层仍然是统计模式匹配,这个区分就永远成立。
阅读全文