UniEdit：首个大型开放域大模型知识编辑基准是啥？

随着大语言模型（LLM）的广泛应用，它们在医疗、金融、教育等关键行业扮演着愈发重要的角色。然而，一个被忽视的现实是：大模型的知识并不会自动更新，更不总是准确。当模型输出过时信息、错误事实甚至自信满满的“胡说八道”时，如何快速、精准、低成本地纠正它？知识编辑（ModelEditing）因此成为近年来的研究热点。 但现有知识编辑评估基准遇到两个痛点： 编辑测试范围太窄： 大多数基准数据只覆盖极少数知识领域，无法反映真实世界中海量、多样的知识结构。 编辑影响评估不全面： 修改一条知识可能会在模型中“牵一发而动全身”。现有基准往往只测“是否记住修改”，却很少考察关联知识的连锁反应。 UniEdit首次在开放域构建统一而全面的知识编辑测试体系 华东师范大学联合阿里巴巴、合肥工业大学提出UniEdit——第一个覆盖25个知识领域、包含31.1万条样本的大规模开放域知识编辑基准。目前已被人工智能顶级会议NeurIPS接收。 下图展示了UniEdit数据的一个构成样例。 它的独特之处在于： 基于Wikidata构建最大规模开放域编辑数据集 UniEdit筛选了Wikidata中约2990万个实体与2400个关系，并覆盖五大知识板块：自然科学、人文科学、社会科学、应用科学，及交叉学科，比以往任何编辑基准都更全面。 提出NMCS（邻域多跳链采样）算法：首次统一所有编辑评价维度 知识编辑不仅要测试“记住没？”，还要测： Generality（泛化性）：编辑后的模型是否能在多跳推理、别名、关系反转等变化场景正确应用新知识？ Locality（局部性）：模型是否能保持其他不相关知识不受影响？ UniEdit的NMCS算法能自动采样生成多跳、跨关系、跨实体的复杂知识链条，让测试覆盖：多跳推理、关系反转、实体别名、1-N 遗忘，以及各种组合情况。UniEdit是唯一能同时覆盖所有组合的基准。 全自然语言生成，易于真实应用评测 通过DeepSeek-V3自动生成自然语言描述，使每条编辑样例、泛化样例、局部性样例均具有：清晰语义、多样的语言表达、真实世界的复杂度。这些都使得UniEdit更接近真实大模型使用场景。 这篇工作评测了8大主流编辑方法，揭示了重要发现 大多数方法“记住编辑内容”没问题，但“泛化”普遍困难 尽管当前主流的知识编辑方法（如ROME、SERAC、GRACE等）在可靠性（Reliability）维度上几乎都能做到90%以上，说明它们能够成功让模型“记住被修改的知识”，但在最关键的泛化性上表现普遍不足。 表格数据显示： 即便是表现最好的方法（如IKE、SERAC），泛化性指标均值也难以超过80%； 许多Locate-and-Edit（L&E）方法泛化性分数甚至跌至30%–50%区间； 这说明模型虽然“记住了正确答案”，但在真实场景下面对语义变化、多跳推理、别名、关系变化时，仍然容易回归错误或缺乏理解能力。 这揭示出一个关键挑战：如何让模型不仅记住编辑内容，更能理解并正确应用它？ 人文与自然科学领域表现更好，社会科学和应用科学更难编辑 跨领域的实验结果显示： 自然科学（如化学、生物、数学）和人文学科（如历史、文学）的编辑泛化效果普遍较好； 社会科学（政治学、经济学、心理学）与应用科学（工程、医学等）表现显著偏低。 这主要源于当前大模型在预训练语料中接触的数据分布不同：自然科学与人文学科的知识结构更稳定、概念更规范，大模型预训练时也学习得更多；而社会科学、医学、工程中存在大量细粒度知识、背景依赖性强、概念模糊性高，使得模型更容易混淆或误泛化。 该结果说明：低资源领域与高知识噪声领域的编辑仍需重点突破。 泛化性相较于局部性在高复杂度场景中更容易出错 图中的雷达图清晰展示了： 当测试涉及多跳（MH）+别名（SA/OA）+关系反转（RR）等复杂组合时，绝大多数方法在泛化性上出现明显下降； 然而在局部性测试中，模型不出错的能力则相对稳定。 原因在于：泛化性需要模型真正理解知识之间的逻辑关系，因此对知识结构的掌握度要求极高；而局部性只是要求“不被错误干扰”，复杂句式反而降低触发错误关联的几率，使其评分更容易保持。 这表明未来的研究需要更关注：如何在复杂语境下真正让模型“懂得”编辑后的知识，而非仅做匹配式记忆。 依赖编辑训练的方法（如SERAC）对训练域高度敏感 进一步的实验显示：编辑训练方法（如SERAC）具有明显的领域敏感性。当模型仅在某一领域（如化学）进行编辑训练时，它在同领域测试上的效果最好；但在跨领域（如文学、心理学）测试时，泛化性能显著下降。