江苏建设人才网官网提供的canvas案例网站是什么？

江苏建设人才网官方网站,canvas案例网站,许昌网站开发,企通互联的网站建设失败在本系列的第一篇文章中#xff0c;我们介绍了检索增强生成 (RAG) #xff0c;解释了扩展传统大型语言模型 (LLM)功能的必要性。我们还简要概述了 RAG 的核心思想#xff1a;从外部知识库检索上下文相关的信息#xff0c;以确保 LLM 生成准确且最新的信息#xff0c;而不会… 在本系列的第一篇文章中我们介绍了检索增强生成 (RAG) 解释了扩展传统大型语言模型 (LLM)功能的必要性。我们还简要概述了 RAG 的核心思想从外部知识库检索上下文相关的信息以确保 LLM 生成准确且最新的信息而不会产生幻觉也不需要不断地重新训练模型。 本系列的第二篇文章揭秘了传统 RAG 系统运行的机制。尽管如今随着人工智能的迅猛发展许多增强版和更复杂的 RAG 版本几乎每天都在不断涌现但要了解最新的先进 RAG 方法第一步是先理解经典的 RAG 工作流程。 经典 RAG 工作流程 典型的 RAG 系统如下图所示处理三个关键的数据相关组件 LLM从训练数据中获取知识通常是数百万到数十亿的文本文档 。 向量数据库也称为知识库用于存储文本文档。但为什么叫向量数据库呢在 RAG 和整个自然语言处理 (NLP) 系统中文本信息被转换为称为向量的数字表示以捕获文本的语义。向量表示单词、句子或整个文档保留原始文本的关键属性以便两个相似的向量与具有相似语义的单词、句子或文本片段相关联。将文本存储为数字向量可提高系统的效率从而快速找到和检索相关文档。 用户以自然语言提出的查询或提示。 简而言之当用户用自然语言向配备 RAG 引擎的 LLM 助手提出问题时在发送问题和接收答案之间会发生三个阶段 检索称为检索器的组件访问向量数据库来查找和检索与用户查询相关的文档。 增强通过整合从检索到的文档中的上下文知识来增强原始用户查询。 生成LLM从 RAG 角度也通常称为生成器接收添加了相关上下文信息的用户查询并生成更精确、更真实的文本响应。 检索器Retriever内部 检索器是 RAG 系统中的组件用于查找相关信息以增强 LLM 稍后生成的最终输出。您可以将其想象成一个增强型搜索引擎它不仅将用户查询中的关键字与存储的文档进行匹配而且还能理解查询背后的含义。 检索器会扫描与查询相关的大量领域知识以矢量格式文本的数字表示存储并提取最相关的文本片段以围绕它们构建与原始用户查询相关的上下文。识别相关知识的一种常用技术是相似性搜索其中将用户查询编码为矢量表示然后将该矢量与存储的矢量数据进行比较。这样检测与用户查询最相关的知识片段归结为迭代执行一些数学计算以识别与该查询的矢量表示最接近最相似的矢量。因此检索器不仅能够高效而且准确地提取准确的、上下文感知的信息。 生成器Generator内部 RAG 中的生成器通常是一种复杂的语言模型通常是基于转换器transformer架构的 LLM 它从检索器获取增强的输入并产生准确、上下文感知且通常真实的响应。通过结合相关的外部信息此结果通常超越独立 LLM 的质量。 在模型内部生成过程涉及理解和生成文本由对增强输入进行编码并逐字生成输出文本的组件管理。每个单词都是根据前面的单词进行预测的这项任务是 LLM 内部的最后一个阶段称为下一个单词预测问题预测最有可能的下一个单词以保持所生成消息的连贯性和相关性。 展望未来 在本系列关于理解 RAG 的下一篇文章中我们将揭示RAG 的融合方法其特点是使用专门的方法组合来自多个检索到的文档的信息从而增强生成响应的上下文。 RAG 中融合方法的一个常见示例是重新排序它涉及根据用户相关性对多个检索到的文档进行评分和优先排序然后将最相关的文档传递给生成器。这有助于进一步提高增强上下文的质量以及语言模型最终生成的响应。