Python-LangChain框架的向量化功能是做什么的?

摘要:之前讲了milvus向量数据库如何使用,但是如何把文本信息转成向量?这个问题一直没有讲,今天就讲讲,这是构建RAG关键的一步,咱们使用all-MiniLM-L6-v2本地模型将文本转成向量。 为什么用它最直接的原因是免费还好用,调用各大平台
之前讲了milvus向量数据库如何使用,但是如何把文本信息转成向量?这个问题一直没有讲,今天就讲讲,这是构建RAG关键的一步,咱们使用all-MiniLM-L6-v2本地模型将文本转成向量。 为什么用它最直接的原因是免费还好用,调用各大平台的向量模型是要收费的,所以使用本地化向量模型从部署到使用都是免费的。 all-MiniLM-L6-v2 是 Sentence-BERT(SBERT) 系列中最经典、最常用的轻量级文本嵌入模型,核心作用和特点如下: 1. 核心功能:文本→向量的 "语义转换器" 该模型的核心作用是 将任意长度的文本(句子 / 短语 / 短段落)转换为固定维度(384 维)的稠密向量(也叫嵌入向量 / Embedding),且转换后的向量具备以下关键特性: 语义关联性:语义相似的文本,生成的向量在向量空间中的距离也更近(比如 "猫抓老鼠" 和 "猫咪捉老鼠" 的向量相似度极高); 数值归一化:输出向量默认做了 L2 归一化,可直接用于余弦相似度计算; 多语言兼容:对中文、英文等主流语言都有较好的语义捕捉能力(无需额外适配)。 2. 典型应用场景(为什么这个模型被广泛使用) 表格 应用场景具体作用 文本相似度计算 计算两个句子的余弦相似度,用于查重、语义匹配(如问答匹配、文本聚类) 向量检索(RAG 核心) 将文本向量存入向量数据库(如 FAISS/Milvus),实现 "语义检索"(而非关键词检索) 文本分类 / 聚类 用生成的向量作为特征输入,训练轻量级分类器(如情感分析、意图识别) 大模型 RAG 增强 作为 RAG(检索增强生成)的核心组件,将用户问题和知识库文本转为向量,实现精准检索 3. 模型的核心优势(为什么选它而非其他模型) 轻量级:模型体积小(约 800MB)、推理速度快,适合本地部署或低算力场景; 效果均衡:在 "速度 - 效果" 权衡中表现最优,384 维向量既保证语义信息量,又避免维度爆炸; 易用性:通过 SentenceTransformer 库可一键加载,无需手动处理分词、模型微调等复杂步骤; 开源免费:基于 MIT 协议,可商用,无版权限制。 4. 补充说明 该模型的输出维度固定为 384 维,是 MiniLM 系列(简化版 BERT)的优化版本; 若需要更高的语义精度,可选择all-mpnet-base-v2(768 维,效果更好但体积更大); 若需要更低的算力消耗,可选择all-MiniLM-L4-v2(384 维,推理更快)。
阅读全文