如何基于Dify Ollama搭建私有化知识问答助手？

目录为什么选择 Dify + OllamaOllama 本地部署Dify 本地容器化部署模型接入与知识库 RAG 构建准备 Embedding 模型在 Dify 中添加 Ollama 模型供应商构建知识库检索测试构建智能体应用创建应用编排界面概览查询预处理关联知识库编写提示词调整模型参数调试与发布Python API 调用实战获取 API 密钥环境准备编写脚本 你是否也有过这样的经历：当汽车仪表盘上突然跳出一个陌生的黄色故障灯，或者你想调整后视镜的倒车下翻功能，却不得不从副驾手套箱里翻出那本厚达 400 页、封皮都快粘连的《用户使用手册》。你试图在目录中寻找关键词，翻到第 218 页，却发现还有“参见第 56 页”的跳转。在那一刻，你一定希望有一个懂行的老司机坐在旁边，你只需问一句：“这个像茶壶一样的灯亮了是什么意思？”，他就能立马告诉你答案。在 AI 大模型时代，这个愿望已经可以零成本实现。今天这篇博客，将带大家实战一个非常典型的 RAG（检索增强生成） 场景：利用开源工具 Dify 和本地大模型工具 Ollama，搭建一个能够完全读懂你汽车手册的 AI 智能体。完成后，不仅可以通过 Web 界面与它对话，还能通过 Python API 将其集成到其他应用中。 为什么选择 Dify + Ollama 在开始动手之前，先聊聊为什么选择这套技术栈。市面上有很多构建 AI 应用的方法，比如像之前博客介绍的那样直接用 LangChain 手搓，或者使用云端的 API，但对于不懂编程、不懂技术的用户，Dify + Ollama 是目前性价比最高、上手最快的选择。 Ollama：之前已经介绍过了，它是目前在本地运行大语言模型（LLM）最简单的工具。不需要复杂的环境配置，不需要研究 PyTorch，只需一行命令，就能在 PC 上运行 Llama 3、Qwen 2.5 等开源模型，最重要的是，它是本地化的，隐私绝对安全。 Dify：如果说 Ollama 提供了“大脑”，那么 Dify 就提供了“身体”和“四肢”，使模型具备了一些“能力”。Dify 是一个开源的 LLM 应用开发平台，它解决了 LLM 开发中最常见的问题：知识库的切片与索引、Prompt 的编排、上下文记忆的管理，以及对外提供标准的 API 接口。它是低代码的，几乎不需要写代码就能搭出一个企业级的 AI 应用。 在接下来的教程中，将完成以下操作： 环境搭建：在本地部署 Ollama 和 Dify。 模型接入：让 Dify 连接上本地运行的 Qwen2.5 模型。 知识库构建：上传《用户手册》PDF，通过 RAG 技术让 AI “学会”手册的内容。 智能体编排：调试 Prompt，让它根据用户手册回答问题。 API 调用：编写 Python 脚本调用搭建好的智能体，实现问答。 操作用到的用户手册可在此处下载：https://oss.mpdoc.com/doc/2026/01/10/CA60DABA002540C5894B85DA2DB46E14.pdf?attname=BMW_用户手册_01405A7D339.pdf Ollama 本地部署 Ollama 的安装极度简化，几乎是“开箱即用”。直接访问 Ollama 官网 https://ollama.com/download 下载安装包即可。Linux 使用官方的一键安装脚本 curl -fsSL https://ollama.com/install.sh | sh。安装完成后，在命令行输入 ollama -v，看到版本号即表示安装成功。 访问 https://ollama.com/search 可以查看 Ollama 支持的模型，这里选择 Qwen2.5-7B 版本（70 亿参数，平衡了速度和智能）。在命令行中执行 ollama run qwen2.5:7b，等待模型下载完成（大约 5GB），即可在本地运行该模型。下载完成后，会直接进入对话框。你可以试着问它：“你好，介绍一下你自己。” 如果它能流畅回复，说明模型已经激活。按 Ctrl + D 退出对话模式，模型会在后台继续运行。 Dify 本地容器化部署 为了保证环境的纯净和易于管理，官方推荐使用 Docker Compose 进行部署。首先，确保你的机器上安装了 Docker 和 Docker Compose（https://www.docker.com）。下面需要将 Dify 的代码仓库下载到本地。在命令行中执行以下命令 git clone --depth 1 https://github.com/langgenius/dify.git，如果你本地没有安装 Git，也可以直接去 GitHub 页面下载 ZIP 压缩包并解压。