如何完整部署基于Docker的LLaMA-Factory？

LLaMA-Factory 是一个强大且高效的大语言模型（LLM）微调框架，支持多种微调方法（如 LoRA、QLoRA）、完整的训练流程（SFT、RM、PPO、DPO）以及丰富的模型和数据集支持，能帮助你在消费级显卡上高效微调大型语言模型。 这份指南将带你从零开始，完成基于 Docker 的环境搭建、数据准备、模型训练、推理测试到模型导出的全过程。 🐳 基于 Docker 的 LLaMA-Factory 全流程部署指南 1. 环境准备与前置检查 在开始部署之前，需要确保你的系统环境满足基本要求，并正确安装所需的软件依赖。 1.1 硬件需求建议 以下是对硬件配置的基本建议，实际需求会根据模型规模和数据集大小有所变化： 资源类型 最低配置要求 推荐配置 大型模型训练建议 CPU 4 核心 8 核心或以上 16 核心或以上 内存 16 GB 32 GB 64 GB 或以上 GPU NVIDIA GPU (8GB VRAM) NVIDIA RTX 3090/4090 (24GB VRAM) NVIDIA A100 (80GB VRAM) 存储空间 50 GB (用于系统和依赖) 100 GB (含基础模型) 500 GB 或以上 (模型缓存) 1.2 软件依赖安装 安装 Docker：访问Docker 官方网站获取适合你操作系统（Windows/Linux/macOS）的安装指南。 Windows 用户注意：建议安装时更改默认安装路径到非系统盘（如 D 盘），避免后期占用过多 C 盘空间。可以通过命令行指定安装路径： powershell "Docker Desktop Installer.exe" install --installation-dir=D:\Docker 安装完成后，启动 Docker 服务。 安装 NVIDIA Docker 支持（仅限 NVIDIA GPU 用户）： 确保已安装最新的 NVIDIA 显卡驱动。 参照NVIDIA Container Toolkit 安装指南安装和配置 NVIDIA Container Toolkit，以便 Docker 容器能够访问 GPU。 安装后，在终端执行docker run --rm --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi测试 GPU 是否可在 Docker 中正常识别。如果成功，你将看到显卡信息输出。 （可选）安装 Docker Compose：新版本的 Docker Desktop 通常已包含 Compose。如果没有，请参照官方文档安装。 2. LLaMA-Factory 项目获取与 Docker 环境配置 2.1 获取 LLaMA-Factory 源代码 使用git命令将 LLaMA-Factory 项目克隆到本地： bash # 克隆项目代码（使用 --depth 1 只克隆最新提交，节省时间和空间） git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git # 进入项目目录 cd LLaMA-Factory 2.2 Docker 部署方式选择 LLaMA-Factory 的 Docker 目录 (docker/) 下通常提供了针对不同硬件环境的配置1： docker-cuda/:适用于 NVIDIA CUDA 用户（最常见）。 docker-npu/: 适用于华为 Ascend NPU 用户。 docker-rocm/: 适用于 AMD ROCm 用户。 本指南以最常用的CUDA为例。 2.2.1 使用 Docker Compose（推荐） Docker Compose 能简化容器的构建和运行过程。 进入 CUDA 目录： bash cd docker/docker-cuda/ 启动容器（后台运行）： bash docker compose up -d 此命令会读取同目录下的docker-compose.yml文件，构建或拉取镜像，并在后台启动容器。 进入容器内部： bash docker compose exec llamafactory bash # 或者使用 # docker exec -it llamafactory /bin/bash 执行后，你将进入一个名为llamafactory的容器内部，并可以开始在容器内操作。