如何用Docker部署Ollama模型?

摘要:接上一篇关于Docker中的Ollama养虾的文章之后,这里补充一个Docker中部署Ollama模型的方案,通过这种方式建立一个完整的虚拟化环境,确保Ollama和OpenClaw在环境内的操作都相对可控。
技术背景 前面写过几篇关于DeepSeek大模型的本地部署以及本地Docker部署OpenClaw的教程。但是这里边的Ollama都是直接部署在裸机上的,图个方便,想来还是不妥,于是补充本文,基于Ubuntu Linux的Docker环境中部署Ollama模型的方法。 Docker部署 先查看系统中是否安装了nvidia-container-toolkit: $ dpkg -l | grep nvidia-container-toolkit ii nvidia-container-toolkit 1.13.5-1 amd64 NVIDIA Container toolkit ii nvidia-container-toolkit-base 1.13.5-1 amd64 NVIDIA Container Toolkit Base 如果没有安装,可以参考一下之前写过的这篇博客进行安装。然后就是在DockerHub拉取Ollama的镜像(如有必要,请自行配置Docker源): $ docker pull ollama/ollama Using default tag: latest latest: Pulling from ollama/ollama 817807f3c64e: Pull complete ae25ca5ada6c: Pull complete 2608ea1d5119: Pull complete 84d58e6813b6: Pull complete Digest: sha256: Status: Downloaded newer image for ollama/ollama:latest docker.io/ollama/ollama:latest 拉取完成后,就可以在本地看到Ollama的镜像: $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE ollama/ollama latest bc1c 3 hours ago 6.01GB 然后就可以启动一个带GPU环境的Ollama容器: $ docker run -d --name my-ollama.docker --runtime=nvidia -p xxx:11434 -v ~/.ollama:/root/.ollama --gpus all ollama/ollama 7ae5 这里边有两个重要参数配置:--runtime=nvidia还有--gpus all都需要配上,否则无法调用到GPU算力。具体用哪些GPU,这个就按照自己的环境来。
阅读全文