Llama-3.2-3B从零开始：Ollama部署+Docker Compose编排多模型服务

Llama-3.2-3B从零开始Ollama部署Docker Compose编排多模型服务想试试Meta最新开源的轻量级大模型Llama-3.2-3B但被复杂的部署环境劝退或者你已经部署了一个模型但想同时运行多个模型服务却不知道如何管理别担心这篇文章就是为你准备的。我将带你从零开始用最简单的方式在本地或服务器上部署Llama-3.2-3B模型并且更进一步教你如何用Docker Compose轻松编排和管理多个模型服务。整个过程就像搭积木一样简单即使你之前没怎么接触过Docker也能跟着一步步做下来。1. 准备工作认识我们的工具在开始动手之前我们先花几分钟了解一下今天要用到的几个核心工具。放心我不会讲那些晦涩难懂的技术原理就用大白话告诉你它们是干什么的。1.1 Llama-3.2-3B小而精的智能助手Llama-3.2-3B是Meta就是做Facebook和Instagram的那家公司在2024年发布的最新开源大语言模型。名字里的“3B”指的是它有30亿个参数你可以把它理解成模型的“脑容量”。它有什么特点身材小巧能力不弱相比动辄几百亿参数的大模型3B的体量让它对硬件要求很低普通电脑就能跑起来但它在很多任务上的表现已经相当不错了。多语言支持它不仅能理解英文对中文等多种语言也有很好的支持是个“国际范”的助手。专门优化过Meta专门针对聊天对话、信息总结等场景对它进行了训练和优化所以用它来聊天、回答问题、总结文章会特别顺手。完全开源免费你可以随便下载、使用甚至修改它没有任何限制。简单来说Llama-3.2-3B就像一个装在口袋里的“迷你版ChatGPT”虽然体积小但日常聊天、处理文档、回答问题的活儿都能干得很好。1.2 Ollama大模型的“一键启动器”如果说Llama模型是一个功能强大的发动机那么Ollama就是给这个发动机配上的“一键启动按钮”和“方向盘”。以前要运行一个大模型你得折腾各种Python库、配置复杂的环境、处理令人头疼的依赖问题。Ollama把这些麻烦事全包了。它提供了一个超级简单的命令行工具你只需要一条命令就能把模型下载下来并运行起来还能通过一个简单的网页界面或者API来和模型对话。Ollama的核心好处开箱即用一条命令完成下载、部署、运行。统一管理可以轻松安装、运行、切换不同的模型。提供API方便其他程序调用模型的能力。1.3 Docker Compose多服务的“总指挥”当我们只运行一个Ollama服务时一切都很简单。但如果我想同时运行Llama-3.2-3B、另一个7B的模型甚至再加一个图像生成模型呢手动管理多个服务的启动、停止、端口配置会非常混乱。这时候就需要Docker Compose出场了。你可以把它想象成一个乐高项目的“搭建说明书”。Docker把每个应用比如Ollama和它需要的所有环境系统库、配置文件等打包成一个独立的“集装箱”容器。这个集装箱在任何支持Docker的电脑上都能以完全相同的方式运行。Docker Compose一个用来定义和运行多个Docker容器的工具。你只需要写一个简单的配置文件docker-compose.yml它就能按照你的要求同时启动多个“集装箱”并安排好它们之间的通信和协作。用上Docker Compose之后管理多个模型服务就从“手忙脚乱地操作好几个命令行窗口”变成了“编辑一个文件然后运行一条命令”。好了工具介绍完毕。接下来我们就进入实战环节。2. 第一步单模型快速体验在搭建复杂的多模型服务之前我们先通过最简单的方式快速把Llama-3.2-3B跑起来感受一下它的能力。这能帮你建立信心也确保基础环境是没问题的。2.1 安装OllamaOllama的安装极其简单几乎全平台通用。在Mac上安装直接打开终端Terminal粘贴下面这条命令curl -fsSL https://ollama.com/install.sh | sh安装脚本会自动完成所有工作。在Linux上安装同样使用上面这条命令即可。如果你的系统比较老可能需要先确保curl命令已经安装。在Windows上安装前往Ollama官网https://ollama.com下载Windows安装程序.exe文件。双击运行安装程序按照提示完成安装。安装完成后你可以在开始菜单找到“Ollama”应用并运行它或者直接在PowerShell或命令提示符中使用ollama命令。安装完成后在终端里输入ollama --version如果能看到版本号就说明安装成功了。2.2 拉取并运行Llama-3.2-3B模型运行只需要一条命令。打开你的终端输入ollama run llama3.2:3b第一次运行时会自动从网上下载模型文件模型大小约1.8GB根据你的网速需要等待几分钟。下载完成后你会直接进入一个交互式对话界面看到类似的提示符。这表示模型已经启动正在等待你输入。现在你就可以像和朋友聊天一样向它提问了。比如 用一句话介绍一下你自己。模型会立刻开始生成回答。试试问它一些问题比如写一首短诗、总结一段话、或者回答一些常识性问题感受一下这个3B小模型的能力。如何退出在对话界面输入/bye即可退出交互模式回到终端命令行。2.3 使用Ollama的Web UI可选除了命令行聊天Ollama还自带一个轻量级的网页界面用起来更直观。首先确保Ollama服务正在运行如果刚刚退出了需要重新运行ollama run llama3.2:3b或者用ollama serve命令在后台启动服务。打开你的浏览器访问http://localhost:11434你会看到一个非常简洁的页面这就是Ollama内置的Web UI。在这里你可以选择模型、输入问题并以更友好的方式查看对话历史。至此单模型的部署和体验就完成了是不是比想象中简单很多接下来我们要进入更强大的阶段用Docker Compose来编排服务。3. 第二步使用Docker Compose编排多模型服务单模型运行满足了基本需求但如果我们有更复杂的场景呢比如需要同时运行Llama-3.2-3B和一个更大的Llama-3.1-8B模型根据任务难度切换使用。除了文本模型还想同时运行一个Stable Diffusion之类的图像生成模型。希望给每个模型服务分配固定的端口方便其他程序比如自己写的聊天机器人前端通过API来调用。手动管理多个Ollama实例会很麻烦。而Docker Compose可以让我们用一份配置文件轻松搞定所有服务的生命周期管理。3.1 安装Docker和Docker Compose首先我们需要确保系统里已经安装了Docker和Docker Compose。Docker Desktop推荐给Mac和Windows用户这是最简单的方式。直接去Docker官网https://www.docker.com/products/docker-desktop/下载Docker Desktop安装包并安装。它自带了Docker引擎、Docker CLI和Docker Compose。安装后启动Docker Desktop任务栏或菜单栏会出现一个小鲸鱼图标。在Linux上安装Docker和Docker Compose对于Linux系统可以通过包管理器安装。以Ubuntu为例可以依次执行以下命令# 更新软件包索引 sudo apt-get update # 安装Docker sudo apt-get install docker.io # 启动Docker服务并设置开机自启 sudo systemctl start docker sudo systemctl enable docker # 将当前用户加入docker组避免每次都要sudo sudo usermod -aG docker $USER # 注意执行此命令后需要**注销并重新登录**或重启系统才能生效 # 安装Docker Compose插件新版本Docker已集成 sudo apt-get install docker-compose-plugin安装完成后在终端输入docker --version和docker compose version来验证安装是否成功。3.2 编写Docker Compose配置文件接下来是核心步骤创建我们的“搭建说明书”。在你喜欢的位置比如~/projects/ollama-multi新建一个文件夹并在里面创建一个名为docker-compose.yml的文件。用文本编辑器如VSCode、Notepad甚至系统自带的记事本打开这个文件将以下内容复制进去version: 3.8 services: # 服务1Llama-3.2-3B 文本模型 llama3-2-3b: image: ollama/ollama:latest container_name: ollama-llama3.2-3b ports: - 11435:11434 # 将容器内的11434端口映射到主机的11435端口 volumes: - ./ollama-data/llama3.2-3b:/root/.ollama # 持久化存储模型数据 command: serve deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] # 如果宿主机有NVIDIA GPU并安装了驱动则启用GPU支持 # 在容器启动后自动拉取指定模型可选第一次启动时会自动下载 # 你可以取消下面几行的注释让容器启动时自动拉取模型 # entrypoint: [/bin/sh, -c] # command: | # ollama serve # sleep 10 # ollama pull llama3.2:3b # wait # 服务2Llama-3.1-8B 文本模型示例你可以换成任何Ollama支持的模型 llama3-1-8b: image: ollama/ollama:latest container_name: ollama-llama3.1-8b ports: - 11436:11434 # 映射到另一个端口避免冲突 volumes: - ./ollama-data/llama3.1-8b:/root/.ollama command: serve # 同样可以配置GPU和自动拉取模型 # deploy: ... # entrypoint: ... # 服务3你可以继续添加更多服务比如一个图像生成模型 # stable-diffusion: # image: another-ai-image:latest # container_name: sd-webui # ports: # - 7860:7860 # volumes: ... networks: default: name: ollama-network # 为所有服务创建一个共同的网络方便内部通信让我们拆解一下这个配置文件的关键部分定义服务在services:下面我们定义了两个服务llama3-2-3b和llama3-1-8b。每个服务对应一个独立的Docker容器。使用镜像image: ollama/ollama:latest指定了容器使用官方最新的Ollama镜像。容器命名container_name给容器起个有意义的名字方便管理。端口映射ports: - 11435:11434这是最关键的一步。它把容器内部的Ollama服务端口默认11434映射到了你电脑宿主机的11435端口。这样你访问localhost:11435就是在访问第一个容器里的Ollama。第二个服务映射到了11436端口以此类推避免了端口冲突。数据持久化volumes: - ./ollama-data/llama3.2-3b:/root/.ollama把容器内存储模型文件的目录挂载到宿主机的./ollama-data/llama3.2-3b文件夹。这样即使删除了容器下载好的模型也不会丢失。启动命令command: serve告诉容器启动后运行ollama serve命令来启动Ollama服务。GPU支持deploy:部分是可选的。如果你的电脑有NVIDIA显卡并且安装了正确的Docker GPU运行时nvidia-container-toolkit这个配置可以让容器使用GPU来加速模型推理速度会快很多。自动拉取模型注释掉的entrypoint和command部分展示了一种在容器启动后自动下载模型的方法。第一次启动时你可能需要进入容器手动拉取或者取消注释这段代码。3.3 启动多模型服务集群配置文件写好了现在让我们启动这个“模型舰队”。打开终端进入到存放docker-compose.yml文件的目录~/projects/ollama-multi。运行以下命令docker compose up -d-d参数表示在“后台”detached模式运行这样终端不会被占用。你会看到Docker开始拉取ollama/ollama镜像如果本地没有的话然后创建并启动两个容器。这个过程可能需要一两分钟。启动完成后你可以用下面的命令查看运行状态docker compose ps如果看到两个服务的状态都是running那就大功告成了3.4 管理模型与进行推理服务已经跑起来了但它们还是“空壳”里面没有模型。我们需要进入每个容器拉取对应的模型。为第一个服务Llama-3.2-3B拉取模型# 进入名为 ollama-llama3.2-3b 的容器内部 docker exec -it ollama-llama3.2-3b bash # 现在你在容器内部了拉取模型 ollama pull llama3.2:3b # 拉取完成后可以测试运行一下 ollama run llama3.2:3b # 问个问题测试然后输入 /bye 退出 # 退出容器 exit为第二个服务Llama-3.1-8B拉取模型docker exec -it ollama-llama3.1-8b bash ollama pull llama3.1:8b exit现在如何访问这两个服务Llama-3.2-3B服务打开浏览器访问http://localhost:11435。这就是运行在11435端口的Ollama Web UI它连接的是我们第一个容器里的服务。Llama-3.1-8B服务打开另一个浏览器标签页访问http://localhost:11436。看两个完全独立的模型服务同时运行在你的机器上互不干扰你可以同时在两个网页里向不同的模型提问对比它们的回答。通过API调用除了Web UI更常用的方式是通过API。Ollama提供了兼容OpenAI格式的API。例如用curl命令调用Llama-3.2-3B服务生成文本curl http://localhost:11435/api/generate -d { model: llama3.2:3b, prompt: 为什么天空是蓝色的, stream: false }这样你自己的应用程序就可以通过访问不同的端口11435, 11436来调用不同的模型了。4. 第三步进阶技巧与日常管理基础的多服务部署已经完成下面分享一些让这套系统更好用的进阶技巧。4.1 常用Docker Compose管理命令记住这几个命令你就能轻松管理整个服务集群启动所有服务docker compose up -d停止所有服务docker compose down查看运行状态docker compose ps查看服务日志非常有用用于排错查看所有服务的日志docker compose logs查看特定服务如llama3-2-3b的日志docker compose logs llama3-2-3b实时跟踪日志输出类似tail -fdocker compose logs -f llama3-2-3b重启某个服务比如更新了配置docker compose restart llama3-2-3b进入某个服务的容器内部docker exec -it ollama-llama3.2-3b bash4.2 模型管理与更新如何更新Ollama版本Ollama镜像更新后只需重新拉取镜像并重启服务docker compose pull # 拉取最新的镜像 docker compose up -d --force-recreate # 强制重新创建容器如何更新已下载的模型进入对应容器重新拉取模型会获取最新版本docker exec -it ollama-llama3.2-3b bash ollama pull llama3.2:3b # 重新拉取会更新到最新版 exit如何查看容器内已下载的模型docker exec ollama-llama3.2-3b ollama list4.3 性能优化与资源限制如果你的服务器资源有限或者不想让某个模型占用太多资源可以在docker-compose.yml中为服务设置资源限制。services: llama3-2-3b: # ... 其他配置 ... deploy: resources: limits: cpus: 2.0 # 最多使用2个CPU核心 memory: 4G # 最多使用4GB内存 reservations: memory: 2G # 保证至少分配2GB内存 devices: - driver: nvidia count: 1 # 只使用1块GPU如果你有多块 capabilities: [gpu]这样即使同时运行多个模型也能保证系统整体稳定不会因为某个模型“吃”掉所有资源而卡死。5. 总结回顾一下我们今天完成的事情快速体验我们用一条命令ollama run llama3.2:3b就体验了最新的Llama-3.2-3B模型感受到了开源小模型的便捷与能力。容器化部署通过Docker我们将Ollama服务封装成了一个独立、可移植的“集装箱”解决了环境依赖的烦恼。多服务编排利用Docker Compose我们通过一份清晰的docker-compose.yml配置文件轻松部署并管理了多个独立的模型服务Llama-3.2-3B和Llama-3.1-8B并为它们分配了不同的端口。持久化与资源管理我们配置了数据卷来永久保存模型文件并了解了如何设置资源限制和查看日志让整个系统更健壮、易维护。这套方案的强大之处在于它的清晰度和可扩展性。你的docker-compose.yml文件就是整个AI服务集群的蓝图。未来如果你想增加一个代码生成模型、一个图像理解模型或者换用更新的模型版本只需要在这个文件里添加或修改几行配置然后运行docker compose up -d即可。从今天起你可以告别手动管理多个命令行窗口的混乱拥抱这种声明式、一体化的模型服务管理方式。无论是用于个人学习、项目开发还是小团队的原型验证这套方案都能为你提供一个干净、高效且专业的AI基础设施。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。