部署指引

本章介绍多模态大模型的部署流程。请确认服务器满足软硬件要求后，下载部署所需的脚本、模型权重与镜像文件，再执行部署脚本并验证服务是否正常运行。

系统要求

  • GPU：支持 CUDA 的 NVIDIA GPU，建议显存为 80 GB 及以上。
  • 磁盘：至少 200 GB 可用空间。模型文件约 60 GB，安装和解压需要额外空间。
  • 软件：Docker 20.10 及以上、Docker Compose 2.0 及以上，以及 nvidia-container-toolkit。

部署限制：为保障司空集群稳定性，多模态大模型须部署在集群外的独立服务器上，不得部署在司空集群节点上。

文件下载

文件说明下载链接
deploy-v1.0.0.zip部署脚本（必需）下载
model-v1.0.0.tar.gz模型权重（必需）下载
docker-image-v1.0.0.tar.gzDocker 镜像（必需）下载
checksums.md5校验文件（可选）下载

快速部署

步骤 1：下载并整理文件

下载所需文件后，按以下结构存放：

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

步骤 2：解压部署包

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

解压后目录结构：

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

步骤 3：执行部署

chmod +x init.sh
./init.sh --offline

步骤 4：验证服务

  1. 检查服务状态。

    curl http://localhost:8000/health

  2. 测试对话接口。

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

注意：首次启动需要 2～5 分钟加载模型，可通过 docker-compose logs -f 查看进度。