Guía de despliegue

Este capítulo describe el proceso de despliegue del modelo grande multimodal. Confirme que el servidor cumple los requisitos de software y hardware y, a continuación, descargue los scripts, los pesos del modelo y los archivos de imagen necesarios para el despliegue. Ejecute el script de despliegue y compruebe que el servicio funciona correctamente.

Requisitos del sistema

  • GPU: Una GPU NVIDIA compatible con CUDA. Se recomienda disponer de al menos 80 GB de VRAM.
  • Disco: Al menos 200 GB de espacio disponible. Los archivos del modelo ocupan aproximadamente 60 GB y la instalación y la descompresión requieren espacio adicional.
  • Software: Docker 20.10 o posterior, Docker Compose 2.0 o posterior y nvidia-container-toolkit.

Restricciones de despliegue: Para garantizar la estabilidad del clúster de DJI FlightHub 2, el modelo grande multimodal debe desplegarse en un servidor independiente, fuera del clúster. No debe desplegarse en un nodo del clúster de DJI FlightHub 2.

Descarga de archivos

ArchivoDescripciónEnlace de descarga
deploy-v1.0.0.zipScript de despliegue (obligatorio)Descargar
model-v1.0.0.tar.gzPesos del modelo (obligatorio)Descargar
docker-image-v1.0.0.tar.gzImagen de Docker (obligatoria)Descargar
checksums.md5Archivo de suma de verificación (opcional)Descargar

Despliegue rápido

Paso 1: Descargar y organizar los archivos

Después de descargar los archivos necesarios, guárdelos con la siguiente estructura:

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

Paso 2: Descomprimir el paquete de despliegue

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

Estructura del directorio después de la descompresión:

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

Paso 3: Realizar el despliegue

chmod +x init.sh
./init.sh --offline

Paso 4: Verificar el servicio

  1. Compruebe el estado del servicio.

    curl http://localhost:8000/health

  2. Pruebe la interfaz de chat.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

Nota: El arranque inicial tarda de 2 a 5 minutos en cargar el modelo. Consulte el progreso mediante docker-compose logs -f.