Guide de déploiement

Ce chapitre décrit le processus de déploiement du modèle multimodal de grande taille. Vérifiez que le serveur répond aux exigences logicielles et matérielles, puis téléchargez les scripts, les poids du modèle et les fichiers image nécessaires au déploiement. Exécutez le script de déploiement et vérifiez que le service fonctionne correctement.

Configuration système requise

  • GPU : Un GPU NVIDIA prenant en charge CUDA. Au moins 80 Go de VRAM sont recommandés.
  • Disque : Au moins 200 Go d'espace disponible. Les fichiers du modèle occupent environ 60 Go, et l'installation et la décompression nécessitent de l'espace supplémentaire.
  • Logiciel : Docker 20.10 ou version ultérieure, Docker Compose 2.0 ou version ultérieure, et nvidia-container-toolkit.

Restrictions de déploiement : Pour garantir la stabilité du cluster DJI FlightHub 2, le modèle multimodal de grande taille doit être déployé sur un serveur distinct, en dehors du cluster. Il ne doit pas être déployé sur un nœud du cluster DJI FlightHub 2.

Téléchargement des fichiers

FichierDescriptionLien de téléchargement
deploy-v1.0.0.zipScript de déploiement (requis)Télécharger
model-v1.0.0.tar.gzPoids du modèle (requis)Télécharger
docker-image-v1.0.0.tar.gzImage Docker (requise)Télécharger
checksums.md5Fichier de somme de contrôle (facultatif)Télécharger

Déploiement rapide

Étape 1 : Télécharger et organiser les fichiers

Après avoir téléchargé les fichiers nécessaires, stockez-les selon la structure suivante :

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

Étape 2 : Décompresser le package de déploiement

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

Structure du répertoire après décompression :

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

Étape 3 : Effectuer le déploiement

chmod +x init.sh
./init.sh --offline

Étape 4 : Vérifier le service

  1. Vérifiez l'état du service.

    curl http://localhost:8000/health

  2. Testez l'interface de discussion.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

Remarque : Le premier démarrage nécessite 2 à 5 minutes pour charger le modèle. Consultez la progression avec docker-compose logs -f.