Bereitstellungsanleitung

Dieses Kapitel beschreibt den Bereitstellungsprozess für das multimodale Großmodell. Vergewissern Sie sich, dass der Server die Software- und Hardwareanforderungen erfüllt. Laden Sie anschließend die für die Bereitstellung erforderlichen Skripte, Modellgewichte und Image-Dateien herunter. Führen Sie das Bereitstellungsskript aus und prüfen Sie, ob der Dienst ordnungsgemäß ausgeführt wird.

Systemanforderungen

  • GPU: Eine NVIDIA-GPU mit CUDA-Unterstützung. Empfohlen werden mindestens 80 GB VRAM.
  • Datenträger: Mindestens 200 GB freier Speicherplatz. Die Modelldateien sind etwa 60 GB groß; für die Installation und das Entpacken wird zusätzlicher Speicherplatz benötigt.
  • Software: Docker 20.10 oder höher, Docker Compose 2.0 oder höher und nvidia-container-toolkit.

Bereitstellungseinschränkungen: Um die Stabilität des DJI FlightHub 2-Clusters zu gewährleisten, muss das multimodale Großmodell auf einem separaten Server außerhalb des Clusters bereitgestellt werden. Es darf nicht auf einem Knoten des DJI FlightHub 2-Clusters bereitgestellt werden.

Dateien herunterladen

DateiBeschreibungDownload-Link
deploy-v1.0.0.zipBereitstellungsskript (erforderlich)Herunterladen
model-v1.0.0.tar.gzModellgewichte (erforderlich)Herunterladen
docker-image-v1.0.0.tar.gzDocker-Image (erforderlich)Herunterladen
checksums.md5Prüfsummendatei (optional)Herunterladen

Schnellbereitstellung

Schritt 1: Dateien herunterladen und ablegen

Legen Sie die erforderlichen Dateien nach dem Herunterladen in der folgenden Struktur ab:

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

Schritt 2: Bereitstellungspaket entpacken

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

Verzeichnisstruktur nach dem Entpacken:

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

Schritt 3: Bereitstellung durchführen

chmod +x init.sh
./init.sh --offline

Schritt 4: Dienst überprüfen

  1. Prüfen Sie den Dienststatus.

    curl http://localhost:8000/health

  2. Testen Sie die Chat-Schnittstelle.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

Hinweis: Beim ersten Start dauert das Laden des Modells 2 bis 5 Minuten. Zeigen Sie den Fortschritt mit docker-compose logs -f an.