デプロイガイド

本章では、マルチモーダル大規模モデルのデプロイ手順を説明します。サーバーがソフトウェアとハードウェアの要件を満たしていることを確認し、デプロイに必要なスクリプト、モデルの重み、イメージファイルをダウンロードしてください。デプロイスクリプトを実行し、サービスが正常に稼働していることを確認します。

システム要件

  • GPU：CUDAに対応したNVIDIA GPU。少なくとも80 GBのVRAMを推奨します。
  • ディスク：少なくとも200 GBの空き容量。モデルファイルは約60 GBで、インストールと展開には追加の空き容量が必要です。
  • ソフトウェア：Docker 20.10以降、Docker Compose 2.0以降、およびnvidia-container-toolkit。

デプロイの制限：DJI FlightHub 2クラスターの安定性を確保するため、マルチモーダル大規模モデルはクラスター外の独立したサーバーにデプロイする必要があります。DJI FlightHub 2のクラスターノードにはデプロイしないでください。

ファイルのダウンロード

ファイル説明ダウンロードリンク
deploy-v1.0.0.zipデプロイスクリプト（必須）ダウンロード
model-v1.0.0.tar.gzモデルの重み（必須）ダウンロード
docker-image-v1.0.0.tar.gzDockerイメージ（必須）ダウンロード
checksums.md5チェックサムファイル（任意）ダウンロード

クイックデプロイ

手順1：ファイルのダウンロードと整理

必要なファイルをダウンロードし、以下の構成で保存します。

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

手順2：デプロイパッケージの展開

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

展開後のディレクトリ構成：

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

手順3：デプロイの実行

chmod +x init.sh
./init.sh --offline

手順4：サービスの確認

  1. サービスの状態を確認します。

    curl http://localhost:8000/health

  2. チャットインターフェースをテストします。

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

注記：初回起動時は、モデルの読み込みに2～5分かかります。docker-compose logs -fで進捗を確認できます。