Руководство по развёртыванию

В этой главе описан процесс развёртывания большой мультимодальной модели. Убедитесь, что сервер соответствует требованиям к программному и аппаратному обеспечению, затем скачайте скрипты, веса модели и файлы образов, необходимые для развёртывания. Запустите скрипт развёртывания и убедитесь, что сервис работает корректно.

Системные требования

  • GPU: GPU NVIDIA с поддержкой CUDA. Рекомендуется не менее 80 GB видеопамяти.
  • Диск: Не менее 200 GB свободного места. Файлы модели занимают примерно 60 GB; для установки и распаковки требуется дополнительное место.
  • Программное обеспечение: Docker 20.10 или более поздней версии, Docker Compose 2.0 или более поздней версии и nvidia-container-toolkit.

Ограничения развёртывания: Для обеспечения стабильности кластера DJI FlightHub 2 большую мультимодальную модель необходимо развернуть на отдельном сервере вне кластера. Развёртывать её на узле кластера DJI FlightHub 2 запрещено.

Скачивание файлов

ФайлОписаниеСсылка для скачивания
deploy-v1.0.0.zipСкрипт развёртывания (обязательный)Скачать
model-v1.0.0.tar.gzВеса модели (обязательные)Скачать
docker-image-v1.0.0.tar.gzОбраз Docker (обязательный)Скачать
checksums.md5Файл контрольных сумм (необязательный)Скачать

Быстрое развёртывание

Шаг 1: Скачайте и разместите файлы

После скачивания необходимых файлов разместите их в следующей структуре:

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

Шаг 2: Распакуйте пакет развёртывания

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

Структура каталога после распаковки:

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

Шаг 3: Выполните развёртывание

chmod +x init.sh
./init.sh --offline

Шаг 4: Проверьте сервис

  1. Проверьте состояние сервиса.

    curl http://localhost:8000/health

  2. Протестируйте интерфейс чата.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

Примечание: При первом запуске загрузка модели занимает от 2 до 5 минут. Отслеживайте ход загрузки с помощью docker-compose logs -f.