Guia de implantação

Este capítulo descreve o processo de implantação do modelo multimodal de grande porte. Confirme que o servidor atende aos requisitos de software e hardware e, em seguida, baixe os scripts, os pesos do modelo e os arquivos de imagem necessários para a implantação. Execute o script de implantação e verifique se o serviço está funcionando corretamente.

Requisitos do sistema

  • GPU: Uma GPU NVIDIA com suporte a CUDA. Recomenda-se pelo menos 80 GB de VRAM.
  • Disco: Pelo menos 200 GB de espaço disponível. Os arquivos do modelo ocupam aproximadamente 60 GB, e a instalação e a extração exigem espaço adicional.
  • Software: Docker 20.10 ou posterior, Docker Compose 2.0 ou posterior e nvidia-container-toolkit.

Restrições de implantação: Para garantir a estabilidade do cluster do DJI FlightHub 2, o modelo multimodal de grande porte deve ser implantado em um servidor separado, fora do cluster. Ele não deve ser implantado em um nó do cluster do DJI FlightHub 2.

Download de arquivos

ArquivoDescriçãoLink para download
deploy-v1.0.0.zipScript de implantação (obrigatório)Baixar
model-v1.0.0.tar.gzPesos do modelo (obrigatório)Baixar
docker-image-v1.0.0.tar.gzImagem Docker (obrigatória)Baixar
checksums.md5Arquivo de somas de verificação (opcional)Baixar

Implantação rápida

Etapa 1: Baixar e organizar os arquivos

Após baixar os arquivos necessários, organize-os na seguinte estrutura:

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

Etapa 2: Descompactar o pacote de implantação

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

Estrutura do diretório após a extração:

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

Etapa 3: Executar a implantação

chmod +x init.sh
./init.sh --offline

Etapa 4: Verificar o serviço

  1. Verifique o status do serviço.

    curl http://localhost:8000/health

  2. Teste a interface de chat.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

Nota: Na primeira inicialização, o carregamento do modelo leva de 2 a 5 minutos. Acompanhe o progresso com docker-compose logs -f.