배포 가이드

이 장에서는 멀티모달 대규모 모델의 배포 절차를 설명합니다. 서버가 소프트웨어 및 하드웨어 요구 사항을 충족하는지 확인한 후, 배포에 필요한 스크립트, 모델 가중치 및 이미지 파일을 다운로드하십시오. 배포 스크립트를 실행하고 서비스가 정상적으로 실행되는지 확인하십시오.

시스템 요구 사항

  • GPU: CUDA를 지원하는 NVIDIA GPU가 필요합니다. 최소 80 GB의 VRAM을 권장합니다.
  • 디스크: 최소 200 GB의 여유 공간이 필요합니다. 모델 파일의 크기는 약 60 GB이며, 설치 및 압축 해제에 추가 공간이 필요합니다.
  • 소프트웨어: Docker 20.10 이상, Docker Compose 2.0 이상 및 nvidia-container-toolkit이 필요합니다.

배포 제한 사항: DJI FlightHub 2 클러스터의 안정성을 보장하려면 멀티모달 대규모 모델을 클러스터 외부의 별도 서버에 배포해야 합니다. DJI FlightHub 2 클러스터 노드에 배포해서는 안 됩니다.

파일 다운로드

파일설명다운로드 링크
deploy-v1.0.0.zip배포 스크립트(필수)다운로드
model-v1.0.0.tar.gz모델 가중치(필수)다운로드
docker-image-v1.0.0.tar.gzDocker 이미지(필수)다운로드
checksums.md5체크섬 파일(선택 사항)다운로드

빠른 배포

1단계: 파일 다운로드 및 정리

필요한 파일을 다운로드한 후 다음 구조로 저장하십시오.

qwen3-vl-deployment/            任意目录名
├── deploy-v1.0.0.zip           部署脚本包
├── model-v1.0.0.tar.gz         模型文件
└── docker-image-v1.0.0.tar.gz  Docker 镜像

2단계: 배포 패키지 압축 해제

cd qwen3-vl-deployment
unzip deploy-v1.0.0.zip

압축 해제 후 디렉터리 구조는 다음과 같습니다.

qwen3-vl-deployment/
├── docker-compose.yml
├── init.sh
├── .env
├── README.md
├── model-v1.0.0.tar.gz
└── docker-image-v1.0.0.tar.gz

3단계: 배포 실행

chmod +x init.sh
./init.sh --offline

4단계: 서비스 확인

  1. 서비스 상태를 확인하십시오.

    curl http://localhost:8000/health

  2. 채팅 인터페이스를 테스트하십시오.

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-VL-32B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

참고: 최초 시작 시 모델을 로드하는 데 2~5분이 소요됩니다. docker-compose logs -f로 진행 상황을 확인하십시오.