사용자 정의 구성

모델이 배포된 서버에서 모델 배포 디렉터리의 .env 파일을 편집하여 다음 서비스 설정을 조정하십시오.

# Docker 이미지
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# 모델 구성
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# 서비스 포트
VLLM_PORT=8000

# GPU 구성
GPU_MEMORY_UTILIZATION=0.9    # VRAM 사용률 (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # 사용 GPU 수

# 성능 구성
MAX_MODEL_LEN=32768           # 최대 컨텍스트 길이
MAX_NUM_SEQS=256              # 최대 동시 요청 수