自定义配置
在部署模型的服务器上,编辑模型部署目录中的 .env 文件,调整以下服务配置:
# Docker 镜像
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128
# 模型配置
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct
# 服务端口
VLLM_PORT=8000
# GPU 配置
GPU_MEMORY_UTILIZATION=0.9 # 显存利用率 (0.0-1.0)
TENSOR_PARALLEL_SIZE=1 # 使用的 GPU 数量
# 性能配置
MAX_MODEL_LEN=32768 # 最大上下文长度
MAX_NUM_SEQS=256 # 最大并发请求数