自定义配置

在部署模型的服务器上,编辑模型部署目录中的 .env 文件,调整以下服务配置:

# Docker 镜像
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# 模型配置
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# 服务端口
VLLM_PORT=8000

# GPU 配置
GPU_MEMORY_UTILIZATION=0.9    # 显存利用率 (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # 使用的 GPU 数量

# 性能配置
MAX_MODEL_LEN=32768           # 最大上下文长度
MAX_NUM_SEQS=256              # 最大并发请求数