Benutzerdefinierte Konfiguration

Bearbeiten Sie auf dem Server, auf dem das Modell bereitgestellt ist, die Datei .env im Modellbereitstellungsverzeichnis, um die folgenden Diensteinstellungen anzupassen:

# Docker-Image
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# Modellkonfiguration
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# Dienstport
VLLM_PORT=8000

# GPU-Konfiguration
GPU_MEMORY_UTILIZATION=0.9    # VRAM-Auslastung (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # Anzahl verwendeter GPUs

# Leistungskonfiguration
MAX_MODEL_LEN=32768           # Maximale Kontextlänge
MAX_NUM_SEQS=256              # Maximale Anzahl gleichzeitiger Anfragen