Пользовательская конфигурация

На сервере, где развёрнута модель, отредактируйте файл .env в каталоге развёртывания модели, чтобы изменить следующие настройки сервиса:

# Образ Docker
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# Конфигурация модели
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# Порт сервиса
VLLM_PORT=8000

# Конфигурация GPU
GPU_MEMORY_UTILIZATION=0.9    # Использование VRAM (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # Количество используемых GPU

# Конфигурация производительности
MAX_MODEL_LEN=32768           # Максимальная длина контекста
MAX_NUM_SEQS=256              # Максимальное число одновременных запросов