Configuración personalizada

En el servidor donde está desplegado el modelo, edite el archivo .env del directorio de despliegue del modelo para ajustar los siguientes parámetros del servicio:

# Imagen de Docker
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# Configuración del modelo
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# Puerto del servicio
VLLM_PORT=8000

# Configuración de GPU
GPU_MEMORY_UTILIZATION=0.9    # Tasa de uso de VRAM (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # Número de GPU en uso

# Configuración de rendimiento
MAX_MODEL_LEN=32768           # Longitud máxima de contexto
MAX_NUM_SEQS=256              # Número máximo de solicitudes concurrentes