Configuration personnalisée

Sur le serveur où le modèle est déployé, modifiez le fichier .env dans le répertoire de déploiement du modèle pour ajuster les paramètres de service suivants :

# Image Docker
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# Configuration du modèle
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# Port du service
VLLM_PORT=8000

# Configuration GPU
GPU_MEMORY_UTILIZATION=0.9    # Taux d'utilisation de la VRAM (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # Nombre de GPU utilisés

# Configuration des performances
MAX_MODEL_LEN=32768           # Longueur maximale du contexte
MAX_NUM_SEQS=256              # Nombre maximal de requêtes simultanées