FAQ
1. Combien de temps après le démarrage le service est-il prêt à être utilisé ?
Le premier démarrage nécessite 2 à 5 minutes pour charger le modèle sur le GPU. Consultez la progression avec la commande suivante :
docker-compose logs -f
Lorsque le message Uvicorn running on http://0.0.0.0:8000 apparaît, le service est prêt.
2. Comment charger manuellement l'image Docker ?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. Que faire en cas de VRAM insuffisante ?
Ajustez les paramètres suivants dans le fichier .env du répertoire de déploiement du modèle pour réduire l'utilisation de la VRAM :
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. Comment vérifier l'intégrité des fichiers téléchargés ?
Si la décompression échoue ou si le service se comporte de manière anormale, vous pouvez vérifier l'intégrité des fichiers :
- Téléchargez le fichier de somme de contrôle.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- Vérifiez les fichiers.
md5sum -c checksums.md5