Preguntas frecuentes
1. ¿Cuánto tiempo tarda el servicio en estar disponible después de iniciarlo?
El arranque inicial tarda de 2 a 5 minutos en cargar el modelo en la GPU. Consulte el progreso con el siguiente comando:
docker-compose logs -f
Cuando aparezca Uvicorn running on http://0.0.0.0:8000, el servicio estará listo.
2. ¿Cómo se carga manualmente la imagen de Docker?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. ¿Qué debo hacer si no hay suficiente VRAM?
Ajuste los siguientes parámetros del archivo .env en el directorio de despliegue del modelo para reducir el uso de VRAM:
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. ¿Cómo se verifica la integridad de los archivos descargados?
Si la descompresión falla o el servicio funciona de forma anómala, puede verificar la integridad de los archivos:
- Descargue el archivo de suma de verificación.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- Verifique los archivos.
md5sum -c checksums.md5