FAQ
1. Wie lange dauert es nach dem Start, bis der Dienst einsatzbereit ist?
Beim ersten Start dauert das Laden des Modells auf die GPU 2 bis 5 Minuten. Zeigen Sie den Fortschritt mit dem folgenden Befehl an:
docker-compose logs -f
Sobald Uvicorn running on http://0.0.0.0:8000 angezeigt wird, ist der Dienst einsatzbereit.
2. Wie lade ich das Docker-Image manuell?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. Was kann ich tun, wenn nicht genügend VRAM verfügbar ist?
Passen Sie die folgenden Parameter in der Datei .env im Modellbereitstellungsverzeichnis an, um die VRAM-Nutzung zu reduzieren:
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. Wie überprüfe ich die Integrität der heruntergeladenen Dateien?
Wenn das Entpacken fehlschlägt oder der Dienst sich nicht ordnungsgemäß verhält, können Sie die Dateiintegrität überprüfen:
- Laden Sie die Prüfsummendatei herunter.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- Überprüfen Sie die Dateien.
md5sum -c checksums.md5