Часто задаваемые вопросы
1. Через сколько времени после запуска сервис готов к работе?
При первом запуске загрузка модели в GPU занимает от 2 до 5 минут. Отслеживайте ход загрузки с помощью следующей команды:
docker-compose logs -f
Когда появится сообщение Uvicorn running on http://0.0.0.0:8000, сервис готов к работе.
2. Как вручную загрузить образ Docker?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. Что делать, если видеопамяти недостаточно?
Чтобы сократить использование видеопамяти, измените следующие параметры в файле .env в каталоге развёртывания модели:
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. Как проверить целостность скачанных файлов?
Если распаковка завершается ошибкой или сервис работает некорректно, можно проверить целостность файлов:
- Скачайте файл контрольных сумм.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- Проверьте файлы.
md5sum -c checksums.md5