Perguntas frequentes
1. Quanto tempo após a inicialização o serviço fica pronto para uso?
Na primeira inicialização, o carregamento do modelo na GPU leva de 2 a 5 minutos. Acompanhe o progresso com o seguinte comando:
docker-compose logs -f
Quando a mensagem Uvicorn running on http://0.0.0.0:8000 aparecer, o serviço estará pronto.
2. Como carregar a imagem Docker manualmente?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. O que fazer se a VRAM for insuficiente?
Ajuste os seguintes parâmetros no arquivo .env, no diretório de implantação do modelo, para reduzir o uso de VRAM:
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. Como verificar a integridade dos arquivos baixados?
Se a extração falhar ou o serviço apresentar comportamento anormal, você pode verificar a integridade dos arquivos:
- Baixe o arquivo de somas de verificação.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- Verifique os arquivos.
md5sum -c checksums.md5