常见问题
1. 服务启动后多久可以使用?
首次启动需要 2~5 分钟将模型加载到 GPU,可通过以下命令查看进度:
docker-compose logs -f
当看到 Uvicorn running on http://0.0.0.0:8000 时,服务已就绪。
2. 如何手动加载 Docker 镜像?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. 显存不足怎么办?
在模型部署目录的 .env 文件中调整以下参数,降低显存占用:
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. 如何校验下载文件的完整性?
如果遇到解压失败或服务异常,可校验文件完整性:
- 下载校验文件。
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- 校验文件。
md5sum -c checksums.md5