常见问题

1. 服务启动后多久可以使用?

首次启动需要 2~5 分钟将模型加载到 GPU,可通过以下命令查看进度:

docker-compose logs -f

当看到 Uvicorn running on http://0.0.0.0:8000 时,服务已就绪。

2. 如何手动加载 Docker 镜像?

gunzip -c docker-image-v1.0.0.tar.gz | docker load

3. 显存不足怎么办?

在模型部署目录的 .env 文件中调整以下参数,降低显存占用:

GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192

4. 如何校验下载文件的完整性?

如果遇到解压失败或服务异常,可校验文件完整性:

  1. 下载校验文件。
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
  1. 校验文件。
md5sum -c checksums.md5