FAQ
1. 시작 후 서비스를 사용할 수 있을 때까지 얼마나 걸립니까?
최초 시작 시 GPU에 모델을 로드하는 데 2~5분이 소요됩니다. 다음 명령으로 진행 상황을 확인하십시오.
docker-compose logs -f
Uvicorn running on http://0.0.0.0:8000이 표시되면 서비스를 사용할 수 있습니다.
2. Docker 이미지를 수동으로 로드하려면 어떻게 해야 합니까?
gunzip -c docker-image-v1.0.0.tar.gz | docker load
3. VRAM이 부족하면 어떻게 해야 합니까?
VRAM 사용량을 줄이려면 모델 배포 디렉터리의 .env 파일에서 다음 매개변수를 조정하십시오.
GPU_MEMORY_UTILIZATION=0.85
MAX_MODEL_LEN=8192
4. 다운로드한 파일의 무결성을 확인하려면 어떻게 해야 합니까?
압축 해제에 실패하거나 서비스가 비정상적으로 작동하면 다음과 같이 파일 무결성을 확인할 수 있습니다.
- 체크섬 파일을 다운로드하십시오.
wget https://terra-1-g.djicdn.com/84f990b0bbd145e6a3930de0c55d3b2b/ai-models/qwen3-vl-32b-instruct/v1.0.0/checksums.md5
- 파일을 검증하십시오.
md5sum -c checksums.md5