다중 GPU 구성

여러 GPU를 사용하려면 모델 배포 디렉터리에서 다음 설정을 변경하십시오.

  1. .env에서 GPU 수를 변경하십시오.

    TENSOR_PARALLEL_SIZE=2

  2. docker-compose.yml에서 device_ids를 편집하십시오.

device_ids: [0, 1]

서비스 관리

서비스 시작

docker-compose up -d

서비스 중지

docker-compose down

서비스 재시작

docker-compose restart

로그 확인

docker-compose logs -f

서비스 상태 확인

docker-compose ps