Настройка нескольких GPU

Для использования нескольких GPU измените следующие настройки в каталоге развёртывания модели:

1. Измените количество GPU в .env:

   TENSOR_PARALLEL_SIZE=2
   

2. В файле docker-compose.yml измените device_ids:

device_ids: [0, 1]

Управление сервисом

Запустить сервис

docker-compose up -d

Остановить сервис

docker-compose down

Перезапустить сервис

docker-compose restart

Просмотреть журналы

docker-compose logs -f

Просмотреть состояние сервиса

docker-compose ps