Configuração de múltiplas GPUs

Para usar múltiplas GPUs, altere as seguintes configurações no diretório de implantação do modelo:

1. Altere o número de GPUs em .env:

   TENSOR_PARALLEL_SIZE=2
   

2. Em docker-compose.yml, edite device_ids:

device_ids: [0, 1]

Gerenciamento do serviço

Iniciar o serviço

docker-compose up -d

Parar o serviço

docker-compose down

Reiniciar o serviço

docker-compose restart

Consultar logs

docker-compose logs -f

Consultar o status do serviço

docker-compose ps