Configuración de varias GPU

Para utilizar varias GPU, cambie los siguientes ajustes en el directorio de despliegue del modelo:

  1. Cambie el número de GPU en .env:

    TENSOR_PARALLEL_SIZE=2

  2. En docker-compose.yml, edite device_ids:

device_ids: [0, 1]

Gestión de servicios

Iniciar el servicio

docker-compose up -d

Detener el servicio

docker-compose down

Reiniciar el servicio

docker-compose restart

Ver los registros

docker-compose logs -f

Ver el estado del servicio

docker-compose ps