Configuration multi-GPU

Pour utiliser plusieurs GPU, modifiez les paramètres suivants dans le répertoire de déploiement du modèle :

1. Modifiez le nombre de GPU dans .env :

   TENSOR_PARALLEL_SIZE=2
   

2. Dans docker-compose.yml, modifiez device_ids :

device_ids: [0, 1]

Gestion du service

Démarrer le service

docker-compose up -d

Arrêter le service

docker-compose down

Redémarrer le service

docker-compose restart

Consulter les journaux

docker-compose logs -f

Consulter l'état du service

docker-compose ps