Multi-GPU-Konfiguration

Ändern Sie die folgenden Einstellungen im Modellbereitstellungsverzeichnis, um mehrere GPUs zu verwenden:

1. Ändern Sie die Anzahl der GPUs in .env:

   TENSOR_PARALLEL_SIZE=2
   

2. Bearbeiten Sie in docker-compose.yml den Eintrag device_ids:

device_ids: [0, 1]

Dienstverwaltung

Dienst starten

docker-compose up -d

Dienst stoppen

docker-compose down

Dienst neu starten

docker-compose restart

Protokolle anzeigen

docker-compose logs -f

Dienststatus anzeigen

docker-compose ps