マルチGPU設定

複数のGPUを使用する場合は、モデルのデプロイディレクトリで以下の設定を変更します。

1. .envでGPU数を変更します。

   TENSOR_PARALLEL_SIZE=2
   

2. docker-compose.ymlでdevice_idsを編集します。

device_ids: [0, 1]

サービス管理

サービスの起動

docker-compose up -d

サービスの停止

docker-compose down

サービスの再起動

docker-compose restart

ログの表示

docker-compose logs -f

サービス状態の確認

docker-compose ps