多 GPU 配置

如需使用多张 GPU，请在模型部署目录中修改以下配置：

1. 修改 .env 中的 GPU 数量：

   TENSOR_PARALLEL_SIZE=2
   

2. 修改 docker-compose.yml 中的 device_ids：

device_ids: [0, 1]

服务管理

启动服务

docker-compose up -d

停止服务

docker-compose down

重启服务

docker-compose restart

查看日志

docker-compose logs -f

查看服务状态

docker-compose ps