司空私有化配置

添加配置

模型部署完成后,进入管理后台的「拓展服务」→「多模态大模型」,填写模型服务地址、模型名称和 API Key。

配置说明

配置项说明
模型服务地址格式为 http://<IP>:<端口>/v1,必须以 /v1 结尾。
模型名称填写部署的模型名称,例如 Qwen/Qwen3-VL-32B-Instruct。
API Key填写用于 vLLM 服务鉴权的 API Key。

获取模型服务地址(LLM_BASE_URL)

在部署模型的服务器上,进入模型部署目录,执行以下操作:

  1. 查看服务器 IP:
hostname -I | awk '{print $1}'
  1. 查看服务端口(默认 8000):
grep VLLM_PORT .env

例如,服务器 IP 为 192.168.1.100、端口为 8000 时,模型服务地址为 http://192.168.1.100:8000/v1。以下配置示例中的 LLM_BASE_URL 对应后台的「模型服务地址」:

LLM_BASE_URL: "http://192.168.1.100:8000/v1"