Configuração do FlightHub On-Premises
Adicionar configuração
Após implantar o modelo, acesse "Serviços estendidos" → "Modelo multimodal de grande porte" no console de administração e preencha o endereço do serviço do modelo, o nome do modelo e a chave de API.
Instruções de configuração
| Item de configuração | Descrição |
|---|---|
| Endereço do serviço do modelo | Use o formato http://<IP>:<端口>/v1. O endereço deve terminar com /v1. |
| Nome do modelo | Insira o nome do modelo implantado, como Qwen/Qwen3-VL-32B-Instruct. |
| Chave de API | Insira a chave de API usada para autenticar o acesso ao serviço vLLM. |
Obter o endereço do serviço do modelo (LLM_BASE_URL)
No servidor em que o modelo foi implantado, acesse o diretório de implantação do modelo e execute as seguintes operações:
- Consulte o IP do servidor:
hostname -I | awk '{print $1}'
- Consulte a porta do serviço (padrão:
8000):
grep VLLM_PORT .env
Por exemplo, se o IP do servidor for 192.168.1.100 e a porta for 8000, o endereço do serviço do modelo será http://192.168.1.100:8000/v1. No exemplo de configuração abaixo, LLM_BASE_URL corresponde a "Endereço do serviço do modelo" no console de administração:
LLM_BASE_URL: "http://192.168.1.100:8000/v1"