FlightHub On-Premises-Konfiguration
Konfiguration hinzufügen
Öffnen Sie nach der Bereitstellung des Modells in der Admin-Konsole „Erweiterte Dienste“ → „Multimodales Großmodell“ und geben Sie die Modelldienstadresse, den Modellnamen und den API-Schlüssel ein.
Konfigurationsanweisungen
| Konfigurationselement | Beschreibung |
|---|---|
| Modelldienstadresse | Verwenden Sie das Format http://<IP>:<端口>/v1. Die Adresse muss mit /v1 enden. |
| Modellname | Geben Sie den Namen des bereitgestellten Modells ein, beispielsweise Qwen/Qwen3-VL-32B-Instruct. |
| API-Schlüssel | Geben Sie den API-Schlüssel ein, mit dem der Zugriff auf den vLLM-Dienst authentifiziert wird. |
Modelldienstadresse ermitteln (LLM_BASE_URL)
Wechseln Sie auf dem Server, auf dem das Modell bereitgestellt ist, in das Modellbereitstellungsverzeichnis und führen Sie die folgenden Schritte aus:
- Zeigen Sie die Server-IP an:
hostname -I | awk '{print $1}'
- Zeigen Sie den Dienstport an (Standard:
8000):
grep VLLM_PORT .env
Wenn die Server-IP beispielsweise 192.168.1.100 und der Port 8000 ist, lautet die Modelldienstadresse http://192.168.1.100:8000/v1. Im folgenden Konfigurationsbeispiel entspricht LLM_BASE_URL dem Feld „Modelldienstadresse“ in der Admin-Konsole:
LLM_BASE_URL: "http://192.168.1.100:8000/v1"