Настройка FlightHub On-Premises
Добавление конфигурации
После развёртывания модели перейдите в раздел «Расширенные сервисы» → «Большая мультимодальная модель» в консоли администратора и заполните поля «Адрес сервиса модели», «Имя модели» и «Ключ API».
Инструкции по настройке
| Параметр настройки | Описание |
|---|---|
| Адрес сервиса модели | Используйте формат http://<IP>:<端口>/v1. Адрес должен заканчиваться на /v1. |
| Имя модели | Введите имя развёрнутой модели, например Qwen/Qwen3-VL-32B-Instruct. |
| Ключ API | Введите ключ API, используемый для аутентификации при доступе к сервису vLLM. |
Получение адреса сервиса модели (LLM_BASE_URL)
На сервере, где развёрнута модель, перейдите в каталог развёртывания модели и выполните следующие действия:
- Посмотрите IP-адрес сервера:
hostname -I | awk '{print $1}'
- Посмотрите порт сервиса (по умолчанию
8000):
grep VLLM_PORT .env
Например, если IP-адрес сервера — 192.168.1.100, а порт — 8000, адрес сервиса модели будет http://192.168.1.100:8000/v1. В приведённом ниже примере конфигурации LLM_BASE_URL соответствует полю «Адрес сервиса модели» в консоли администратора:
LLM_BASE_URL: "http://192.168.1.100:8000/v1"