FlightHub On-Premises 구성

구성 추가

모델을 배포한 후 관리 콘솔에서 "확장 서비스" → "멀티모달 대규모 모델"로 이동하여 모델 서비스 주소, 모델 이름 및 API Key를 입력하십시오.

Multimodal model configuration

구성 안내

구성 항목설명
모델 서비스 주소http://<IP>:<端口>/v1 형식을 사용하십시오. 주소는 반드시 /v1로 끝나야 합니다.
모델 이름Qwen/Qwen3-VL-32B-Instruct와 같은 배포된 모델의 이름을 입력하십시오.
API KeyvLLM 서비스 접근 인증에 사용하는 API Key를 입력하십시오.

모델 서비스 주소 확인(LLM_BASE_URL)

모델이 배포된 서버에서 모델 배포 디렉터리로 이동하여 다음 작업을 수행하십시오.

  1. 서버 IP를 확인하십시오.
hostname -I | awk '{print $1}'
  1. 서비스 포트(기본값 8000)를 확인하십시오.
grep VLLM_PORT .env

예를 들어 서버 IP가 192.168.1.100이고 포트가 8000이면 모델 서비스 주소는 http://192.168.1.100:8000/v1입니다. 아래 구성 예시에서 LLM_BASE_URL은 관리 콘솔의 "모델 서비스 주소"에 해당합니다.

LLM_BASE_URL: "http://192.168.1.100:8000/v1"