FlightHub On-Premisesの設定

設定の追加

モデルのデプロイ後、管理コンソールの「拡張サービス」→「マルチモーダル大規模モデル」に移動し、モデルサービスアドレス、モデル名、APIキーを入力します。

Multimodal model configuration

設定説明

設定項目説明
モデルサービスアドレスhttp://<IP>:<端口>/v1形式を使用します。アドレスは/v1で終わる必要があります。
モデル名Qwen/Qwen3-VL-32B-Instructなど、デプロイしたモデルの名前を入力します。
APIキーvLLMサービスへのアクセス認証に使用するAPIキーを入力します。

モデルサービスアドレス（LLM_BASE_URL）の取得方法

モデルがデプロイされているサーバー上で、モデルのデプロイディレクトリに移動し、以下の操作を行います。

  1. サーバーIPを確認します。
hostname -I | awk '{print $1}'
  1. サービスポート（デフォルト8000）を確認します。
grep VLLM_PORT .env

例えば、サーバーIPが192.168.1.100でポートが8000の場合、モデルサービスアドレスはhttp://192.168.1.100:8000/v1です。以下の設定例では、LLM_BASE_URLが管理コンソールの「モデルサービスアドレス」に対応します。

LLM_BASE_URL: "http://192.168.1.100:8000/v1"