カスタム設定

モデルがデプロイされているサーバー上で、モデルのデプロイディレクトリにある.envファイルを編集し、以下のサービス設定を調整します。

# Docker イメージ
VLLM_IMAGE=qwenllm/qwenvl:qwen3vl-cu128

# モデル設定
MODEL_NAME=Qwen/Qwen3-VL-32B-Instruct

# サービスポート
VLLM_PORT=8000

# GPU 設定
GPU_MEMORY_UTILIZATION=0.9    # VRAM 使用率 (0.0-1.0)
TENSOR_PARALLEL_SIZE=1         # 使用する GPU 数

# パフォーマンス設定
MAX_MODEL_LEN=32768           # 最大コンテキスト長
MAX_NUM_SEQS=256              # 最大同時リクエスト数