Transformers documentation

Qwen2.5-VL

Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2025年2月19日にHF papersで公開され、2025年1月23日にHugging Face Transformersに貢献されました。

Qwen2.5-VL

Qwen2.5-VL は、3B、7B、72Bのパラメータサイズで提供されるマルチモーダルなビジョン・言語モデルであり、4.1Tトークンで事前学習されています。このモデルでは、ViTエンコーダにウィンドウアテンションを導入して学習と推論を高速化し、異なるサンプリングレートにおける動画理解を向上させるために空間・時間次元で動的なFPSサンプリングを行い、さらに時間的なダイナミクスをより適切に捉えて学習するためにMRoPE（マルチレゾリューション・ロータリー位置エンコーディング）メカニズムをアップグレードしています。

すべてのオリジナルのQwen2.5-VLチェックポイントは、Qwen2.5-VLコレクション内で確認できます。

右側のサイドバーにあるQwen2.5-VLモデルをクリックすると、Qwen2.5-VLをさまざまなビジョンおよび言語タスクに適用する例をさらに確認できます。

use_kernels=True を from_pretrained() に設定すると、対応するレイヤーが Hub からの最適化されたカーネルに置き換えられます。詳細はカーネルの読み込みを参照してください。

以下の例では、PipelineまたはAutoModelクラスを使用して、画像に基づいてテキストを生成する方法を示しています。

パイプライン

AutoModel

Quantization は、重みを低精度で表現することで、大規模モデルのメモリ負荷を軽減します。利用可能な Quantization バックエンドの詳細については、Quantization の概要を参照してください。

以下の例では、torchaoを使用して、重みを int4 にのみ量子化します。

from transformers import Qwen2_5_VLForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    quantization_config=quantization_config
)

注記

"type": "video" を設定して、Qwen2.5-VL を動画入力に使用します。以下に示すように設定してください。

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Qwen2.5-VL を使用して、画像、動画、テキストなど複数の種類の入力を混合したバッチを処理します。複数の画像や動画を扱う場合は、以下に示すようにラベルを追加することで、参照がより明確になります。

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"}, 
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"}, 
            {"type": "image"}, 
            {"type": "image"}, 
            {"type": "video"}, 
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

AutoProcessorのmin_pixelsおよびmax_pixelsパラメータを使用して、解像度を設定します。

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

解像度を高くすると計算量が増える一方、解像度を下げるとメモリを節約できます。

min_pixels = 256*28*28
max_pixels = 1024*28*28 
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Transformers

Qwen2.5-VL

注記

Qwen2_5_VLConfig

クラス transformers.Qwen2_5_VLConfig

Qwen2_5_VLVisionConfig

class transformers.Qwen2_5_VLVisionConfig

Qwen2_5_VLTextConfig

class transformers.Qwen2_5_VLTextConfig

Qwen2_5_VLProcessor

class transformers.Qwen2_5_VLProcessor

__call__

Qwen2_5_VLTextModel

class transformers.Qwen2_5_VLTextModel

forward

Qwen2_5_VisionTransformerPretrainedModel

class transformers.Qwen2_5_VisionTransformerPretrainedModel

forward

Qwen2_5_VLModel

class transformers.Qwen2_5_VLModel

forward

get_video_features

get_image_features

Qwen2_5_VLForConditionalGeneration

クラス transformers.Qwen2_5_VLForConditionalGeneration

forward

get_video_features

get_image_features

call