Hugging Face's logo

Transformers documentation

PP-DocLayoutV4

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2026年10月8日にHugging Face Transformersに貢献されました。

PP-DocLayoutV4

概要

PP-DocLayoutV4 は、エンドツーエンドのドキュメントレイアウト解析モデルです。1回のフォワードパスで、各レイアウト要素の種類、それを囲む四角形、および読み取り順序のデコードに用いる logits を予測します。

モデルアーキテクチャ

PP-DocLayoutV4 は、前バージョンの RT-DETR の骨格 — HGNetV2 バックボーン、AIFI ハイブリッドエンコーダー、および可変デコーダー — を維持したまま、3 つの変更を加えています:

  • マスクではなく四角形。 PPDocLayoutV3ForObjectDetection はクエリごとにセグメンテーションマスクを予測し、それにポリゴンをフィッティングしていました。PP-DocLayoutV4ではマスクブランチを完全に廃止し、4点の四角形を直接回帰します。これは [center_x, center_y, dx1, dy1, ..., dx4, dy4] としてシグモイド空間でエンコードされます。これにより、歪みや透視変形のある文書もマスクヘッドのコストなしで処理でき、stride 4のバックボーン特徴も不要になります。
  • 層ごとに独立したヘッド。 エンコーダーと単一のヘッドを共有するのではなく、各デコーダー層が独自のボックスヘッドと分類ヘッドを保有します。
  • 読み取り順序ヘッド2つと融合ステップ。 V3の相対順序ヘッド（非対称:「iはjより先に読み取られるか?」）に加えて、後続ヘッド（ROOR:「jはiの直後に続くか?」）があります。PPDocLayoutV4S2RFusionは、後続行列の減衰された推移閉包を相対順序のlogitsに反映させます。

読み取り順序はモデル内でデコードされません。PPDocLayoutV4ForObjectDetection は生の relative_order_logits と successor_order_logits を返し、post_process_object_detection() が後継行列を有向非巡回グラフ (DAG) に閾値処理してサイクルを解消し、各連結成分をトポロジカルにソートした上で、相対順序の投票に基づいて成分を並べ替えることで、これらをランクに変換します。

使用方法

post_process_object_detection() が返す結果は、すでに読み取り順にソートされています。各結果には polygon_points が含まれており、これは左上、右上、右下、左下の順に並べられた回帰された角の (num_boxes, 4, 2) テンソルです。さらに、各四角形を囲む軸平行矩形である boxes と、各ボックスの 0 始まりの順位である order_seq も含まれます。以下の AutoModel の例では order_seq を直接出力しますが、その他の例ではソート済みリスト内の 1 始まりの位置を出力します。これは、1 つのクエリが複数のラベルで保持される場合を除き、order_seq + 1 になります。

パイプライン
AutoModel

Pipeline は、返されるリストの順序で読み取り順序を保持しますが、各検出結果をスコア、ラベル、整数のバウンディングボックスにフラット化します。四角形とorder_seqを取得するには、以下のAutoModelパスを使用してください。

from transformers import pipeline
from transformers.image_utils import load_image


image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg")
layout_detector = pipeline("object-detection", model="PaddlePaddle/PP-DocLayoutV4_safetensors")
results = layout_detector(image)
for idx, res in enumerate(results):
    print(f"Order {idx + 1}: {res}")

バッチ推論

画像のリストと、各画像ごとの1つのターゲットサイズを渡します。読み取り順序は画像ごとにデコードされます。

from transformers import AutoImageProcessor, AutoModelForObjectDetection
from transformers.image_utils import load_image


model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors"
model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto")
image_processor = AutoImageProcessor.from_pretrained(model_path)

image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg")
inputs = image_processor(images=[image, image], return_tensors="pt").to(device=model.device, dtype=model.dtype)

outputs = model(**inputs)
results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]] * 2)
for result in results:
    print("result:")
    for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
        box = [round(i, 2) for i in box.tolist()]
        print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}, score: {score.item():.2f}, box: {box}")

PPDocLayoutV4ForObjectDetection

class transformers.PPDocLayoutV4ForObjectDetection

< >

( config: PPDocLayoutV4Config )

パラメータ

  • config (PPDocLayoutV4Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

PP-DocLayoutV4 モデル（バックボーンとエンコーダー・デコーダーで構成）は、文書レイアウト解析などのタスクにおいて、四角形、クラスロジット、および読み取り順序のロジットを出力します。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV4ForObjectDetectionOutput or tuple(torch.Tensor)

パラメータ

  • pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)) — 入力画像に対応するテンソルです。ピクセル値は image_processor_class を使用して取得できます。詳細は image_processor_class.__call__ を参照してください（processor_class は画像の処理に image_processor_class を使用します）。
  • pixel_mask (torch.LongTensor 形状 (batch_size, height, width), 省略可) — パディングピクセル値に対するアテンションの適用を回避するためのマスク。マスク値は [0, 1]:
    • 実在するピクセル(つまり、マスクされていない)に対して1
    • padding(つまり、マスクされている)ピクセルは0です。

    アテンションマスクとは?

  • encoder_outputs (torch.Tensor, 任意) — last_hidden_state、任意: hidden_states、任意: attentions のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意）であり、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
  • labels (list[Dict]、長さ (batch_size,)、任意) — サポートされていません: PP-DocLayoutV4 は Transformers では推論のみに対応しています。

戻り値

PPDocLayoutV4ForObjectDetectionOutput または tuple(torch.Tensor)

PPDocLayoutV4ForObjectDetectionOutput、またはtorch.Tensorのタプル（return_dict=Falseが渡された場合、またはconfig.return_dict=Falseの場合）。設定（None）や入力に応じて、さまざまな要素で構成されます。

PPDocLayoutV4ForObjectDetectionのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • logits (torch.Tensor、形状 (batch_size, num_queries, config.num_labels)) — すべてのクエリに対する分類 logits（no-object を除く）。

  • pred_boxes (torch.Tensor、shape (batch_size, num_queries, config.num_coords)) — 全クエリに対する正規化された四角形。コーナーのオフセットが+0.5だけシフトされた状態で、[center_x, center_y, dx1, dy1, ..., dx4, dy4]としてエンコードされています。正規化されていないコーナーとその外接ボックスを取得するには、post_process_object_detection()を使用してください。

  • last_hidden_state (torch.Tensor、形状 (batch_size, num_queries, hidden_size)) — モデルのデコーダーの最終層の出力における、隠れ状態のシーケンスです。

  • intermediate_hidden_states (torch.Tensor、形状 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 中間隠れ状態のスタック（デコーダーの各層の出力）。

  • intermediate_reference_points (torch.Tensor、形状 (batch_size, config.decoder_layers, num_queries, config.num_coords)) — 中間参照点のスタック（デコーダーの各層で精細化されたクアッド）。

  • decoder_hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。

  • encoder_hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

  • init_reference_points (torch.Tensor、形状 (batch_size, num_queries, config.num_coords)) — Transformer デコーダーに渡される初期の四角形参照点。

  • enc_topk_logits (torch.Tensor、形状 (batch_size, num_queries, config.num_labels)) — デコーダーのクエリとして選択されたエンコーダーの提案のクラスロジットです。

  • enc_topk_bboxes (torch.Tensor、形状 (batch_size, num_queries, config.num_coords)) — デコーダーのクエリとして選択されたエンコーダーの提案の四角形です。

  • enc_outputs_class (torch.Tensor、形状 (batch_size, sequence_length, config.num_labels)) — エンコーダーの各提案のクラス logits。

  • enc_outputs_coord_logits (torch.Tensor、形状 (batch_size, sequence_length, config.num_coords)) — エンコーダーの各提案のクアドロジッツ。

  • denoising_meta_values (dict、任意) — デノイジング関連の値を格納する追加の辞書。

  • relative_order_logits (torch.Tensor、shape (batch_size, config.num_queries, config.num_queries)) — 任意の S2R 融合後の、ペアワイズな相対的な読み取り順序の logits。relative_order_logits[i, j] が正の値である場合、クエリ i がクエリ j より先に読み取られることを意味します。

  • successor_order_logits (torch.Tensor、形状 (batch_size, config.num_queries, config.num_queries)) — 対直接後継（ROOR）のロジツ。正の successor_order_logits[i, j] は、クエリ j がクエリ i に直接続くことを意味します。

例:

>>> from transformers import AutoImageProcessor, AutoModelForObjectDetection
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors"
>>> image_processor = AutoImageProcessor.from_pretrained(model_path)
>>> model = AutoModelForObjectDetection.from_pretrained(model_path)

>>> inputs = image_processor(images=[image], return_tensors="pt")
>>> outputs = model(**inputs)

>>> # results are already sorted by reading order
>>> results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]])
>>> for result in results:
...     for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}: {score.item():.2f} {box}")
Order 1: text: 0.99 [336.07, 182.04, 894.17, 652.62]
Order 2: paragraph_title: 0.98 [336.45, 681.88, 868.78, 796.91]
Order 3: text: 0.99 [334.01, 840.84, 889.11, 1452.29]
Order 4: text: 0.99 [920.65, 183.62, 1476.75, 462.75]
Order 5: text: 0.99 [919.55, 482.55, 1479.85, 763.41]
Order 6: text: 0.98 [919.34, 844.48, 1481.28, 1219.44]
Order 7: text: 0.98 [920.84, 1238.61, 1467.66, 1374.54]
Order 8: text: 0.90 [334.24, 1612.85, 1478.79, 1730.92]
Order 9: text: 0.95 [334.25, 1755.98, 1467.34, 1845.6]
Order 10: text: 0.65 [337.14, 1909.47, 659.78, 1938.2]
Order 11: footnote: 0.78 [338.73, 2114.87, 1448.16, 2172.06]
Order 12: number: 0.98 [106.08, 2257.42, 134.76, 2281.3]
Order 13: footer: 0.93 [339.27, 2255.7, 984.16, 2282.81]

PPDocLayoutV4Model

class transformers.PPDocLayoutV4Model

< >

( config: PPDocLayoutV4Config )

パラメータ

  • config (PPDocLayoutV4Config) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

PP-DocLayoutV4 モデル（バックボーンとエンコーダー・デコーダーで構成）は、上部にヘッドを備えずに生の隠れ状態を出力します。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV4ModelOutput or tuple(torch.Tensor)

パラメータ

  • pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)) — 入力画像に対応するテンソルです。ピクセル値は image_processor_class を使用して取得できます。詳細は image_processor_class.__call__ を参照してください（processor_class は画像の処理に image_processor_class を使用します）。
  • pixel_mask (torch.LongTensor 形状 (batch_size, height, width), 省略可) — パディングピクセル値に対するアテンションの適用を回避するためのマスク。マスク値は [0, 1]:
    • 実在するピクセル(つまり、マスクされていない)に対して1
    • padding(つまり、マスクされている)ピクセルは0です。

    アテンションマスクとは?

  • encoder_outputs (torch.Tensor, 任意) — last_hidden_state、任意: hidden_states、任意: attentions のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意）であり、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
  • labels (list[Dict]、長さ (batch_size,)、任意) — サポートされていません: PP-DocLayoutV4 は Transformers では推論のみに対応しています。

戻り値

PPDocLayoutV4ModelOutputまたはtuple(torch.Tensor)

PPDocLayoutV4ModelOutput、またはtorch.Tensorのタプル（return_dict=Falseが渡された場合、またはconfig.return_dict=Falseの場合）。設定（None）や入力に応じて、さまざまな要素で構成されます。

PPDocLayoutV4Modelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, num_queries, hidden_size)) — モデルのデコーダーの最終層の出力における、隠れ状態のシーケンスです。

  • intermediate_hidden_states (torch.Tensor、形状 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 中間隠れ状態のスタック（デコーダーの各層の出力）。

  • intermediate_reference_points (torch.Tensor、形状 (batch_size, config.decoder_layers, num_queries, config.num_coords)) — 中間参照点のスタック（デコーダーの各層で精細化されたクアッド）。

  • decoder_hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における隠れ状態のシーケンス。

  • encoder_hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

  • init_reference_points (torch.Tensor、形状 (batch_size, num_queries, config.num_coords)) — Transformer デコーダーに渡される初期の四角形参照点。

  • enc_topk_logits (torch.Tensor、形状 (batch_size, num_queries, config.num_labels)) — デコーダーのクエリとして選択されたエンコーダーの提案のクラスロジットです。

  • enc_topk_bboxes (torch.Tensor、形状 (batch_size, num_queries, config.num_coords)) — デコーダーのクエリとして選択されたエンコーダーの提案の四角形です。

  • enc_outputs_class (torch.Tensor、形状 (batch_size, sequence_length, config.num_labels)) — エンコーダーの各提案のクラス logits。

  • enc_outputs_coord_logits (torch.Tensor、形状 (batch_size, sequence_length, config.num_coords)) — エンコーダーの各提案のクアドロジッツ。

  • denoising_meta_values (dict、任意) — デノイジング関連の値を格納する追加の辞書。

  • logits (torch.Tensor、形状 (batch_size, num_queries, config.num_labels)) — 最後のデコーダー層の分類 logits。

  • relative_order_logits (torch.Tensor、形状 (batch_size, config.num_queries, config.num_queries)) — 任意の S2R 融合後の、ペアワイズな相対的な読み取り順序のロジツ。

  • successor_order_logits (torch.Tensor、形状 (batch_size, config.num_queries, config.num_queries)) — 対向直接後継 (ROOR) のロジット。

PPDocLayoutV4Config

クラス transformers.PPDocLayoutV4Config

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Trueinitializer_range: float = 0.01initializer_bias_prior_prob: float | None = Nonelayer_norm_eps: float = 1e-05batch_norm_eps: float = 1e-05tie_word_embeddings: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefreeze_backbone_batch_norms: bool = Trueencoder_hidden_dim: int = 256encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048)feat_strides: list[int] | tuple[int, ...] = (8, 16, 32)encoder_layers: int = 1encoder_ffn_dim: int = 1024encoder_attention_heads: int = 8dropout: float | int = 0.0activation_dropout: float | int = 0.0encode_proj_layers: list[int] | tuple[int, ...] = (2,)positional_encoding_temperature: int = 10000encoder_activation_function: str = 'gelu'activation_function: str = 'silu'eval_size: list[int] | tuple[int, int] | None = Nonenormalize_before: bool = Falsehidden_expansion: float = 1.0num_queries: int = 300decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256)decoder_ffn_dim: int = 1024num_feature_levels: int = 3decoder_n_points: int = 4decoder_layers: int = 6decoder_attention_heads: int = 8decoder_activation_function: str = 'relu'attention_dropout: float | int = 0.0num_denoising: int = 100anchor_image_size: list[int] | tuple[int, int] | None = Nonedisable_custom_kernels: bool = Trueglobal_pointer_head_size: int = 64gp_dropout_value: float | int = 0.1hidden_size: int = 256num_coords: int = 10s2r_steps: int = 3s2r_damping: float = 0.5s2r_closure_weight_init: float = 0.0 )

パラメータ

  • is_encoder_decoder (bool、任意、デフォルトはTrue) — モデルがエンコーダー/デコーダーとして使用されるかどうかを示します。
  • initializer_range (float、任意、デフォルトは 0.01) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • initializer_bias_prior_prob (float、省略可) — enc_score_head および class_embed のバイアスを初期化するために、バイアス初期化器が使用する事前確率です。 None の場合、デフォルト値は 1 / (num_labels + 1) です。
  • layer_norm_eps (float、任意、デフォルトは 1e-05) — レイヤーノーマル層で使用する epsilon です。
  • batch_norm_eps (float、任意、デフォルトは 1e-05) — バッチ正規化レイヤーで使用する epsilon です。
  • tie_word_embeddings (bool、任意、デフォルトは True) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], 任意) — バックボーンモデルの設定です。
  • freeze_backbone_batch_norms (bool、任意、デフォルトはTrue) — バックボーン内のバッチ正規化レイヤーをフリーズするかどうかを指定します。
  • encoder_hidden_dim (int、任意、デフォルトは256) — 隠れ表現の次元数。
  • encoder_in_channels (list、任意、デフォルトは [512, 1024, 2048]) — エンコーダーへのマルチレベル特徴量入力。
  • feat_strides (list[int]、任意、デフォルトは [8, 16, 32]) — 各特徴量マップで使用するストライドです。
  • encoder_layers (int、任意、デフォルトは 1) — Transformer エンコーダーの隠れ層の数です。設定されていない場合は、num_layers と同じ値が使用されます。
  • encoder_ffn_dim (int、任意、デフォルトは 1024) — エンコーダー内の「中間」層（feed-forward 層と呼ばれることが多い）の次元数。
  • encoder_attention_heads (int、任意、デフォルトは 8) — Transformer エンコーダーの各アテンション層におけるアテンションヘッドの数。
  • dropout (Union[float, int]、省略可、デフォルト値は0.0) — すべての dropout レイヤーの比率です。
  • activation_dropout (Union[float, int]、任意、デフォルトは 0.0) — 全結合層内の活性化に対する dropout 率です。
  • encode_proj_layers (list[int]、任意、デフォルトは [2]) — エンコーダーで使用する投影レイヤーのインデックスです。
  • positional_encoding_temperature (int、任意、デフォルトは 10000) — 位置エンコーディングの作成に使用される温度パラメータです。
  • encoder_activation_function (str、省略可能、デフォルトは"gelu") — エンコーダーとプーラーで使用する非線形活性化関数（関数または文字列）です。文字列の場合、"gelu"、"relu"、"silu"、"gelu_new"がサポートされています。
  • activation_function (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
  • eval_size (tuple[int, int], 省略可) — ストライドを考慮した上で、位置埋め込みの有効な高さおよび幅を計算するために使用される高さおよび幅です。動的に位置埋め込みを計算する参照実装を再現するには、None のままにしてください。
  • normalize_before (bool、任意、デフォルトは False) — Transformerエンコーダー層において、self-attentionモジュールとfeed-forwardモジュールの前にレイヤーノーマルを適用するかどうかを決定します。
  • hidden_expansion (float、任意、デフォルト値は 1.0) — RepVGGBlock と CSPRepLayer の次元サイズを拡大するための拡張比率です。
  • num_queries (int、任意、デフォルトは 300) — オブジェクトクエリの数。
  • decoder_in_channels (list、任意、デフォルトは [256, 256, 256]) — デコーダーのマルチレベル特徴量次元
  • decoder_ffn_dim (int、任意、デフォルト値は 1024)— デコーダー内の「中間」(feed-forward と呼ばれることが多い)層の次元数。
  • num_feature_levels (int, 省略可、デフォルトは 3) — 入力特徴量のレベル数です。
  • decoder_n_points (int、省略可能、デフォルトは 4) — デコーダーの各アテンションヘッドにおいて、各特徴量レベルでサンプリングされるキーの数を指定します。
  • decoder_layers (int、任意、デフォルトは 6) — Transformer デコーダーの隠れ層の数です。設定されていない場合、num_layers と同じ値が使用されます。
  • decoder_attention_heads (int、任意、デフォルトは8) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
  • decoder_activation_function (str、任意、デフォルトは "relu") — デコーダーで使用する非線形活性化関数（関数または文字列）です。文字列の場合、"gelu"、"relu"、"silu"、"gelu_new" がサポートされています。
  • attention_dropout (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
  • num_denoising (int、任意、デフォルト値は 100)— 対照的デノイジングに使用するデノイジングタスクまたはクエリの総数。
  • anchor_image_size (tuple[int, int], 任意) — 評価時にバウンディングボックスアンカーを生成するために使用される入力画像の高さと幅。None の場合、アンカーの自動生成が適用されます。
  • disable_custom_kernels (bool、任意、デフォルトは True) — カスタムカーネルを無効にするかどうかを指定します。
  • global_pointer_head_size (int、任意、デフォルトは 64) — グローバルポインタヘッドのサイズです。
  • gp_dropout_value (float、任意、デフォルト値は 0.1) — グローバルポインタヘッドにおけるドロップアウト確率です。
  • hidden_size (int、任意、デフォルト値は 256) — ハイブリッドエンコーダーを除くデコーダー層の次元です。このモデルの系譜である RT-DETR 系で使われる名称である d_model としても読み取れます。
  • num_coords (int、任意、デフォルト値は 10)— bbox ヘッドが予測するボックスパラメータ化のサイズです。PP-DocLayoutV4 は、[center_x, center_y, dx1, dy1, dx2, dy2, dx3, dy3, dx4, dy4] としてエンコードされた 4 点の四角形を sigmoid 空間で回帰します。ここで、コーナーのオフセットは +0.5 だけシフトされています。サポートされるのは 10 のみです。
  • s2r_steps (int、任意、デフォルトは 3)— 後継行列の推移閉包を近似するために使用される伝播ステップ数。
  • s2r_damping (float、任意、デフォルト値は 0.5) — 推移閉包の各追加伝播ステップに適用される減衰係数。
  • s2r_closure_weight_init (float、任意、デフォルト値は 0.0) — クロージャ項を重み付けする学習可能なゲートの初期値です。デフォルトでは 0.0 が設定されており、未訓練の融合モジュールは、相対順序ロジットのみを使用する場合と数値的に同一になります。

これは PPDocLayoutV4Model の設定を保存するための設定クラスです。指定された引数に基づいて Pp Doclayout V4 モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、PaddlePaddle/PP-DocLayoutV4_safetensors と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import PPDocLayoutV4Config, PPDocLayoutV4ForObjectDetection

>>> # Initializing a PP-DocLayoutV4 configuration
>>> configuration = PPDocLayoutV4Config()

>>> # Initializing a model (with random weights) from the configuration
>>> model = PPDocLayoutV4ForObjectDetection(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PPDocLayoutV4ImageProcessor

class transformers.PPDocLayoutV4ImageProcessor

< >

( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )

パラメータ

  • do_convert_rgb (bool、kwargs、任意) — 画像を RGB に変換するかどうかを指定します。
  • do_resize (bool、kwargs、任意、デフォルトはTrue) — 画像をリサイズするかどうか。
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]、kwargs、デフォルトは {'height' -- 800, 'width': 800}): モデルへの最大入力サイズを指定します。
  • default_to_square (bool、kwargs、任意、デフォルトは True) — size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうかを指定します。
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs、デフォルトは 3) — 画像のリサイズ時に使用するリサンプリングフィルタです。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ、効果が現れます。
  • do_rescale (bool、kwargs、任意、デフォルトはTrue) — 画像をリスケールするかどうかを指定します。
  • rescale_factor (float、kwargs、任意、デフォルト値は 0.00392156862745098) — do_rescale が True に設定されている場合、画像をリスケールするための係数です。
  • do_normalize (bool、kwargs、optional、デフォルトはTrue) — 画像を正規化するかどうかを指定します。
  • image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional、デフォルトは [0, 0, 0]) — 正規化に使用する画像の平均値。do_normalize が True に設定されている場合のみ有効です。
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, デフォルトは [1, 1, 1]) — 正規化に使用する画像の標準偏差。do_normalize が True に設定されている場合のみ有効です。
  • do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
  • do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
  • data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
    • "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
    • "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
    • "none" または ChannelDimension.NONE: (height, width) 形式の画像。
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
  • disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
  • image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 'pt'に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
  • disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
  • image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 'pt'に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
  • disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
  • image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。 'pt'に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
  • disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
  • image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。
  • Returns が 'pt' に設定されている場合はスタックされたテンソルを、それ以外の場合はテンソルのリストを返します。 —

PPDocLayoutV4ImageProcessor の画像プロセッサを構築します。

disable_grouping (bool, kwargs, optional): サイズによる画像のグループ化を無効にし、バッチ処理ではなく個別に処理するかどうかを指定します。 None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている実証的な観察に基づいています。 image_seq_length (int, kwargs, optional): 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature

パラメータ

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 前処理対象の画像です。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチを想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、do_rescale=False を設定してください。
  • image_like_kwargs (dict[str, Any], 省略可) — 追加の画像類似入力を前処理対象に含めるための開発者向けフラグです。引数として入力値を渡す方法が機能しない場合のみ使用してください。例えば、preprocess(images, masks=masks) が推奨される方法ですが、一部のモデルでは引数の優先順位の問題が発生します。そのような場合は、代わりに preprocess(images, image_like_inputs={"masks": masks}) を使用できます。
  • do_convert_rgb (bool、kwargs、任意) — 画像を RGB に変換するかどうかを指定します。
  • do_resize (bool、kwargs、optional) — 画像をリサイズするかどうか。
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — モデルへの最大入力次元を記述します。
  • default_to_square (bool、kwargs、任意) — サイズが整数の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — 画像のリサイズ時に使用するリサンプリングフィルタ。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ有効です。
  • do_rescale (bool、kwargs、optional) — 画像をリスケールするかどうかを指定します。
  • rescale_factor (float、kwargs、任意) — do_rescale が True に設定されている場合、画像をリスケールするための係数。
  • do_normalize (bool, kwargs, optional) — 画像を正規化するかどうかを指定します。
  • image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional) — 正規化に使用する画像の平均値。do_normalize が True に設定されている場合のみ有効です。
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — 正規化に使用する画像の標準偏差。do_normalize が True に設定されている場合のみ有効です。
  • do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
  • do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
  • data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
    • "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
    • "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
    • "none" または ChannelDimension.NONE: (height, width) 形式の画像。
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
  • disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
  • image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。 後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。

戻り値

~image_processing_base.BatchFeature

  • data (dict) — call メソッド（‘pixel_values’ など）によって返される、リスト/配列/テンソルの辞書。
  • tensor_type (Union[None, str, TensorType]、省略可) — 初期化時に PyTorch/Numpy の Tensor 内の整数リストを変換するために、ここで tensor_type を指定できます。

画像または画像のバッチを前処理します。

post_process_object_detection

< >

( outputsthreshold: float = 0.5target_sizes = None ) → list[Dict]

パラメータ

  • outputs (PPDocLayoutV4ForObjectDetectionOutput) — モデルの生出力です。
  • threshold (float、任意、デフォルト値は 0.5)— オブジェクト検出の予測を保持するためのスコアしきい値。
  • target_sizes (torch.Tensor または list[tuple[int, int]]) — バッチ内の各画像のターゲットサイズを ((height, width)) のタプルのリスト、または形状 (batch_size, 2) のテンソルとして指定します。

戻り値

list[Dict]

scores、labels、boxes、polygon_points、order_seq をそれぞれ含む辞書のリストです。画像ごとに1つの辞書が含まれます。予測結果は読み順でソートされるため、order_seq は非減少となります（複数のラベルで選択されたクエリは単一のランクを保持します）。

PPDocLayoutV4ForObjectDetectionの生出力を、(top_left_x, top_left_y, bottom_right_x, bottom_right_y)形式の囲みボックスと読み取り順序のランクを含む最終的な四角形に変換します。PyTorchのみサポートしています。

Update on GitHub

←PP-DocLayoutV3 PP-FormulaNet→