Transformers documentation

OmniASR CTC

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2025年11月12日にHF papersで公開され、2026年11月16日にHugging Face Transformersに貢献されました。

OmniASR CTC

FlashAttention SDPA

概要

このモデルファミリーとチェックポイントの詳細については、OmniASRのページを参照してください。

使用方法

CTCバリアントは、句読点なしで小文字で転写し、言語のヒントを受け取りません。

単純な文字起こし

from datasets import Audio, load_dataset
from transformers import AutoModelForCTC, AutoProcessor

model_id = "hf-audio/omniasr-ctc-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCTC.from_pretrained(model_id, device_map="auto")

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))

inputs = processor(ds[0]["audio"]["array"], sampling_rate=processor.feature_extractor.sampling_rate)
inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs)
print(processor.decode(outputs, skip_special_tokens=True)[0])

バッチ推論

Batch inferenceは、オーディオのリストを渡すことで実行できます。プロセッサは、リストの中で最も長いオーディオに合わせてパディングを行います。

from datasets import Audio, load_dataset
from transformers import AutoModelForCTC, AutoProcessor

model_id = "hf-audio/omniasr-ctc-300m-v2"
NUM_SAMPLES = 5

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCTC.from_pretrained(model_id, device_map="auto")

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
speech_samples = [el["array"] for el in ds["audio"][:NUM_SAMPLES]]

inputs = processor(speech_samples, sampling_rate=processor.feature_extractor.sampling_rate)
inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs)
for i, text in enumerate(processor.decode(outputs, skip_special_tokens=True)):
    print(f"Audio {i + 1}: {text}")

トレーニング

モデルは、出力される損失関数を用いて学習できます。textをプロセッサに渡すことで、CTCのlabelsが準備され、パディング位置はマスクされます。なお、OmniASRは小文字で文字起こしを行うため、以下では(大文字の)LibriSpeechの文字起こし結果を小文字に変換しています。

from datasets import Audio, load_dataset
from transformers import AutoModelForCTC, AutoProcessor

model_id = "hf-audio/omniasr-ctc-300m-v2"
NUM_SAMPLES = 5

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCTC.from_pretrained(model_id, device_map="auto")
model.train()

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
speech_samples = [el["array"] for el in ds["audio"][:NUM_SAMPLES]]
text_samples = [text.lower() for text in ds["text"][:NUM_SAMPLES]]

# passing `text` to the processor will prepare inputs' `labels` key
inputs = processor(audio=speech_samples, text=text_samples, sampling_rate=processor.feature_extractor.sampling_rate)
inputs.to(model.device, dtype=model.dtype)

outputs = model(**inputs)
print("Loss:", outputs.loss.item())
outputs.loss.backward()

Torch compile

CTCバリアントは単一のフォワードパスを実行します。これはgenerateにCompileConfigを渡すことでコンパイルされます。すべての入力を同じ長さ(ここでは30秒)にパディングすることで、入力の形状が静的に保たれ、新しい入力が再コンパイルをトリガーしなくなります。

A100では、バッチサイズが4の場合、約1.3倍の高速化を確認しました(スクリプト)。

import torch
from datasets import Audio, load_dataset
from transformers import AutoModelForCTC, AutoProcessor, CompileConfig

model_id = "hf-audio/omniasr-ctc-300m-v2"
NUM_SAMPLES = 4
num_warmup = 3

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCTC.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
speech_samples = [el["array"] for el in ds["audio"][:NUM_SAMPLES]]

inputs = processor(
    speech_samples,
    sampling_rate=processor.feature_extractor.sampling_rate,
    padding="max_length",
    max_length=30 * processor.feature_extractor.sampling_rate,
).to(model.device, dtype=model.dtype)

compile_config = CompileConfig(fullgraph=True, mode="reduce-overhead")

# Warmup
for _ in range(num_warmup):
    _ = model.generate(**inputs, compile_config=compile_config)
torch.cuda.synchronize()

# Apply model
outputs = model.generate(**inputs, compile_config=compile_config)
print(processor.decode(outputs, skip_special_tokens=True)[0])

OmniASRCTCConfig

クラス transformers.OmniASRCTCConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 10288ctc_loss_reduction: str = 'mean'ctc_zero_infinity: bool = Falseinitializer_range: float = 0.02audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonebos_token_id: int | None = 0pad_token_id: int | None = 1eos_token_id: int | None = 2 )

パラメータ

  • vocab_size (int、任意、デフォルトは10288) — モデルの語彙サイズ。input_idsで表現できるトークンの種類数を定義します。
  • ctc_loss_reduction (str、省略可、デフォルトは"mean") — torch.nn.CTCLossの出力に適用する集約方法を指定します。OmniASRForCTCのインスタンスを学習する場合にのみ関連します。
  • ctc_zero_infinity (bool、任意、デフォルトはFalse) — torch.nn.CTCLossの無限損失および関連する勾配をゼロにするかどうか。無限損失は、主にインプットがターゲットにアラインされるほど短すぎる場合に発生します。OmniASRForCTCのインスタンスをトレーニングする場合にのみ関連します。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • audio_config (Union[dict, PreTrainedConfig], 省略可) — オーディオエンコーダーの設定オブジェクトまたは辞書です。デフォルトは OmniASRAudioConfig です。
  • bos_token_id (int、任意、デフォルトは 0) — 語彙におけるストリーム開始に使用されるトークン ID。
  • pad_token_id (int、任意、デフォルトは 1) — 語彙内でパディングに使用されるトークン ID。
  • eos_token_id (int、任意、デフォルトは 2) — 語彙内でストリーム終了に使用されるトークン ID。

これはOmniASRCTCModelの設定を保存するための設定クラスです。指定された引数に基づいてOmniasr Ctcモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、hf-audio/omniasr-ctc-300m-v2と類似した設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import OmniASRForCTC, OmniASRCTCConfig

>>> # Initializing an OmniASR-CTC configuration
>>> configuration = OmniASRCTCConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = OmniASRForCTC(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

OmniASRCTCProcessor

クラス transformers.OmniASRCTCProcessor

< >

( feature_extractortokenizer )

パラメータ

  • feature_extractor (OmniASRFeatureExtractor) — 特徴量抽出器は必須の入力です。
  • tokenizer (ParakeetTokenizer) — トークナイザーは必須の入力です。

OmniASRCTCProcessor を構築します。このクラスは、フィーチャーエクストラクターとトークナイザーを単一のプロセッサーにラップします。

OmniASRCTCProcessor は、OmniASRFeatureExtractor と ParakeetTokenizer のすべての機能を提供します。詳細については、~OmniASRFeatureExtractor および ~ParakeetTokenizer を参照してください。

OmniASRCTCModel

クラス transformers.OmniASRCTCModel

< >

( config: OmniASRCTCConfig )

パラメータ

  • config (OmniASRCTCConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

OmniASR CTCモデル、つまりCTCヘッドを含まない音声エンコーダーです。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor of shape (batch_size, sequence_length)) — Float values of input raw speech waveform. Values can be obtained by loading a .flac or .wav audio file into an array of type list[float], a numpy.ndarray or a torch.Tensor, e.g. via the torchcodec library (pip install torchcodec) or the soundfile library (pip install soundfile). To prepare the array into input_values, the AutoProcessor should be used for padding and conversion into a tensor of type torch.Tensor. See OmniASRCTCProcessor.__call__() for details.
  • padding_mask (torch.Tensor、形状 (batch_size, sequence_length)、任意) — input_valuesをパディングするために使用されるマスクです。

戻り値

BaseModelOutputWithPooling または tuple(torch.Tensor)

torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)または BaseModelOutputWithPooling。設定(OmniASRCTCConfig)と入力に応じて、さまざまな要素で構成されます。

OmniASRCTCModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • pooler_output (torch.Tensor、shape (batch_size, hidden_size)) — シーケンスの最初のトークン(分類トークン)の最終層の隠れ状態を、補助的な事前学習タスクに使用される層でさらに処理した後の出力。例えば、BERT系のモデルでは、線形層とtanh活性化関数を経て処理された分類トークンを返します。この線形層の重みは、事前学習中の次の文予測(分類)目的から学習されます。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoProcessor, OmniASRCTCModel
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("hf-audio/omniasr-ctc-300m-v2")
>>> model = OmniASRCTCModel.from_pretrained("hf-audio/omniasr-ctc-300m-v2")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...

OmniASRForCTC

クラス transformers.OmniASRForCTC

< >

( config: OmniASRCTCConfig )

パラメータ

  • config (OmniASRCTCConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

Connectionist Temporal Classification (CTC) ヘッドを備えた OmniASR エンコーダー。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutput or tuple(torch.Tensor)

パラメータ

  • input_values (torch.Tensor、shape (batch_size, sequence_length)) — 入力生の音声波形の浮動小数点数値。値は、.flac または .wav 形式のオーディオファイルを list[float]、numpy.ndarray、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ(pip install torchcodec)や soundfile ライブラリ(pip install soundfile)を通じて行います。 配列を input_values に整えるには、パディングと torch.Tensor 型への変換のために AutoProcessor を使用してください。詳細は processor_class.__call__ を参照してください。
  • padding_mask (torch.Tensor、shape (batch_size, 1, sequence_length)) — input_valuesをパディングするために使用されるパディングマスク。
  • labels (torch.Tensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは [0, ..., config.vocab_size] の範囲内であるか、-100 である必要があります(input_ids のドキュメント文字列を参照)。インデックスが -100 に設定されたトークンは無視(マスク)され、損失は [0, ..., config.vocab_size] の範囲内のラベルを持つトークンに対してのみ計算されます。

戻り値

CausalLMOutput または tuple(torch.Tensor)

None や入力に応じて、さまざまな要素で構成される CausalLMOutput または torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)。

OmniASRForCTCのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。

  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア(SoftMax 適用前の各語彙トークンのスコア)。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoProcessor, OmniASRForCTC
>>> from datasets import load_dataset, Audio

>>> model_id = "hf-audio/omniasr-ctc-300m-v2"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = OmniASRForCTC.from_pretrained(model_id)

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))

>>> inputs = processor(ds[0]["audio"]["array"], text=ds[0]["text"])
>>> outputs = model(**inputs)

>>> print(outputs.loss)
Update on GitHub