Transformers documentation

MOSS-Transcribe-Diarize

Transformers

Başlayın

Transformers Kurulum Hızlı Başlangıç

Taban sınıfları

Modeller

Önişleyiciler

Çıkarım

Pipeline API

Generate API

Optimizasyon

Modellerle sohbet edin

Sunum

Eğitim

Başlayın

Özelleştirme

Parametre verimli ince ayar

Performans

Dağıtık eğitim

Donanım

Kantizasyon

Ekosistem entegrasyonları

Kaynaklar

API

Ana sınıflar

Modeller

Metin modelleri

Görüş modelleri

Ses modelleri

Video modelleri

Çok modlu modeller

Pekiştirmeli öğrenme modelleri

Zaman serisi modelleri

Dahili yardımcılar

Referans

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2026-10-14 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

MOSS-Transcribe-Diarize

Genel Bakış

MOSS-Transcribe-Diarize 0.9B, uzun süreli çok konuşmacılı transkripsiyon, konuşmacı ayrıştırma ve zaman damgaları için uçtan uca ses anlama modelidir. Whisper tarzı bir kodlayıcı, 4× çerçeve birleştirme adımı, çok modlu bir projektör ve bir Qwen3 dil modelini bir araya getirir.

Model kontrol noktası şu adreste kullanılabilir: itazap/MOSS-Transcribe-Diarize-HF

Öne çıkan yetenekler şunlardır:

Tek geçişte ortak transkripsiyon ve konuşmacı ayrımı, segmentler [start][S01]text[end] biçiminde formatlanır.
Uzun formatlı ses işlemcide, hatta daha önceki aşamada Whisper-pencere parçalama ile; model parçaları örnek başına yeniden birleştirir.
apply_transcription_request veya sohbet şablonu aracılığıyla İstemlenebilir transkripsiyon.
50'den fazla dilde çok dilli destek.

Bu model, Hugging Face ekibinden Ita Zaporozhets tarafından katkıda bulunmuştur. Daha fazla ayrıntı için model kartına ve OpenMOSS deposuna bakın.

Kullanım

Aşağıdaki örneklerin çoğu, sohbet şablonunu sizin için oluşturan apply_transcription_request yardımcı işlevini kullanır. Eşdeğer apply_chat_template çağrısı için sohbet şablonuyla gelişmiş kullanım bölümüne bakın.

Temel transkripsiyon ve konuşmacı ayrıştırma

Her konuşmacı turu, [start][S0N]text[end] segmenti olarak çözümlenir. processor.decode, ham çözümlenmiş dizeyi, segmentleri sözlük listesi olarak (return_format="parsed") veya yalnızca birleştirilmiş transkripsiyonu (return_format="transcription_only") döndürebilir.

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/podcast_sample.wav"
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
generated_ids = outputs[:, inputs.input_ids.shape[1] :]

decoded = processor.decode(generated_ids, skip_special_tokens=True)
print("RAW OUTPUT:", decoded)

parsed = processor.decode(generated_ids, return_format="parsed")[0]
print("\nPARSED (list of dicts):")
for segment in parsed:
    print(segment)

transcription = processor.decode(generated_ids, return_format="transcription_only")
print("\nTRANSCRIPTION ONLY:", transcription[0])

"""
RAW OUTPUT: ["[0.48][S01] Hey everyone, welcome back to the show.[2.43][2.46][S01] Today, we're talking about the best way to learn a new skill.[5.22][5.43][S01] I'm here with Jordan to dig into it.[7.14][8.40][S02] Thanks for having me.[9.42][9.63][S02] My take is that consistency beats intensity every single time.[12.87][13.14][S01] That makes sense.[13.92][13.92][S01] Even 20 minutes a day adds up over a few months.[16.17][16.32][S02] Exactly, and writing down small wins keeps you motivated along the way.[19.62]"]

PARSED (list of dicts):
{'Start': 0.48, 'End': 2.43, 'Speaker': 1, 'Content': 'Hey everyone, welcome back to the show.'}
{'Start': 2.46, 'End': 5.22, 'Speaker': 1, 'Content': "Today, we're talking about the best way to learn a new skill."}
{'Start': 5.43, 'End': 7.14, 'Speaker': 1, 'Content': "I'm here with Jordan to dig into it."}
{'Start': 8.4, 'End': 9.42, 'Speaker': 2, 'Content': 'Thanks for having me.'}
{'Start': 9.63, 'End': 12.87, 'Speaker': 2, 'Content': 'My take is that consistency beats intensity every single time.'}
{'Start': 13.14, 'End': 13.92, 'Speaker': 1, 'Content': 'That makes sense.'}
{'Start': 13.92, 'End': 16.17, 'Speaker': 1, 'Content': 'Even 20 minutes a day adds up over a few months.'}
{'Start': 16.32, 'End': 19.62, 'Speaker': 2, 'Content': 'Exactly, and writing down small wins keeps you motivated along the way.'}

TRANSCRIPTION ONLY: Hey everyone, welcome back to the show. Today, we're talking about the best way to learn a new skill. I'm here with Jordan to dig into it. Thanks for having me. My take is that consistency beats intensity every single time. That makes sense. Even 20 minutes a day adds up over a few months. Exactly, and writing down small wins keeps you motivated along the way.
"""

Özel istem ve sıcak kelimeler

apply_transcription_request, transkripsiyonu belirli terimlere (ör. özel isimler veya alanına özgü sözcükler) yönlendirmek için keywords parametresini kabul eder; bu parametre, sohbet şablonunda 热词列表： (“hotword list”) olarak görüntülenir. Ek bağlam sağlamak için bununla birlikte özel bir prompt da geçirilebilir.

Aşağıda, “Yorùbá” kelimesini içeren bir ses kaydını, bu kelimeyi anahtar kelime olarak geçirmekle geçirmemek arasında karşılaştırarak transkribe ediyoruz.

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav"

# Without keywords
inputs = processor.apply_transcription_request(audio_url)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITHOUT keywords: {transcription[0]}")

# With keywords
inputs = processor.apply_transcription_request(audio_url, keywords=["Mandarin", "Yorùbá"])
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(f"WITH keywords   : {transcription[0]}")

"""
WITHOUT keywords: Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yoruba, with over 50 million speakers.
WITH keywords   : Let's talk about the most spoken languages in the world. Mandarin Chinese has the most native speakers, followed by Spanish, English, and Hindi. In West Africa, one of the most widely spoken languages is Yorùbá, with over 50 million speakers.
"""

Sohbet şablonuyla gelişmiş kullanım

apply_transcription_request, yalnızca ses içeren bir kullanıcı turuna sahip bir sohbet şablonuna eşdeğerdir:

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": audio_url},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
decoded = processor.decode(
    outputs[:, inputs.input_ids.shape[1] :],
    skip_special_tokens=True,
)
print(decoded)

Toplu çıkarım

Bir ses listesi ve isteğe bağlı olarak eşleşen bir istem ve/veya anahtar kelime listesi geçirerek, tek bir çağrıda bir partiyi transkribe edin. Bir örnekte bunu atlamak için bir girdiyi None olarak ayarlayın.

from transformers import AutoProcessor, AutoModelForCausalLM

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
# `from_pretrained` is used here for convenience, the model can also be built from a config directly.
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

audio = [
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav",
    "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/languages_sample.wav",
]
keywords = [None, ["Mandarin", "Yorùbá"]]

inputs = processor.apply_transcription_request(audio, keywords=keywords)
inputs = inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=128)
transcription = processor.decode(outputs[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

Eğitim

Hedef transkripsiyonları, modelin zaman damgalı ve konuşmacı etiketli çıktı biçiminde, transcription ile apply_transcription_request fonksiyonuna iletin. Dönen labels, kaybı hesaplamak için kullanılır.

from transformers import AutoModelForCausalLM, AutoProcessor

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
model.train()

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
transcription = (
    "[0.00][S01] Welcome to this demonstration of automatic speech recognition and speaker diarization using an "
    "end-to-end transformer model.[7.47]"
)

inputs = processor.apply_transcription_request(audio_url, transcription=transcription)
inputs.to(model.device, dtype=model.dtype)

loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()

Torch derleme

Model, daha hızlı çıkarım/eğitim için derlenebilir. device_map="auto", ileri geçişi accelerate kancalarıyla sarmalar ve bu da tekrarlı yeniden derlemeye neden olur; bu nedenle modeli doğrudan tek bir cihaza yükleyin.

B200 üzerinde, 4'lük bir batch boyutu için ~2,1x hızlanma gözlemledik.

import time

import torch

from transformers import AutoProcessor, AutoModelForCausalLM


model_id = "itazap/MOSS-Transcribe-Diarize-HF"

num_warmup = 5
num_runs = 20

# Load processor + model
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

# Prepare static inputs
audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

# Benchmark without compile
print("Warming up without compile...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking without torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
no_compile_time = (time.time() - start) / num_runs
print(f"Average time without compile: {no_compile_time:.4f}s")

# Benchmark with compile
print("\nCompiling model...")
model = torch.compile(model)

print("Warming up with compile (includes graph capture)...")
with torch.no_grad():
    for _ in range(num_warmup):
        _ = model(**inputs)

torch.accelerator.synchronize()

print("\nBenchmarking with torch.compile...")
torch.accelerator.synchronize()
start = time.time()
with torch.no_grad():
    for _ in range(num_runs):
        _ = model(**inputs)
torch.accelerator.synchronize()
compile_time = (time.time() - start) / num_runs
print(f"Average time with compile: {compile_time:.4f}s")

speedup = no_compile_time / compile_time
print(f"\nSpeedup: {speedup:.2f}x")

Otomatik regresif transkripsiyonda, torch.compile, model.forward fonksiyonunu doğrudan derlemek yerine bir CompileConfig nesnesi sağlayarak generate içindeki token başına ileri geçişleri hızlandırır.

import torch
from transformers import AutoProcessor, AutoModelForCausalLM, CompileConfig

model_id = "itazap/MOSS-Transcribe-Diarize-HF"
num_warmup = 3

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

audio_url = "https://huggingface.co/datasets/itazap/audio_samples/resolve/main/intro_sample.wav"
inputs = processor.apply_transcription_request([audio_url] * 4).to(model.device, torch.bfloat16)

compile_config = CompileConfig()

# Warmup
for _ in range(num_warmup):
    _ = model.generate(**inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config)

# Apply model
generated_ids = model.generate(
    **inputs, max_new_tokens=128, cache_implementation="static", compile_config=compile_config
)
transcription = processor.decode(generated_ids[:, inputs.input_ids.shape[1] :], return_format="transcription_only")
print(transcription)

Transformers

MOSS-Transcribe-Diarize

Genel Bakış

Kullanım

Temel transkripsiyon ve konuşmacı ayrıştırma

Özel istem ve sıcak kelimeler

Sohbet şablonuyla gelişmiş kullanım

Toplu çıkarım

Eğitim

Torch derleme

MossTranscribeDiarizeConfig

sınıf transformers.MossTranscribeDiarizeConfig

MossTranscribeDiarizeAudioConfig

sınıf transformers.MossTranscribeDiarizeAudioConfig

MossTranscribeDiarizeAudioModel

sınıf transformers.MossTranscribeDiarizeAudioModel

forward

MossTranscribeDiarizeFeatureExtractor

sınıf transformers.MossTranscribeDiarizeFeatureExtractor

__call__

MossTranscribeDiarizeProcessor

sınıf transformers.MossTranscribeDiarizeProcessor

__call__

apply_chat_template

apply_transcription_request

MossTranscribeDiarizeModel

sınıf transformers.MossTranscribeDiarizeModel

forward

get_audio_features

MossTranscribeDiarizeForConditionalGeneration

sınıf transformers.MossTranscribeDiarizeForConditionalGeneration

forward

get_audio_features

call

call