# XLS-R

## Genel Bakış

XLS-R modeli, Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau ve Michael Auli tarafından [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) makalesinde önerilmiştir.

Makalenin özeti aşağıdaki gibidir:

*Bu makale, wav2vec 2.0 tabanlı, diller arası konuşma temsili öğrenimi için büyük ölçekli bir model olan XLS-R'ı sunar. 128 dilde, kamuya açık yaklaşık yarım milyon saatlik konuşma ses verisi üzerinde, bilinen en büyük önceki çalışmadan bir büyüklük mertebesi daha fazla kamuya açık veriyle, 2B parametreye kadar modeller eğittik. Değerlendirmemiz, yüksek ve düşük kaynaklı diller dahil olmak üzere geniş bir görev, alan, veri rejimi ve dil yelpazesini kapsamaktadır. CoVoST-2 konuşma çeviri benchmark'ında, İngilizceye 21 çeviri yönünde önceki en iyi performansı ortalama 7.4 BLEU puanı ile geliştirdik. Konuşma tanıma için XLS-R, BABEL, MLS, CommonVoice ve VoxPopuli üzerinde bilinen en iyi önceki çalışmalara göre hata oranlarını ortalama olarak %14-34 oranında göreli olarak düşürerek gelişme sağlamaktadır. XLS-R ayrıca VoxLingua107 dil tanıma görevinde yeni bir en iyi performansa ulaşmaktadır. Bununla birlikte, yeterli model boyutuyla, İngilizce konuşmanın diğer dillere çevrilmesi gibi tek dilli ön eğitimi destekleyen bir ayarında, diller arası ön eğitimin yalnızca İngilizce ön eğitimden daha iyi performans gösterebileceğini gösteriyoruz. XLS-R'ın, dünyanın çok daha fazla dilindeki konuşma işleme görevlerini geliştirmeye yardımcı olmasını umuyoruz.*

İlgili kontrol noktaları https://huggingface.co/models?other=xls_r altında bulunabilir.

Orijinal kod [burada](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec) bulunabilir.

## Kullanım ipuçları

- XLS-R, ses sinyalinin ham dalga formuna karşılık gelen bir float dizisini kabul eden bir ses modelidir.
- XLS-R modeli, bağlantıcı zamansal sınıflandırma (CTC) kullanılarak eğitildiğinden, model çıktısının [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/tr/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer) ile çözümlenmesi gerekir.

XLS-R mimarisi Wav2Vec2 modeline dayanmaktadır; API referansı için [Wav2Vec2 dokümantasyon sayfasına](wav2vec2) bakınız.

