# XLS-R

## نظرة عامة

قُدِّم نموذج XLS-R في [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) بواسطة Arun Babu و Changhan Wang و Andros Tjandra و Kushal Lakhotia و Qiantong Xu و Naman Goyal و Kritika Singh و Patrick von Platen و Yatharth Saraf و Juan Pino و Alexei Baevski و Alexis Conneau و Michael Auli.

المستخلص من الورقة البحثية هو كالتالي:

*تقدّم هذه الورقة نموذج XLS-R، وهو نموذج واسع النطاق لتعلّم تمثيلات الكلام عبر اللغات، مبني على wav2vec 2.0. قمنا بتدريب نماذج تصل إلى 2 مليار معامل على ما يقارب نصف مليون ساعة من تسجيلات الكلام الصوتية المتاحة علنًا في 128 لغة، وهو ما يفوق أكبر عمل سابق معروف ببيانات عامة بحجم أكبر بعشر مرات. يغطي تقييمنا مجموعة واسعة من المهام والمجالات وأنظمة البيانات واللغات، سواء كانت عالية الموارد أو منخفضة الموارد. على معيار الترجمة الصوتية CoVoST-2، نحسّن الأداء السابق الأفضل في المجال بمقدار 7.4 BLEU في المتوسط عبر 21 اتجاه ترجمة إلى الإنجليزية. وبالنسبة لتعرف الكلام، يحسّن XLS-R الأداء مقارنةً بأفضل عمل سابق معروف على BABEL وMLS وCommonVoice وكذلك VoxPopuli، مما يُخفض معدلات الخطأ بنسبة 14-34% نسبيًا في المتوسط. كما يضع XLS-R معيارًا جديدًا لأفضل أداء في تحديد اللغة على VoxLingua107. علاوة على ذلك، نُظهر أنه مع حجم نموذج كافٍ، يمكن للتدريب المسبق عبر اللغات أن يتفوق على التدريب المسبق بالإنجليزية فقط عند ترجمة الكلام الإنجليزي إلى لغات أخرى، وهو إعداد يميل إلى تفضيل التدريب المسبق أحادي اللغة. نأمل أن يساعد XLS-R في تحسين مهام معالجة الكلام لمزيد من لغات العالم.*

يمكن العثور على نقاط التفتيش ذات الصلة تحت https://huggingface.co/models?other=xls_r.

يمكن العثور على الكود الأصلي [هنا](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec).

## نصائح للاستخدام

- XLS-R هو نموذج كلامي يقبل مصفوفة من الأرقام العشرية (float) تتوافق مع الموجة الخام لإشارة الكلام.
- تم تدريب نموذج XLS-R باستخدام التصنيف الزمني المتصل (CTC)، لذا يجب فك ترميز مخرجات النموذج باستخدام [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

تعتمد بنية XLS-R على نموذج Wav2Vec2، لذا يُرجى الرجوع إلى [صفحة توثيق Wav2Vec2](wav2vec2) للاطلاع على مرجع واجهة البرمجة.