PEFT

🤗 PEFT (Parameter-Efficient Fine-Tuning) هو مكتبة لتكييف النماذج المُسبقة التدريب الكبيرة بكفاءة مع تطبيقات مختلفة دون ضبط جميع معاملات النموذج، لأن ذلك مكلف للغاية. لا تُعدّل طرق PEFT سوى عدد صغير من (المعاملات الإضافية) في النموذج - مما يقلل بشكل كبير من التكاليف الحسابية والتخزينية - مع تحقيق أداء مماثل لنموذج مُعدّل بالكامل. وهذا يجعل تدريب النماذج اللغوية الكبيرة (LLMs) والنماذج الكبيرة الأخرى وتخزينها على أجهزة المستهلكين أكثر قابلية للوصول.

تتكامل مكتبة PEFT مع مكتبات Transformers وDiffusers وAccelerate لتوفير طريقة أسرع وأسهل لتحميل النماذج الكبيرة وتدريبها واستخدامها في الاستدلال.

تتوفر طرق عديدة لتكييف النماذج القائمة، وغالبًا ما يتم دمجها بشكل مكثف في بنية النموذج. يمكن اعتبار PEFT إطارًا عامًا لأي طريقة لتكييف النموذج (تعديل الأوزان، تغليف الطبقات، التلاعب بذاكرة KV-caches، ...) كما يعمل في الوقت نفسه كتنفيذ مرجعي للعديد من طرق الضبط الدقيق.