AdaLoRA

AdaLoRA (Adaptive LoRA), tüm modüller arasında parametreleri eşit dağıtan LoRA'nın aksine, ağırlık matrislerine ve katmanlara atanacak eğitilebilir parametre sayısını optimize etmek için kullanılan bir yöntemdir. Önemli ağırlık matrisleri ve katmanlara daha fazla parametre ayrılırken, önemsiz olanlara daha az parametre tahsis edilir. Matrislerin ortalama istenen rank değerini veya r değerini ve AdaLoRA'nın hangi modüllere uygulanacağını target_modules ile kontrol edebilirsiniz. Ayarlanması gereken diğer önemli parametreler lora_alpha (ölçekleme faktörü) ve modules_to_save (AdaLoRA katmanları dışında eğitilecek ve kaydedilecek modüllerdir). Tüm bu parametreler - ve daha fazlası - AdaLoraConfig içinde bulunur.

Makalenin özeti şudur:

Büyük önceden eğitilmiş dil modellerini aşağı akış görevlerinde ince ayar yapma, NLP'de önemli bir paradigma haline gelmiştir. Ancak, yaygın uygulama, önceden eğitilmiş modeldeki tüm parametreleri ince ayar yapmayı içerir ve bu, çok sayıda aşağı akış görevi mevcut olduğunda uygulanamaz hale gelir. Bu nedenle, önceden eğitilmiş ağırlıkların artımsal güncellemelerini parametre verimli bir şekilde öğrenmek için birçok ince ayar yöntemi önerilmiştir, örneğin düşük rütbeli artışlar. Bu yöntemler genellikle artımsal güncellemelerin bütçesini tüm önceden eğitilmiş ağırlık matrisleri arasında eşit olarak dağıtır ve farklı ağırlık parametrelerinin değişen önemini göz ardı eder. Sonuç olarak, ince ayar performansı optimum değildir. Bu boşluğu doldurmak için, AdaLoRA'yı öneriyoruz; bu yöntem, parametre bütçesini ağırlık matrisleri arasında önem puanlarına göre uyumlu bir şekilde tahsis eder. Özellikle, AdaLoRA artımsal güncellemeleri tekil değer ayrıştırması (SVD) biçiminde parametreler. Bu yeni yaklaşım, önemsiz güncellemelerin tekil değerlerini etkili bir şekilde budamamıza olanak tanır; bu da özünde parametre bütçelerini azaltmakla birlikte yoğun ve kesin SVD hesaplamalarından kaçınmaktır. AdaLoRA'nın etkinliğini doğrulamak için doğal dil işleme, soru-cevap ve doğal dil üretimi üzerinde birkaç önceden eğitilmiş modelle kapsamlı deneyler gerçekleştirdik. Sonuçlar, AdaLoRA'nın özellikle düşük bütçe ayarlarında taban çizgilerine göre belirgin bir iyileşme gösterdiğini kanıtlamaktadır. Kodumuz https://github.com/QingruZhang/AdaLoRA adresinde herkese açıktır.

AdaLoRA, parametre bütçesini ve maskesini güncellemek için her eğitim adımında çağrılması gereken bir update_and_allocate() yöntemine sahiptir; aksi takdirde uyarlama adımı gerçekleştirilmez. Bunun için bu yöntemi entegre etmek üzere özel bir eğitim döngüsü yazmanız veya Trainer sınıfından türetme yapmanız gerekir. Örnek olarak bu özel eğitim döngüsüne göz atabilirsiniz.

AdaLoRA, LoRA'dan gelen parametre bütçesini, önemli ağırlık matrislerine daha fazla parametre - başka bir deyişle daha yüksek bir rütbe r - tahsis ederek ve daha az önemli olanları budayarak yönetir. Rütbe, tekil değer ayrıştırması (SVD) benzeri bir yöntemle kontrol edilir. $\Delta W$ iki dik matris ve tekil değerleri içeren bir çapraz matris ile parametrelenir. Bu parametreleme yöntemi, hesaplaması maliyetli olan SVD'nin yinelemeli olarak uygulanmasını önler. Bu yönteme dayanarak $\Delta W$ nin rütbesi, bir önem puanına göre ayarlanır. $\Delta W$ üçlülere bölünür ve her üçlü, model performansına katkısına göre puanlanır. Düşük önem puanına sahip üçlüler budanır ve yüksek önem puanına sahip üçlüler ince ayar için korunur.

AdaLoRA ile eğitim üç aşamadan oluşur: başlatma aşaması, bütçeleme aşaması ve son aşama. Başlatma aşamasında bütçeleme uygulanmadığından, rütlere dokunulmaz. Bütçeleme aşamasında yukarıda açıklanan süreç uygulanır ve rütler, daha önemli adaptörlere daha fazla rüt, daha az önemli katmanlara ise daha az rüt vermeyi hedefleyen bir bütçeye göre yeniden dağıtılır. Son aşamaya ulaşıldığında bütçeleme sona erer, rütler yeniden dağıtılır ancak performansı daha da iyileştirmek için yeniden dağıtılmış rütlerle bir süre daha eğitime devam edilebilir.

Katkulara açığız: Bu bölümün açıklığa kavuşturulması gerekiyor.

Önem ölçüsünün nasıl belirlendiği net değildir. Açıklamalar da biraz tekrar içeriyor ve birleştirilerek iyileştirilebilir. Nasıl katkıda bulunacağınızı burada görebilirsiniz.

Karma performans değerlendirmesi genel bakış

Kullanım

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

API

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()