PaCA: Kısmi Bağlantı Uyarlaması

PaCA (ICLR 2025), eğitim hızını ve aktivasyon belleğini hedefleyen bir PEFT yöntemidir. Her hedeflenmiş önceden eğitilmiş ağırlığın r rastgele seçilen giriş sütununu (“kısmi bağlantılar”) ince ayarlar. Tek eğitilebilir parametreler, bu sütunların güncellemeleridir; LoRA'nın aksine PaCA ek düşük rütbeli matrisler eklemez.

LoRA gibi yöntemler, her ön eğitilmiş katman yanında küçük bir düşük rütbeli dal çalıştırır. Dal az miktarda FLOP gerektirir, ancak ön eğitilmiş katmanla sıralı olarak çalıştırılır ve geriye yayılım (backward pass) için girdi aktivasyonunun kendi kopyasını tutar. PaCA her ikisini de önler:

• Katman başına tek GEMM. Uyarlanan sütunlar, ön eğitilmiş ağırlığın matmul işleminden hemen önce bu ağırlığa yazılır ve hemen sonra geri yüklenir; böylece ileri ve geri yayılım, dondurulmuş taban katmanla birebir aynı şekilde tek bir matmul çalıştırır.
• Kısmi aktivasyonlar. Uyarlanan sütunların gradyanı yalnızca eşleşen r giriş kanalına bağlı olduğundan, tam giriş yerine geriye yayılım adımı için yalnızca bu kanallar saklanır.

Sonuç ağırlıkları açısından bir PaCA adaptörü, A matrisi sabit bir sütun seçici olan, r rütbeli bir LoRA adaptörüne eşdeğerdir: W' = W + delta @ S, burada S r sütunu seçer. Bu nedenle, örneğin bir LoRA çıkarım yığınıyla sunulması için, convert_to_lora() aracılığıyla kayıpsız bir şekilde r rütbeli bir LoRA adaptörüne dönüştürülebilir.

PaCA'nın ne zaman kullanılacağı:

• LoRA düzeyinde doğruluk istiyorsunuz ancak daha hızlı ince ayar adımları ve daha düşük aktivasyon belleği gerekiyor, örneğin aynı GPU üzerinde daha uzun dizileri veya daha büyük partileri sığdırmak için.
• Tam olarak temel ağırlıklara birleşen bir adaptör istiyorsunuz (güncelleme düz bir sütun güncellemesidir).

Mevcut kısıtlamalar:

• Yalnızca nn.Linear katmanları (kuantize edilmiş doğrusal katmanlar dahil) desteklenir.
• PaCA, taban katmanın forward fonksiyonunu çağırmak yerine matmul işlemini kendisi yürütür; bu nedenle taban katmana kaydedilen forward hook'ları çağrılmaz (bir uyarı basılır). Hook'ları PaCA katmanına kaydedin.
• Karışık adaptör toplamları (adapter_names argümanı) desteklenmez.
• Parçalı ağırlıklarla eğitim (FSDP, DeepSpeed ZeRO-3) henüz test edilmemiştir.
• torch.compile desteklenir: derleme sırasında sütun değiştirme, matmul ve geri yükleme işlemleri opak özel işlemler (torch.ops.peft.paca_linear_forward/_backward) olarak çalışır, bu nedenle derleyici temel ağırlıkları kopyalamaz. Bunun için torch.library.custom_op (PyTorch >= 2.4) gereklidir; aksi takdirde acil (eager) uygulama izlenir.
• paca_alpha / r, sütun güncellemesini ölçekler ve bu nedenle etkili öğrenme hızının bir çarpanı olarak görev yapar.
• Çıkarım için adaptörü birleştirin (merge_and_unload()); birleştirilmemiş forward, her çağrıda sütunları hâlâ içeri ve dışarı değiştirir.

Kullanım

from transformers import AutoModelForCausalLM
from peft import PacaConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-3B")
config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear", random_seed=0)
model = get_peft_model(model, config)
model.print_trainable_parameters()

Varsayılan olarak, her hedeflenen katman r rastgele seçilen sütunu ince ayar yapar; makalede, bu, sütunları ağırlık normuna veya birikmiş gradyanlara göre seçmekle aynı performansı göstermiştir. Sütunları kendiniz seçmek için, örneğin başka bir seçim stratejisini denemek veya katman başına farklı bir sütun sayısı kullanmak için paca_indices_pattern parametresini iletin. Anahtarları, LoRA’daki rank_pattern’de olduğu gibi katman adları veya düzenli ifadelerdir:

config = PacaConfig(
    r=16,
    paca_alpha=16,
    target_modules=["q_proj", "v_proj"],
    paca_indices_pattern={"layers.0.self_attn.q_proj": [0, 2, 4, 6], "layers.1.self_attn.v_proj": list(range(32))},
)

Bir anahtarla eşleşen katmanlar, verilen sütunları ince ayar yapar; hedeflenen diğer tüm katmanlar r rastgele sütun seçer. Ölçekleme, her katmanda yapılandırmanın r değeriyle paca_alpha / r şeklindedir, bu nedenle paca_alpha tüm katmanlar için aynı anlama gelir.

Makalenin özeti şudur:

Daha önceki parametre-verimli ince ayar (PEFT) algoritmaları, tüm modeli eğitmek yerine yalnızca birkaç ek adaptör parametresi eğiterek büyük sinir ağı modellerinin ince ayarındaki bellek kullanımını ve hesaplama maliyetlerini azaltır. Ancak PEFT kaynaklı hesaplama maliyetlerindeki azalma, eğitim süresinde bir azalmaya dönüşmeyebilir; adaptör katmanlarının hesaplama maliyetleri önceden eğitilmiş katmanlardan çok daha düşük olsa da, bu iki katman türünün GPU'larda sıralı olarak işlendiği ve bunun önemli bir gecikme yüküne yol açtığı iyi bilinmektedir. LoRA ve türevleri, çıkarım sırasında düşük rütbeli adaptör matrislerini önceden eğitilmiş ağırlıklarla birleştirerek bu gecikme yükünden kaçınır. Ancak, düşük rütbeli adaptör matrisleri eğitim süresince sürekli güncellenirken önceden eğitilmiş ağırlıkların donmuş kalması gerektiğinden, bu katmanlar eğitim sırasında birleştirilemez. Ayrıca, LoRA ve türevleri aktivasyon belleğini azaltmaz, çünkü ilk düşük rütbeli adaptör matrisi, ağırlık gradyanlarını hesaplamak için önceden eğitilmiş ağırlıklara giren aktivasyonları gerektirir. Bu sorunu hafifletmek için, modelde adaptör katmanları eklemek yerine önceden eğitilmiş ağırlıklar içinde rastgele seçilen kısmi bağlantıları ince ayarlayan Kısmi Bağlantı Adaptasyonu'nu (PaCA) öneriyoruz. PaCA, adaptör ve önceden eğitilmiş katmanların sıralı işlenmesinden kaynaklanan zaman yükünü ortadan kaldırarak eğitim hızını artırmakla kalmaz, aynı zamanda gradyan hesaplama için tam aktivasyonlar yerine yalnızca kısmi aktivasyonların saklanması gerektiğinden aktivasyon belleğini de azaltır. LoRA'ya kıyasla PaCA, MMLU veri setinde ince ayar ve Oasst1 veri setinde talimat ayarı gibi çeşitli ince ayar senaryolarında karşılaştırılabilir doğruluğu korurken eğitim süresini %22 ve toplam bellek kullanımını %16 azaltır. PaCA ayrıca kuantizasyonla birleştirilebilir, bu da LLaMA3.1-70B gibi büyük modellerin ince ayarını mümkün kılar. Ayrıca PaCA, LoRA'ya kıyasla hem NVIDIA A100 GPU hem de INTEL Gaudi2 HPU üzerinde %23 daha uzun dizilerle eğitim yapmayı ve %16 daha yüksek verimlilik sağlamayı mümkün kılar.

Karma performans değerlendirmesi genel bakış

API

PacaConfig

PacaModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import PacaConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear")
>>> model = get_peft_model(base_model, config)