VeRA: Vektör Tabanlı Rastgele Matris Uyarlaması

VeRA, LoRA'ya benzer ancak benzer veya hatta daha iyi performans vaat ederken çok daha az ek parametre gerektiren parametre-verimli ince ayar tekniğidir. Bu nedenle, özellikle parametre bütçesinin çok sınırlı olduğu durumlarda, örneğin çok büyük modellere ölçeklendirirken, son derece faydalıdır. Eğitilebilir parametre sayısındaki azaltma, tüm katmanlar arasında aynı düşük-rang matrislerin paylaşılması ve katman başına yalnızca iki ek vektörün eğitilmesi yoluyla sağlanır.

VeRA'nın çalışma mantığı

LoRA, her uyarlanan katman için iki küçük, düşük rütbeli matris öğrenerek dondurulmuş bir temel modeli günceller. Rütbe, bu matrislerin iç boyutudur ve adaptörün ne kadar kapasiteye sahip olduğunu kontrol eder. LoRA'da, r değerini artırmak veya daha fazla katmanı uyarlama, her uyarlanan katmanın kendi düşük rütbeli matris çiftini öğrenmesi nedeniyle eğitilebilir parametre sayısını hızla artırır.

VeRA, düşük rütbeli uyarlama fikrini korur ancak hangi parametrelerin eğitileceğini değiştirir. Her katman için ayrı düşük rütbeli matrisler öğrenmek yerine VeRA, katmanlar arasında paylaşılan, dondurulmuş ve rastgele başlatılmış bir düşük rütbeli matris çifti olan A ve B kullanır. Her uyarlanmış katman, paylaşılan matrisleri yeniden ölçekleyerek katmana özgü bir güncelleme üretmek için yalnızca vera_lambda_d ve vera_lambda_b olmak üzere iki ölçekleme vektörü öğrenir. vera_lambda_d boyutu r olduğundan, VeRA’nın eğitilebilir parametre sayısı hâlâ r ile ve uyarlanan katman sayısı ile artar. Ancak, büyük A ve B matrisleri her katman için ayrı ayrı öğrenilmek yerine paylaşıldığı ve dondurulduğu için, bu artış LoRA’ya kıyasla çok daha yavaş gerçekleşir.

Bu nedenle VeRA, LoRA'dan daha az eğitilebilir parametre kullanabilir. Makaledeki basitleştirilmiş parametre sayımına göre LoRA, 2 * L_tuned * d_model * r ile ölçeklenir; burada L_tuned uyarlanan katman sayısı, d_model model boyutu ve r rütbedir. VeRA ise büyük düşük rütbeli matrislerin paylaşımlı ve dondurulmuş olması, yalnızca daha küçük katman başına vektörlerin eğitilmesi nedeniyle L_tuned * (d_model + r) ile ölçeklenir.

Adaptör parametrelerini kaydederken, VeraConfig üzerinde save_projection=False ayarlayarak düşük rütbeli matrislerin depolanmasından kaçınılabilir. Bu durumda, bu matrisler projection_prng_key argümanındaki sabit rastgele tohum temelinde yeniden oluşturulur. Bu, kontrol noktasının boyutunu azaltır ancak tüm cihazlarda ve PyTorch’ün tüm gelecekteki sürümlerinde yeniden üretilebilirliği garanti edemeyiz. Yeniden üretilebilirliği sağlamak istiyorsanız, save_projection=True olarak ayarlayın (bu varsayılandır).

Uyarlama katmanlarının farklı şekillerini işlemek için VeRA, her boyut için gerekli en büyük boyutla paylaşılan A ve B matrislerini başlatır. İleri geçiş sırasında, belirli bir katman için A ve B alt matrisleri bu paylaşılan matrislerden dilimlenir ve makalede belirtildiği gibi kullanılır. Örneğin, (100, 20) ve (80, 50) şekillerindeki iki doğrusal katmanı uyarlama işlemi, sırasıyla (rank, 50) ve (100, rank) şekillerinde A ve B matrisleri oluşturur. Ardından, (100, 20) şeklindeki bir katmanı uyarlama için (rank, 20) ve (100, rank) şekillerindeki A ve B alt matrisleri çıkarılır.

VeRA şu anda aşağıdaki kısıta sahiptir:

• Yalnızca nn.Linear katmanları desteklenir.

Makalenin özeti şudur:

Düşük rütbeli uyarlama (LoRA), büyük dil modellerini ince ayar yaparken eğitilebilir parametre sayısını azaltan popüler bir yöntemdir; ancak daha da büyük modellere ölçeklenirken veya sayısız kullanıcıya veya göreve özel uyarlanmış model dağıtılırken hâlâ ciddi depolama zorluklarıyla karşı karşıyadır. Bu çalışmada, LoRA'ya kıyasla eğitilebilir parametre sayısını önemli ölçüde azaltan ancak aynı performansı koruyan Vektör Tabanlı Rastgele Matris Uyarlama (VeRA) yöntemini sunuyoruz. Bu, tüm katmanlar arasında paylaşılan tek bir düşük rütbeli matris çifti kullanarak ve bunun yerine küçük ölçekleme vektörleri öğrenerek sağlanır. Etkinliğini GLUE ve E2E kıyaslamalarında, görüntü sınıflandırma görevlerinde gösteriyor ve 7B ve 13B dil modellerinin talimat ayarlamasında (instruction-tuning) kullanımını sergiliyoruz.

VeRA'nın ne zaman kullanılacağı

VeRA şu durumlarda iyi bir seçimdir:

• LoRA ile karşılaştırılabilir performansı korurken eğitilebilir parametre sayısını en aza indirmek istiyorsunuz.
• Birçok görev özel adaptörü depolamak veya dağıtmak durumunda olduğunuzda, daha küçük adaptör kontrol noktaları depolama gereksinimlerini azaltır.
• Sıkı bellek veya parametre bütçeleri altında çok büyük dil modelleri ince ayarı yapıyorsunuz.

VeRA'nın kullanılmaması gereken durumlar

VeRA şu durumlarda en iyi seçenek olmayabilir:

• Her uyarlama katmanı için bağımsız düşük r'li matrisler gerektirir; bu da öğrenilen adaptör parametrelerinde daha fazla esneklik sağlar.
• Modeliniz, VeRA şu anda yalnızca lineer katmanları desteklediğinden, nn.Linear dışında modül türlerinin uyarlanmasını gerektirir.
• Modeliniz, giriş ve çıktı boyutları arasında büyük farklılıklar bulunan uyarlanmış doğrusal katmanlar içerir. VeRA, tüm uyarlanmış katmanlar arasında tek bir projeksiyon matrisi çiftini paylaştığı için, bu matrisler en büyük şekle göre boyutlandırılmalıdır. Katman şekillerinde büyük bir çeşitlilik bulunan modeller (örneğin, transformer yukarı ve aşağı projeksiyon katmanları) bu nedenle paylaşılan projeksiyon matrislerinin aşırı tahsis edilmesini gerektirebilir ve bu durum, VeRA'nın parametre verimliliği avantajının bir kısmını azaltabilir.

Karma performans değerlendirmesi genel bakış

API

VeRAConfig

VeRAModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import VeraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = VeraConfig(r=128)
>>> model = get_peft_model(base_model, config)