LoRA dönüşümü

LoRA olmayan PEFT modellerini LoRA modellerine dönüştürmeye izin veren işlevler.

Açıklama

PEFT, onlarca farklı parametre verimli ince ayar tekniğini destekler. Şu ana kadar en popüler olanı tartışmasız LoRA'dır. Bu durum, LoRA'yı destekleyen birçok başka paketin de var olduğu anlamına gelir. Örneğin, Diffusers, difüzyon modellerinin yeteneklerini değiştirmek için LoRA adaptörlerinin yüklenmesine olanak tanır. vLLM, LoRA adaptörleriyle modellerin sunulmasına (serving) izin verir. Bu iyi bir durum olmakla birlikte ne yazık ki LoRA dışındaki diğer PEFT yöntemleri nadiren desteklenmektedir. Dolayısıyla, belirli kullanım senaryonuz için başka bir PEFT yöntemi daha iyi çalışsa bile, aşağı akış (downstream) paketlerinin destek sunmaması nedeniyle bu yöntemi kullanmanız engellenebilir.

Burada olası bir çözüm sunuyoruz. PEFT, bir PEFT adaptörünü LoRA adaptörüne dönüştürmeye olanak tanıyan save_as_lora() ve convert_to_lora() olmak üzere iki işlev sunar. Şu an için tüm PEFT yöntemleri bunu desteklememektedir, ancak destekleyen bir yöntem kullanıyorsanız, sizin için en iyi çalışan PEFT yöntemiyle başlayıp ardından onu bir LoRA adaptörüymüş gibi kullanabilirsiniz.

Örnek

Dönüştürülen adaptör için LoRA rütbesi, rank argümanına 0'dan büyük bir int geçirerek sabit bir rütbe olarak ayarlanabilir veya rank argümanına 0 ile 1 arasında bir float geçirerek her katmana uyan dinamik bir rütbe olarak ayarlanabilir. Dinamik rütbe, daha verimli olabilir (daha az parametreyle aynı performans).

Sabit LoRA rütbesi

save_as_lora() kullanımı oldukça basittir:

from peft import get_peft_model, save_as_lora

# first load and train your non-LoRA PEFT model as normal
base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
# check that this PEFT method can indeed be converted to LoRA
assert model.supports_lora_conversion()
...  # train the model

# the rank of the LoRA adapter that you want to convert to
target_rank = 64
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=target_rank)

Bu işlem, herhangi bir LoRA adaptörü gibi yükleyebileceğiniz veya Diffusers veya vLLM gibi aşağı akış paketlerinde kullanabileceğiniz bir LoRA kontrol noktasını output_path konumunda oluşturur.

convert_to_lora() fonksiyonu, dönüştürülen LoRA adaptörünü kaydetmek yerine dönüştürülmüş ağırlıkları hemen kullanmak istediğinizde, örneğin değerlendirmeler yapmak için, faydalıdır:

from peft import convert_to_lora, get_peft_model, set_peft_model_state_dict

base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
...  # train the model

# get the lora config and state dict of the converted lora model
lora_config, lora_state_dict = convert_to_lora(model, rank=target_rank)
# reload the base model, or use model.unload()
base_model = ...
# apply the lora config to the base model
lora_model = get_peft_model(base_model, lora_config)
# load the LoRA weights onto the base model
set_peft_model_state_dict(lora_model, state_dict)

Dinamik LoRA rütbesi

Yukarıdaki örneklerde, dönüşüm için sabit bir LoRA rütbesi kullandık. Ancak, bazı katmanların doğru bir şekilde dönüştürülmesi için yüksek bir rütbeye ihtiyaç duymadığı, diğer katmanların ise daha yüksek bir rütbe gerektirdiği düşünülebilir. Bunu karşılamak için PEFT, rank argümanı olarak 0 ile 1 arasında bir ondalık sayı geçme seçeneği sunar. Diyelim ki rank=0.5 geçtiniz. Bu, her katman için LoRA adaptörünün rütbesinin, orijinal adaptörün ağırlıklara getirdiği varyansın %50'sini açıklayacak şekilde seçildiği anlamına gelir. Daha teknik bir ifadeyle, perdenin arkasında adaptörün ağırlık katkısına bir Singular Value Decomposition uyguluyor ve normalize edildiğinde geçirilen değere eşitlenen en üst tekil değerleri alıyoruz.

# set a dynamic rank by passing a float
threshold = 0.7
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=threshold)
# get the lora config and state dict directly:
lora_config, lora_state_dict = convert_to_lora(model, rank=threshold)
# inspect the different ranks per layer:
print(lora_config.rank_pattern)

Farklı katmanların katkısının büyük ölçüde değiştiği durumlarda bu tür dinamik LoRA rütbesi kullanmak faydalı olabilir. Dezavantajı, bazı katmanların çok yüksek bir LoRA rütbesine sahip olması gerekebilecek ve bunun bellek sıçramalarına yol açabilmesidir. Lütfen kullanım senaryonuz için en iyi sonucu veren ayarı test edin.

Modelin derlenmesi

Büyük modeller için dönüştürme işlemi biraz zaman alabilir; örneğin her PEFT modülü bir SVD hesaplama işleminden geçmelidir. compile_kwargs parametresini save_as_lora() veya convert_to_lora() fonksiyonlarına ileterek, dönüştürme fonksiyonuna torch.compile uygulayabilir ve süreci potansiyel olarak hızlandırabilirsiniz. compile_kwargs, torch.compile fonksiyonuna iletilen anahtar kelime argümanlarından oluşan bir sözlüktür (boş sözlük de çalışır). Aşağıda bir örnek bulunmaktadır:

compile_kwargs = {"dynamic": True, "mode": "max-autotune-no-cudagraphs", "fullgraph": True}
save_as_lora(output_path, model, rank=rank, compile_kwargs=compile_kwargs)

LoRA'dan LoRA'ya dönüştürme

Bir LoRA adaptörünü başka bir LoRA adaptörüne dönüştürmek de mümkündür. Bunu neden yapmak istersiniz? Bunun bir nedeni vardır: LoRA adaptörünün rütbesini (rank) azaltmak istiyorsanız. Eğitimden sonra LoRA adaptörünü küçültmek istiyorsanız, save_as_lora() veya convert_to_lora() fonksiyonlarını kullanın ve daha küçük bir rütbe değeri iletin. Bu işlem, daha küçük bir bellek ve depolama alanı gerektiren yeni bir LoRA adaptörü oluşturur.

Metrikler

LoRA olmayandan LoRA'ya dönüştürme

Elbette, bir PEFT adaptörünü başka bir adaptöre dönüştürmek kayıplı bir süreçtir. Yeni adaptör, büyük olasılıkla başlangıçtaki adaptör kadar iyi performans göstermeyecektir. Bu nedenle, dönüştürülen LoRA adaptörünü değerlendirmeniz şiddetle tavsiye edilir. Bu sayede, dönüştürülen adaptörün kullanım senaryonuz için yeterince iyi performans gösterdiğinden emin olabilirsiniz. Genel kural, LoRA adaptörünün rütbesi ne kadar yüksekse, başlangıçtaki adaptörünüzü o kadar iyi yakınsayacağı yönündedir. Bu, benzer bir performans elde etmek için dönüştürülen LoRA adaptörünün orijinal adaptöre kıyasla daha fazla parametreye ihtiyaç duyabileceği anlamına gelir.

Örnek olarak, PEFT MetaMathQA benchmark üzerinde türetilen bazı sayılar aşağıdadır. Bunun için, meta-llama/Llama-3.2-3B modeli MetaMathQA üzerinde ince ayar yapmak üzere LoHa adaptörü kullanılmış ve GSM8K üzerinde değerlendirilmiştir. Başlangıçtaki LoKr adaptörünün rütbesi 32 idi; bu, 18.350.080 eğitilebilir parametreye ve %41,85 test doğruluğuna yol açmıştır. Değerlendirme 12,25 GB bellek gerektirmiştir. Kontrol noktası, rank için farklı değerlerle LoRA'ya dönüştürülmüştür. Elde edilen sonuç şudur:

Gördüğünüz gibi, rank yeterince yüksekse, orijinal LoHa adaptörüne yakın bir test doğruluğuna ulaşabiliriz. Doğru rankı seçmek, model performansı ile model verimliliği arasında bir denge gerektirir. Bu deneyi yeniden oluşturmak için https://github.com/huggingface/peft/tree/main/scripts/evaluate-lora-conversion.py adresindeki betiği izleyin.

Eğitilebilir parametre sayısının bellek kullanımına birebir karşılık gelmediğine dikkat edin. Aynı eğitimlenebilir parametre sayısına sahip olsalar bile, bazı PEFT yöntemleri daha fazla, bazıları daha az bellek gerektirir. Bu nedenle, dönüştürme sonrasında LoRA adaptörü orijinalinden daha fazla parametreye sahip olsa bile, sunum sırasında hâlâ daha bellek verimli olabilir.

LoRA'dan LoRA'ya dönüştürme

Yukarıdaki deneyde olduğu gibi, LoRA'dan LoRA'ya dönüştürmeyi (yani LoRA sıkıştırmasını) da değerlendirebiliriz. Burada, RS-LoRA ile yukarıdakiyle aynı kurulumda eğitilen, 64 rütbeli bir LoRA adaptörüyle başlıyoruz. Başlangıç adaptörünün 18.350.080 eğitilebilir parametresi, %52,92 test doğruluğu vardır ve değerlendirme için 12,58 GB bellek gerektirir. Aşağıdaki tablo, bu adaptörün daha küçük rütbeli LoRA adaptörlerine dönüştürülmesinin sonuçlarını göstermektedir:

Örneğin 0.95 rütbesi için, parametre sayısını %30 azaltırken doğruluk farkını yalnızca 0.3 yüzde puanına kadar daraltabiliriz. Ayrıca, bu sıkıştırılmış LoRA'ların, doğrudan daha düşük rütbede eğitilmelerinden daha iyi olabileceğini de not edelim — örneğin 32 rütbesi için doğrudan eğitim %48.22 test doğruluğu verirken, 64 rütbesinden dönüşüm %51.48 vermektedir.

Dikkat Edilmesi Gerekenler

LoRA dönüşümünün bazı kısıtlamaları vardır. Yukarıda belirtildiği gibi, performans düşüşü beklenir ve dönüştürülen LoRA, orijinal adaptöre kıyasla büyük olasılıkla daha az parametre verimli olacaktır. Ayrıca, LoRA dönüşümünün şu kısıtlamaları vardır:

• Şu anda yalnızca doğrusal katmanlara uygulanan adaptörler dönüştürülebilir.
• Tüm PEFT yöntemleri şu anda LoRA dönüşümünü desteklememektedir.

LoRA dönüşümünü genişletmeye yönelik yoğun bir talep varsa, lütfen bir GitHub tartışması oluşturarak bize bildirin; daha fazla katman türü ve PEFT yöntemiyle çalışmasını sağlayacağız.

API

LoRA olmayan bir modeli LoRA modeline dönüştürün, LoraConfig ve state_dict değerlerini döndürün

LoRA olmayan bir modeli LoRA modeline dönüştürün, adaptör kontrol noktasını ve yapılandırmayı verilen yolda kaydedin

>>> lora_path = ...
>>> save_as_lora(lora_path, model, rank=...)
>>> base_model = AutoModel.from_pretrained(...)
>>> lora_model = PeftModel.from_pretrained(base_model, lora_path)