# 🤗 PEFT ile parametre verimli ince ayar

[🤗 PEFT](https://github.com/huggingface/peft) (Parameter-Efficient Fine-Tuning), SmolVLA, π₀ gibi önceden eğitilmiş politikalar dahil olmak üzere büyük önceden eğitilmiş modelleri, modelin tüm parametrelerini eğitmeye gerek kalmadan ve benzer performans elde ederek yeni görevlere verimli bir şekilde uyarlamak için kullanılan bir kütüphanedir.

PEFT desteğini etkinleştirmek için `lerobot[peft]` isteğe bağlı paketini yükleyin.

Uyarlama için mümkün olan tüm yöntemler hakkında bilgi almak için lütfen [🤗 PEFT belgelerine](https://huggingface.co/docs/peft/index) başvurun.

## SmolVLA Eğitimi

Bu bölümde, PEFT ile önceden eğitilmiş bir SmolVLA politikasını `libero_spatial` alt kümesi üzerinde nasıl eğiteceğinizi göstereceğiz. Kısa tutmak için yalnızca `libero_spatial` alt kümesi üzerinde eğitim yapıyoruz. Parametre verimli ince ayar için model olarak `lerobot/smolvla_base` kullanılacaktır:

```
lerobot-train \
 --policy.path=lerobot/smolvla_base \
 --policy.repo_id=your_hub_name/my_libero_smolvla \
 --dataset.repo_id=HuggingFaceVLA/libero \
 --policy.output_features=null \
 --policy.input_features=null \
 --policy.optimizer_lr=1e-3 \
 --policy.scheduler_decay_lr=1e-4 \
 --env.type=libero \
 --env.task=libero_spatial \
 --steps=100000 \
 --batch_size=32 \
 --peft.method_type=LORA \
 --peft.r=64 \
 --peft.lora_alpha=64
```

Hangi PEFT yönteminin kullanılacağını seçmenizi sağlayan `--peft.method_type` parametresine dikkat edin. Burada muhtemelen bugüne kadar en popüler ince ayar yöntemi olan [LoRA](https://huggingface.co/docs/peft/main/en/package_reference/lora) (Low-Rank Adapter) kullanıyoruz. Düşük rütbeli adaptasyon, tam ağırlık matrisi yerine karşılaştırmalı olarak düşük rütbeli bir matrisin ince ayarının yapılması anlamına gelir. Bu rütbe `--peft.r` parametresi ile, LoRA ölçekleme faktörü ise `--peft.lora_alpha` ile (burada `scaling = lora_alpha / r`) belirtilebilir. Rütbe ne kadar yüksekse tam ince ayara o kadar yaklaşırsınız

Daha fazla parametreye sahip, daha karmaşık yöntemler de mevcuttur. Bunlar henüz desteklenmemektedir; belirli bir PEFT yönteminin desteklenmesini istiyorsanız bir sorun (issue) açmaktan çekinmeyin.

Varsayılan olarak PEFT, SmolVLA'daki LM uzmanının `q_proj` ve `v_proj` katmanlarını hedefler. Görevlere bağımlı olma olasılıkları en yüksek olduğu için durum ve eylem projeksiyon matrislerini de hedefler. Farklı katmanları hedeflemeniz gerekiyorsa, hedeflenecek katmanları belirtmek için `--peft.target_modules` kullanabilirsiniz. Desteklenen girdileri görmek için ilgili PEFT yönteminin belgelerine başvurabilirsiniz (ör. [LoRA'nın target_modules belgeleri](https://huggingface.co/docs/peft/main/en/package_reference/lora#peft.LoraConfig.target_modules)). Genellikle sonek listesi veya regex desteklenir. Örneğin, `q` ve `v` projeksiyonları yerine `lm_expert`'in MLP'lerini hedeflemek için şunu kullanın:

```
--peft.target_modules='(model\.vlm_with_expert\.lm_expert\..*\.(down|gate|up)_proj|.*\.(state_proj|action_in_proj|action_out_proj|action_time_mlp_in|action_time_mlp_out))'
```

Bir katmanı yalnızca uyarlamak yerine tamamen ince ayar yapmanız gerekiyorsa, `--peft.full_training_modules` parametresine bir katman sonekleri listesi sağlayabilirsiniz:

```
--peft.full_training_modules='["state_proj"]'
```

Öğrenme hızı ve planlanan hedef öğrenme hızı, tam ince ayar için kullanılan öğrenme hızına kıyasla genellikle 10 katına ölçeklendirilebilir (ör. normalde 1e-4, LoRA kullanıldığında 1e-3).

PEFT, parçalı çoklu GPU eğitimleriyle (FSDP2 ve HSDP) de çalışır, bkz. [çoklu GPU eğitimi](./multi_gpu_training#peft).

## Diğer politikalar

Aynı `--peft.*` bayrakları, herhangi bir önceden eğitilmiş politika için geçerlidir. Bazı politikalar (ör. SmolVLA, π₀, π₀.₅, MolmoAct2) yerleşik varsayılan `target_modules` ile birlikte gelir, bu nedenle `--peft.method_type=LORA` yeterlidir. Diğerleri ise `--peft.target_modules` parametresini açıkça iletmenizi ister; örneğin önerilen hedefleri [özel kılavuzunda](./lingbot_va#training--fine-tuning) belgelenen LingBot-VA.

`--policy.use_peft=true` tek başına, varsayılan ayarlarla `--peft.method_type=LORA` ile eşdeğerdir.

