TinyLoRA: Belajar untuk Bernalar dalam 13 Parameter

TinyLoRA adalah teknik fine-tuning yang sangat efisien dalam hal parameter, yang dibangun di atas pendekatan LoRA-XS dengan menggunakan dekomposisi SVD dari bobot yang dibekukan dan memproyeksikan vektor trainable berukuran sangat kecil melalui tensor acak yang tetap. Ketika dikombinasikan dengan metode pelatihan reinforcement learning (RL) seperti GRPO, TinyLoRA dapat mencapai kinerja yang kompetitif dengan hanya 1-13 parameter trainable.

Inovasi utama TinyLoRA adalah mengganti matriks rank rendah yang dapat dilatih R dengan jumlah berbobot dari matriks proyeksi acak yang tetap: R = Σᵢ vᵢ Pᵢ, di mana v ∈ R^u adalah vektor kecil yang dapat dilatih dengan dimensi u dan Pᵢ adalah matriks acak yang tetap. Hal ini secara drastis mengurangi jumlah parameter yang dapat dilatih sambil mempertahankan kinerja yang kompetitif.

TinyLoRA mendukung pengikatan bobot melalui parameter weight_tying, yaitu rasio antara 0.0 dan 1.0 yang mengontrol berapa banyak modul yang berbagi vektor yang dapat dilatih v yang sama. Mengatur weight_tying=0.0 (default) berarti tidak ada pembagian, sedangkan weight_tying=1.0 berarti pembagian penuh di seluruh modul target — mencapai efisiensi parameter yang ekstrem dengan hanya satu vektor u parameter yang dapat dilatih untuk seluruh model.

Saat menyimpan parameter adapter, Anda dapat memilih untuk tidak menyimpan matriks proyeksi acak dengan mengatur save_projection=False pada TinyLoraConfig. Dalam kasus tersebut, matriks ini akan dipulihkan berdasarkan seed acak tetap dari argumen projection_seed. Hal ini mengurangi ukuran checkpoint, tetapi kami tidak dapat menjamin reproduktibilitas di semua perangkat dan untuk semua versi PyTorch di masa depan. Jika Anda ingin memastikan reproduktibilitas, atur save_projection=True (yang merupakan nilai default).

TinyLoRA saat ini memiliki batasan berikut:

• Hanya lapisan nn.Linear, nn.Embedding, dan transformers.pytorch_utils.Conv1D yang didukung.

Abstrak dari makalah tersebut adalah:

Penelitian terbaru menunjukkan bahwa model bahasa dapat belajar untuk bernalar, sering kali melalui pembelajaran penguatan. Beberapa pekerjaan bahkan melatih parameterisasi ber-rank rendah untuk penalaran, tetapi LoRA konvensional tidak dapat diskalakan di bawah dimensi model. Kami mempertanyakan apakah bahkan LoRA dengan rank=1 diperlukan untuk belajar bernalar dan mengusulkan TinyLoRA, sebuah metode untuk menskalakan adapter ber-rank rendah hingga ukuran sekecil satu parameter. Dalam parameterisasi baru kami, kami mampu melatih ukuran 8B parameter dari Qwen2.5 hingga akurasi 91% pada GSM8K dengan hanya 13 parameter yang dilatih dalam bf16 (26 byte total). Kami menemukan bahwa tren ini berlaku secara umum: kami mampu memulihkan 90% peningkatan kinerja sambil melatih 1000x lebih sedikit parameter di serangkaian benchmark belajar-untuk-bernalar yang lebih sulit seperti AIME, AMC, dan MATH500. Yang patut dicatat, kami hanya mampu mencapai kinerja yang sangat kuat tersebut dengan RL: model yang dilatih menggunakan SFT memerlukan pembaruan 100-1000x lebih besar untuk mencapai kinerja yang sama.

Ikhtisar benchmark

API

TinyLoraConfig

from peft import get_peft_model, TinyLoraConfig

config = TinyLoraConfig(
    r=2,  # SVD rank (paper recommends 2)
    u=64,  # Trainable vector dimension
    weight_tying=0.0,  # No weight tying (0.0 = none, 1.0 = full)
    target_modules=["q_proj", "v_proj"],
    projection_seed=42,
)
model = get_peft_model(base_model, config)

TinyLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)