TinyLoRA: Học cách suy luận với 13 tham số

TinyLoRA là một kỹ thuật tinh chỉnh cực kỳ hiệu quả về tham số, được xây dựng dựa trên phương pháp LoRA-XS bằng cách sử dụng phân rã SVD của các trọng số đóng băng và chiếu một vector có thể huấn luyện nhỏ gọn thông qua các tensor ngẫu nhiên cố định. Khi kết hợp với các phương pháp huấn luyện học tăng cường (RL) như GRPO, TinyLoRA có thể đạt được hiệu suất cạnh tranh với chỉ từ 1 đến 13 tham số có thể huấn luyện.

Đột phá chính của TinyLoRA là thay thế ma trận hạng thấp có thể huấn luyện R bằng tổng có trọng số của các ma trận chiếu ngẫu nhiên cố định: R = Σᵢ vᵢ Pᵢ, trong đó v ∈ R^u là một vector huấn luyện nhỏ có kích thước u và Pᵢ là các ma trận ngẫu nhiên cố định. Điều này giảm đáng kể số lượng tham số có thể huấn luyện trong khi vẫn duy trì hiệu suất cạnh tranh.

TinyLoRA hỗ trợ việc gán trọng số thông qua tham số weight_tying, một tỷ lệ nằm trong khoảng từ 0.0 đến 1.0, kiểm soát số lượng module chia sẻ cùng một vector có thể huấn luyện v. Đặt weight_tying=0.0 (mặc định) có nghĩa là không chia sẻ, trong khi weight_tying=1.0 có nghĩa là chia sẻ hoàn toàn trên tất cả các module đích — đạt được hiệu quả tham số cực cao với chỉ một vector duy nhất gồm u tham số có thể huấn luyện cho toàn bộ mô hình.

Khi lưu các tham số adapter, bạn có thể bỏ qua việc lưu các ma trận chiếu ngẫu nhiên bằng cách đặt save_projection=False trên TinyLoraConfig. Trong trường hợp đó, các ma trận này sẽ được khôi phục dựa trên hạt ngẫu nhiên cố định từ đối số projection_seed. Điều này giúp giảm kích thước của checkpoint, nhưng chúng tôi không thể đảm bảo khả năng tái lập trên tất cả các thiết bị và cho tất cả các phiên bản PyTorch trong tương lai. Nếu bạn muốn đảm bảo khả năng tái lập, hãy đặt save_projection=True (đây là mặc định).

TinyLoRA hiện có các ràng buộc sau:

• Chỉ các lớp nn.Linear, nn.Embedding và transformers.pytorch_utils.Conv1D được hỗ trợ.

Tóm tắt từ bài báo là:

Nghiên cứu gần đây cho thấy các mô hình ngôn ngữ có thể học cách suy luận, thường thông qua học tăng cường. Một số công việc thậm chí huấn luyện các tham số hóa bậc thấp cho suy luận, nhưng LoRA thông thường không thể mở rộng xuống dưới kích thước của mô hình. Chúng tôi đặt câu hỏi liệu ngay cả LoRA với rank=1 có thực sự cần thiết để học cách suy luận hay không, và đề xuất TinyLoRA, một phương pháp để mở rộng các adapter bậc thấp xuống kích thước nhỏ đến mức chỉ một tham số. Trong tham số hóa mới của chúng tôi, chúng tôi có thể huấn luyện kích thước 8B tham số của Qwen2.5 đạt độ chính xác 91% trên GSM8K với chỉ 13 tham số được huấn luyện trong bf16 (tổng cộng 26 byte). Chúng tôi nhận thấy xu hướng này đúng một cách tổng quát: chúng tôi có thể khôi phục 90% cải thiện hiệu suất trong khi huấn luyện ít hơn 1000 lần số tham số trên một bộ các benchmark học cách suy luận khó hơn như AIME, AMC và MATH500. Đáng chú ý, chúng tôi chỉ có thể đạt được hiệu suất mạnh mẽ như vậy với RL: các mô hình được huấn luyện bằng SFT cần các cập nhật lớn hơn 100-1000 lần để đạt được hiệu suất tương đương.

Tổng quan về benchmark

API

TinyLoraConfig

from peft import get_peft_model, TinyLoraConfig

config = TinyLoraConfig(
    r=2,  # SVD rank (paper recommends 2)
    u=64,  # Trainable vector dimension
    weight_tying=0.0,  # No weight tying (0.0 = none, 1.0 = full)
    target_modules=["q_proj", "v_proj"],
    projection_seed=42,
)
model = get_peft_model(base_model, config)

TinyLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)