PEANuT: Điều chỉnh hiệu quả tham số với các bộ chỉnh sửa mạng nơ-ron nhận thức trọng số

PEANuT là một kỹ thuật tinh chỉnh hiệu quả về tham số, đưa vào các bộ điều chỉnh mạng nơ-ron nhận thức trọng số để tạo ra các bản cập nhật adapter từ chính các trọng số tiền huấn luyện đã đóng băng. Thay vì học một bản cập nhật hạng thấp tuyến tính thuần túy như trong LoRA, PEANuT đặt điều kiện cho phép biến đổi adapter dựa trên trọng số cơ sở, giúp quy tắc cập nhật trở nên biểu cảm hơn trong khi vẫn giữ số lượng tham số có thể huấn luyện ở mức nhỏ.

PEANuT sử dụng một phép chiếu đầu vào A, một phép chiếu đầu ra B, và các cặp encoder/decoder residual trung gian tùy chọn với các hàm kích hoạt phi tuyến. Điều này cho phép mô hình hóa các mẫu cập nhật phức tạp hơn so với các adapter tuyến tính không phụ thuộc trọng số, trong khi vẫn nằm trong phạm vi của PEFT.

PEANuT hiện có các đánh đổi sau:

Ưu điểm:

• Khả năng biểu diễn lý thuyết cao hơn so với các cập nhật hạng thấp tuyến tính.
• Hiệu suất tốt hơn LoRA trên một loạt các tác vụ với ngân sách tương đương.
• Hoạt động tốt trong các chế độ có rất ít tham số, ví dụ khoảng 0.2M tham số có thể huấn luyện.

Nhược điểm:

• Mức sử dụng bộ nhớ cao hơn so với LoRA, vì ΔW được xây dựng một cách tường minh trước khi được áp dụng.
• Tốc độ huấn luyện và suy luận chậm hơn so với LoRA, và các lớp trung gian sâu hơn sẽ làm tăng thêm chi phí này.
• Tính phi tuyến có thể đòi hỏi việc tinh chỉnh siêu tham số cẩn thận hơn, đặc biệt là tốc độ học và các cài đặt tối ưu hóa liên quan.

Nếu các đánh đổi này không phù hợp với trường hợp sử dụng của bạn, hãy cân nhắc các phương pháp PEFT khác như LoRA.

Tóm tắt từ bài báo là:

Việc tinh chỉnh các mô hình nền tảng tiền huấn luyện lớn thường mang lại hiệu suất hạ nguồn xuất sắc nhưng lại quá tốn kém khi cập nhật tất cả các tham số. Các phương pháp tinh chỉnh hiệu quả về tham số (PEFT) như LoRA giảm bớt điều này bằng cách giới thiệu các module cập nhật nhẹ, nhưng chúng thường dựa vào các xấp xỉ tuyến tính không phụ thuộc trọng số, làm hạn chế khả năng biểu diễn. Trong công việc này, chúng tôi đề xuất PEANuT, một khung PEFT mới giới thiệu các bộ chỉnh sửa mạng nơ-ron nhận thức trọng số, các module mạng nơ-ron gọn nhẹ tạo ra các cập nhật thích ứng với tác vụ có điều kiện dựa trên các trọng số tiền huấn luyện đã đóng băng. PEANuT cung cấp một cách linh hoạt nhưng hiệu quả để nắm bắt các mẫu cập nhật phức tạp mà không cần tinh chỉnh toàn bộ mô hình. Chúng tôi chứng minh về mặt lý thuyết rằng PEANuT đạt được khả năng biểu diễn tương đương hoặc lớn hơn so với các phương pháp PEFT tuyến tính hiện có với số tham số tương đương hoặc ít hơn. Các thí nghiệm rộng rãi trên bốn bộ chuẩn với hơn hai mươi bộ dữ liệu cho thấy PEANuT luôn vượt trội hơn các đường cơ sở mạnh trong cả các tác vụ NLP và thị giác, trong khi vẫn duy trì chi phí tính toán thấp.

Tổng quan về benchmark

API

PeanutConfig

PeanutModel