LoHa

Low-Rank Hadamard Product (LoHa) mirip dengan LoRA, kecuali bahwa metode ini mengaproksimasi matriks bobot besar dengan lebih banyak matriks ber-rank rendah dan menggabungkannya dengan produk Hadamard. Metode ini bahkan lebih efisien dalam hal parameter dibandingkan LoRA dan mencapai kinerja yang sebanding. LoHa awalnya diusulkan untuk federated learning (FedPara), tetapi berfungsi dengan baik sebagai metode PEFT umum, dan sangat populer untuk fine-tuning model generasi gambar seperti Stable Diffusion.

Catatan: LoHa adalah bagian dari keluarga adapter LyCORIS. Kerabat dekatnya, LoKr, menggunakan produk Kronecker alih-alih produk Hadamard.

Abstrak dari makalah tersebut adalah:

Dalam karya ini, kami mengusulkan parameterisasi yang efisien dalam komunikasi, FedPara, untuk pembelajaran federasi (FL) guna mengatasi beban dari unggah dan unduh model yang sering. Metode kami memparameterisasi ulang parameter bobot lapisan menggunakan bobot ber-rank rendah yang diikuti oleh produk Hadamard. Dibandingkan dengan parameterisasi ber-rank rendah konvensional, metode FedPara kami tidak dibatasi oleh kendala ber-rank rendah, sehingga memiliki kapasitas yang jauh lebih besar. Sifat ini memungkinkan pencapaian kinerja yang sebanding sambil membutuhkan biaya komunikasi 3 hingga 10 kali lebih rendah daripada model dengan lapisan asli, yang tidak dapat dicapai oleh metode ber-rank rendah tradisional. Efisiensi metode kami dapat ditingkatkan lebih lanjut dengan dikombinasikan dengan optimizer FL efisien lainnya. Selain itu, kami memperluas metode kami ke aplikasi FL personalisasi, pFedPara, yang memisahkan parameter menjadi global dan lokal. Kami menunjukkan bahwa pFedPara melampaui metode FL personalisasi kompetitor dengan lebih dari tiga kali lebih sedikit parameter.

Dekomposisi rank rendah dapat memengaruhi kinerja karena pembaruan bobot dibatasi pada ruang rank rendah, yang dapat membatasi ekspresivitas model. Namun, Anda tidak selalu ingin menggunakan rank yang lebih besar karena hal itu meningkatkan jumlah parameter yang dapat dilatih. Untuk mengatasi hal ini, LoHa diterapkan pada model difusi di mana kemampuan untuk menghasilkan gambar yang beragam merupakan pertimbangan penting. LoHa juga seharusnya dapat bekerja dengan jenis model umum, tetapi dukungan untuk lapisan embedding saat ini belum diimplementasikan di PEFT.

LoHa menggunakan produk Hadamard ((produk elemen-per-elemen) alih-alih produk matriks. $\Delta W$ direpresentasikan oleh empat matriks yang lebih kecil, bukan dua - seperti pada LoRA - dan setiap pasangan matriks ber-rank rendah ini digabungkan dengan produk Hadamard. Akibatnya, $\Delta W$ dapat memiliki jumlah parameter yang dapat dilatih sama, tetapi dengan rank dan ekspresivitas yang lebih tinggi.

Kapan menggunakan LoHa

LoHa adalah pilihan yang tepat ketika:

• Anda sedang melakukan fine-tuning pada model generasi gambar (Stable Diffusion UNet atau text encoder), di mana penggunaannya paling luas.
• Anda menginginkan rank efektif yang lebih tinggi daripada LoRA untuk jumlah parameter yang dapat dilatih yang sama, karena produk Hadamard dari dua matriks ber-rank rendah mencakup subruang yang lebih besar daripada produk ber-rank rendah tunggal.
• Anda ingin menggabungkan berbagai metode PEFT pada saat inferensi menggunakan PeftMixedModel, misalnya LoHa bersama dengan LoKr.

LoHa mendukung lapisan linear dan Conv2d. Untuk tugas yang juga memerlukan adaptasi lapisan embedding, pertimbangkan LoRA sebagai gantinya.

Penggunaan

from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model

config_unet = LoHaConfig(
    r=8,
    alpha=8,
    target_modules=[
        "to_k",
        "to_q",
        "to_v",
        "to_out.0",
        "proj_in",
        "proj_out",
    ],
    rank_dropout=0.0,
    module_dropout=0.0,
    use_effective_conv2d=True,
)

pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()

Ikhtisar benchmark

API

LoHaConfig

LoHaModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaModel, LoHaConfig

>>> config_te = LoHaConfig(
...     r=8,
...     lora_alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoHaConfig(
...     r=8,
...     lora_alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = LoHaModel(model.text_encoder, config_te, "default")
>>> model.unet = LoHaModel(model.unet, config_unet, "default")