LoHa

Метод низкорангового произведения Хадама (LoHa) похож на LoRA, за исключением того, что он аппроксимирует большую матрицу весов с помощью большего количества низкоранговых матриц и комбинирует их с использованием произведения Хадама. Этот метод ещё более параметрически эффективен, чем LoRA, и обеспечивает сопоставимую производительность. LoHa был изначально предложен для федеративного обучения (FedPara), но хорошо работает как универсальный метод PEFT и особенно популярен для дообучения моделей генерации изображений, таких как Stable Diffusion.

Примечание: LoHa входит в семейство адаптеров LyCORIS. Его близкий родственник LoKr использует произведение Кронекера вместо произведения Хадамарда.

Аннотация из статьи:

В данной работе мы предлагаем коммуникационно-эффективную параметризацию FedPara для федеративного обучения (FL), позволяющую снизить нагрузку, связанную с частыми загрузками и выгрузками моделей. Наш метод переопределяет весовые параметры слоёв с использованием весов низкого ранга, за которыми следует произведение Хадамарда. В отличие от традиционной параметризации низкого ранга, наш метод FedPara не ограничен условиями низкого ранга, что обеспечивает значительно большую ёмкость модели. Это свойство позволяет достичь сопоставимого качества при снижении затрат на коммуникацию в 3–10 раз по сравнению с моделью, использующей исходные слои, чего невозможно добиться с помощью классических методов низкого ранга. Эффективность нашего метода можно дополнительно повысить за счёт его сочетания с другими эффективными оптимизаторами FL. Кроме того, мы расширяем наш метод на применение в персонализированном федеративном обучении, pFedPara, который разделяет параметры на глобальные и локальные. Мы показываем, что pFedPara превосходит конкурирующие методы персонализированного FL, используя более чем в три раза меньше параметров.

Разложение низкого ранга может влиять на производительность, поскольку обновления весов ограничены пространством низкого ранга, что может сужать выразительность модели. Однако не всегда целесообразно использовать более высокий ранг, так как это увеличивает количество обучаемых параметров. Для решения этой проблемы LoHa был применён к диффузионным моделям, где способность генерировать разнообразные изображения является важным фактором. LoHa также должен работать с общими типами моделей, но поддержка слоёв встраиваний (embedding layers) в настоящее время не реализована в PEFT.

LoHa использует произведение Хадамада (посимвольное произведение) вместо матричного произведения. $\Delta W$ представляется четырьмя меньшими матрицами вместо двух — как в LoRA — и каждая пара этих матриц низкого ранга объединяется с помощью произведения Хадамада. В результате $\Delta W$ может иметь то же количество обучаемых параметров, но более высокий ранг и выразительность.

Когда использовать LoHa

LoHa — хороший выбор, когда:

• Вы дообучаете модели генерации изображений (UNet Stable Diffusion или текстовый энкодер), где это применение наиболее распространено.
• Вы хотите получить более высокий эффективный ранг, чем у LoRA, при том же количестве обучаемых параметров, поскольку гадардовское произведение двух матриц низкого ранга охватывает подпространство большего размера, чем одно произведение низкого ранга.
• Вы хотите комбинировать различные методы PEFT на этапе инференса с помощью PeftMixedModel, например, LoHa вместе с LoKr.

LoHa поддерживает линейные слои и слои Conv2d. Для задач, в которых дополнительно требуется адаптация слоя встраивания, рассмотрите использование LoRA.

Использование

from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model

config_unet = LoHaConfig(
    r=8,
    alpha=8,
    target_modules=[
        "to_k",
        "to_q",
        "to_v",
        "to_out.0",
        "proj_in",
        "proj_out",
    ],
    rank_dropout=0.0,
    module_dropout=0.0,
    use_effective_conv2d=True,
)

pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()

Обзор бенчмарков

API

LoHaConfig

LoHaModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaConfig, get_peft_model

>>> config_te = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)