Ponte entre a adaptação de baixo posto e a adaptação ortogonal por meio da Adaptação por Reflexão de Householder (HRA)

HRA oferece uma nova perspectiva que conecta LoRA a OFT, o que significa que ele pode aproveitar as vantagens de ambas as estratégias, ao utilizar Householder reflections para reduzir parâmetros e custos de computação, ao mesmo tempo em que penaliza a perda de conhecimento do pré-treinamento. Ele consistentemente alcança melhor desempenho com menos parâmetros treináveis e supera adaptadores state-of-the-art em diferentes modelos, incluindo modelos de linguagem grandes (LLMs) e geradores condicionais de imagens.

O HRA constrói uma cadeia de r reflexões de Householder treináveis (HRs). Como a matriz de reflexão de Householder é uma matriz ortogonal e o produto de matrizes ortogonais também é uma matriz ortogonal, o HRA satisfaz a garantia teórica do Orthogonal Finetuning (OFT). Além disso, o HRA também pode ser visto como um adaptador de fine-tuning de baixo rank. Quanto maior r, mais parâmetros treináveis, resultando em uma maior capacidade do modelo e melhor desempenho. Além disso, devido à estrutura em cadeia, a ortogonalidade dos planos de HR impacta a capacidade e a regularidade do HRA. Para alcançar um equilíbrio entre a capacidade do modelo e a regularidade, um regularizador de ortogonalidade dos planos de HR é adicionado à função de perda. O peso$\lambda$ pode controlar a força do regularizador.

O resumo do artigo é:

Embora sigam rotas técnicas diferentes, as técnicas de adaptação de baixo posto e ortogonais podem adaptar eficientemente modelos de pré-treinamento em larga escala para tarefas ou domínios específicos com base em um pequeno conjunto de parâmetros treináveis. Neste estudo, preenchemos a lacuna entre essas duas técnicas, propondo um método de adaptação simples, porém eficaz, baseado em reflexões de Householder. Dado um modelo pré-treinado, nosso método faz o ajuste fino de suas camadas multiplicando cada matriz de pesos congelada por uma matriz ortogonal construída por uma cadeia de reflexões de Householder (HRs) treináveis. Esse ajuste fino ortogonal baseado em HRs é equivalente a uma adaptação de baixo posto adaptativa. Além disso, mostramos que a ortogonalidade dos planos de reflexão correspondentes às HRs impacta a capacidade e a regularidade do modelo. Essa análise nos motiva a regularizar a ortogonalidade das HRs, levando a diferentes implementações do método proposto de adaptação por reflexão de Householder (HRA). Em comparação com métodos de estado da arte, o HRA alcança desempenho superior com menos parâmetros treináveis ao adaptar modelos de linguagem de grande porte e geradores de imagem condicionais. O código está disponível em peft e HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAModel, HRAConfig

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = HRAModel(model.text_encoder, config_te, "default")
>>> model.unet = HRAModel(model.unet, config_unet, "default")