Model ini disumbangkan ke Hugging Face Transformers pada 2023-05-09.

RWKV

Ikhtisar

Model RWKV (versi 4) diusulkan di repo ini

Hal ini mengusulkan penyesuaian pada perhatian Transformer tradisional agar menjadi linear. Dengan cara ini, model dapat digunakan sebagai jaringan rekuren: meneruskan input untuk timestamp 0 dan timestamp 1 secara bersamaan sama dengan meneruskan input pada timestamp 0, kemudian input pada timestamp 1 bersama dengan state dari timestamp 0 (lihat contoh di bawah).

Hal ini dapat lebih efisien daripada Transformer reguler dan dapat menangani kalimat dengan panjang apa pun (bahkan jika model menggunakan panjang konteks tetap untuk pelatihan).

Model ini disumbangkan oleh sgugger. Kode aslinya dapat ditemukan di sini.

Contoh penggunaan

import torch

from transformers import AutoTokenizer, RwkvModel


model = RwkvModel.from_pretrained("sgugger/rwkv-430M-pile", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sgugger/rwkv-430M-pile")

inputs = tokenizer("This is an example.", return_tensors="pt").to(model.device)
# Feed everything to the model
outputs = model(inputs["input_ids"])
output_whole = outputs.last_hidden_state

outputs = model(inputs["input_ids"][:, :2])
output_one = outputs.last_hidden_state

# Using the state computed on the first inputs, we will get the same output
outputs = model(inputs["input_ids"][:, 2:], state=outputs.state)
output_two = outputs.last_hidden_state

torch.allclose(torch.cat([output_one, output_two], dim=1), output_whole, atol=1e-5)

Jika Anda ingin memastikan model berhenti menghasilkan teks ketika '\n\n' terdeteksi, kami merekomendasikan untuk menggunakan kriteria penghentian berikut:

from transformers import StoppingCriteria


class RwkvStoppingCriteria(StoppingCriteria):
    def __init__(self, eos_sequence = [187,187], eos_token_id = 537):
        self.eos_sequence = eos_sequence
        self.eos_token_id = eos_token_id

    def __call__(self, input_ids: torch.LongTensor, scores: torch.Tensor, **kwargs) -> bool:
        last_2_ids = input_ids[:,-2:].tolist()
        return self.eos_sequence in last_2_ids


output = model.generate(inputs["input_ids"], max_new_tokens=64, stopping_criteria = [RwkvStoppingCriteria()])

Catatan

• Gunakan padding kiri untuk generasi batched. Lihat Sisi padding.

RwkvConfig

>>> from transformers import RwkvConfig, RwkvModel

>>> # Initializing a Rwkv configuration
>>> configuration = RwkvConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RwkvModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

RwkvModel

RwkvLMHeadModel

Perhatian Rwkv dan rumus rekurens

Pada Transformer auto-regressive tradisional, attention ditulis sebagai $$O = \hbox{softmax}(QK^{T} / \sqrt{d}) V$$

dengan $Q$, $K$ dan $V$ adalah matriks dengan bentuk seq_len x hidden_size yang disebut query, key, dan value (sebenarnya ini adalah matriks yang lebih besar dengan dimensi batch dan dimensi attention head, tetapi kami hanya tertarik pada dua dimensi terakhir, yaitu tempat perkalian matriks dilakukan, sehingga demi kesederhanaan kami hanya mempertimbangkan dua dimensi tersebut). Hasil perkalian $QK^{T}$ lalu memiliki bentuk seq_len x seq_len dan kami dapat melakukan perkalian matriks dengan $V$ untuk mendapatkan output $O$ dengan bentuk yang sama seperti yang lain.

Menggantikan softmax dengan nilainya menghasilkan: $$O_{i} = \frac{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}} V_{j}}{\sum_{j=1}^{i} e^{Q_{i} K_{j}^{T} / \sqrt{d}}}$$

Perhatikan bahwa entri dalam $QK^{T}$ yang sesuai dengan $j > i$ dimasker (penjumlahan berhenti di j) karena attention tidak diizinkan melihat token masa depan (hanya token masa lalu).

Sebagai perbandingan, perhatian RWKV diberikan oleh $$O_{i} = \sigma(R_{i}) \frac{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}} V_{j}}{\sum_{j=1}^{i} e^{W_{i-j} + K_{j}}}$$

di mana $R$ adalah matriks baru yang disebut receptance oleh penulisnya, $K$ dan $V$ tetap menjadi key dan value ($\sigma$ di sini adalah fungsi sigmoid). $W$ adalah vektor baru yang merepresentasikan posisi token dan diberikan oleh $$W_{0} = u \hbox{ and } W_{k} = (k-1)w \hbox{ for } k \geq 1$$

dengan $u$ dan $w$ parameter yang dapat dipelajari, yang disebut dalam kode sebagai time_first dan time_decay masing-masing. Pembilang dan penyebut keduanya dapat diekspresikan secara rekursif. Dengan menamainya $N_{i}$ dan $D_{i}$ kita memiliki: $$N_{i} = e^{u + K_{i}} V_{i} + \hat{N}_{i} \hbox{ where } \hat{N}_{i} = e^{K_{i-1}} V_{i-1} + e^{w + K_{i-2}} V_{i-2} \cdots + e^{(i-2)w + K_{1}} V_{1}$$

sehingga $\hat{N}_{i}$ (disebut numerator_state dalam kode) memenuhi $$\hat{N}_{0} = 0 \hbox{ and } \hat{N}_{j+1} = e^{K_{j}} V_{j} + e^{w} \hat{N}_{j}$$

dan $$D_{i} = e^{u + K_{i}} + \hat{D}_{i} \hbox{ where } \hat{D}_{i} = e^{K_{i-1}} + e^{w + K_{i-2}} \cdots + e^{(i-2)w + K_{1}}$$

sehingga $\hat{D}_{i}$ (disebut denominator_state dalam kode) memenuhi $$\hat{D}_{0} = 0 \hbox{ and } \hat{D}_{j+1} = e^{K_{j}} + e^{w} \hat{D}_{j}$$

Rumus rekuren yang sebenarnya digunakan sedikit lebih kompleks, karena untuk stabilitas numerik kita tidak ingin menghitung eksponen dari angka-angka besar. Biasanya, softmax tidak dihitung apa adanya, melainkan eksponen dari suku maksimum dibagi pada pembilang dan penyebut: $$\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}} = \frac{e^{x_{i} - M}}{\sum_{j=1}^{n} e^{x_{j} - M}}$$

dengan $M$ sebagai maksimum dari semua $x_{j}$. Jadi, di sini selain menyimpan state pembilang ($\hat{N}$) dan state penyebut ($\hat{D}$), kita juga melacak maksimum dari semua suku yang ditemui dalam eksponensial. Jadi, kita sebenarnya menggunakan $$\tilde{N}_{i} = e^{-M_{i}} \hat{N}_{i} \hbox{ and } \tilde{D}_{i} = e^{-M_{i}} \hat{D}_{i}$$

didefinisikan oleh rumus rekuren berikut: $$\tilde{N}_{0} = 0 \hbox{ and } \tilde{N}_{j+1} = e^{K_{j} - q} V_{j} + e^{w + M_{j} - q} \tilde{N}_{j} \hbox{ where } q = \max(K_{j}, w + M_{j})$$

dan $$\tilde{D}_{0} = 0 \hbox{ and } \tilde{D}_{j+1} = e^{K_{j} - q} + e^{w + M_{j} - q} \tilde{D}_{j} \hbox{ where } q = \max(K_{j}, w + M_{j})$$

dan $M_{j+1} = q$. Dengan itu, kita dapat menghitung $$N_{i} = e^{u + K_{i} - q} V_{i} + e^{M_{i}} \tilde{N}_{i} \hbox{ where } q = \max(u + K_{i}, M_{i})$$

dan $$D_{i} = e^{u + K_{i} - q} + e^{M_{i}} \tilde{D}_{i} \hbox{ where } q = \max(u + K_{i}, M_{i})$$

yang akhirnya menghasilkan $$O_{i} = \sigma(R_{i}) \frac{N_{i}}{D_{i}}$$