Cartridges

Cartridges là một phương pháp học theo prompt, lưu trữ biểu diễn ngữ cảnh dài đã nén dưới dạng tiền tố KV-cache có tham số hóa. Ý tưởng cốt lõi đến từ bài báo Cartridges: Lightweight and general-purpose long context representations via self-study.

Để có cái nhìn tổng quan và động lực, hãy xem bài đăng trên blog Cartridges: Storing long contexts in tiny caches with self-study.

Cách Cartridges khác với Prefix Tuning

Cả Prefix Tuning và Cartridges đều được triển khai bằng cách tiêm past_key_values (bộ đệm KV tiền tố) vào mô hình cơ sở.

• Prefix Tuning học các nhúng token ảo (và tùy chọn một phép chiếu MLP) và tạo ra một tiền tố KV.
• Cartridges học trực tiếp chính tiền tố KV (các vector key/value theo từng lớp cho p token ảo), và được thiết kế để khởi tạo từ KV prefill thực tế (ví dụ, p token đầu tiên của một tập dữ liệu/hệ thống prompt).

Bài báo cũng khuyến nghị đóng băng token đầu tiên như một điểm neo chú ý để đảm bảo tính ổn định (num_frozen_tokens=1 là mặc định).

Cách sử dụng (suy luận)

Tải adapter CARTRIDGE đã được huấn luyện và chạy tạo văn bản:

from transformers import AutoModelForCausalLM, AutoTokenizer

from peft import PeftModel

model_id = "Qwen/Qwen2.5-0.5B-Instruct"
adapter_path = "path/to/cartridge_adapter"

base = AutoModelForCausalLM.from_pretrained(model_id)
model = PeftModel.from_pretrained(base, adapter_path)

tok = AutoTokenizer.from_pretrained(model_id)
if tok.pad_token is None:
    tok.pad_token = tok.eos_token

out = model.generate(**tok("Question about the corpus:", return_tensors="pt"), max_new_tokens=64)
print(tok.decode(out[0], skip_special_tokens=True))

Nếu bạn cần tạo và khởi tạo một cartridge trước khi huấn luyện, hãy xem các tùy chọn khởi tạo bên dưới.

Các tùy chọn khởi tạo

Bài báo thảo luận về một số chiến lược khởi tạo thực tiễn:

• Random KV (mặc định): tạo một CartridgeConfig và bắt đầu huấn luyện. Thao tác này sẽ khởi tạo tiền tố KV một cách ngẫu nhiên.
• KV từ các token đầu tiên của một prompt/corpus: sử dụng initialize_kv_prefix_from_text(model, tokenizer, text=...). Thao tác này thực hiện prefill trên text và sao chép bộ nhớ đệm KV kết quả cho num_virtual_tokens đầu tiên vào adapter.
• KV từ bộ nhớ đệm hiện có: hãy sử dụng initialize_kv_prefix_from_past_key_values(model, past_key_values=...) nếu bạn đã có một đối tượng past_key_values từ bước prefill của mô hình cơ sở.

Huấn luyện

Bài báo Cartridges đề xuất một mục tiêu chưng cất SELF-STUDY (một mô hình cơ sở đóng băng cung cấp logits của giáo viên; bộ thích ứng CARTRIDGE được huấn luyện để học sinh khớp với phân phối token tiếp theo của giáo viên trên đoạn đích). PEFT giữ logic huấn luyện tách khỏi thư viện lõi; xem https://github.com/huggingface/peft/tree/main/examples/cartridge_self_study để biết quy trình tham chiếu. Các script trong ví dụ sử dụng mô hình cơ sở đóng băng làm giáo viên và mô hình đã thích ứng làm học sinh, do đó cả hai cùng chia sẻ checkpoint cơ bản.

Cấu thành

Để ghép nối các cartridge được huấn luyện độc lập thành một adapter duy nhất, hãy sử dụng compose_cartridge_adapters(...).

API

CartridgeConfig

CartridgeEncoder

initialize_kv_prefix_from_past_key_values

prompt_embeddings_from_past_key_values