Accelerate documentation
Model kuantizasyonu
Model kuantizasyonu
bitsandbytes Entegrasyonu
Accelerate, modelinize bitsandbytes kuantizasyonunu getirir. Artık herhangi bir pytorch modelini birkaç satır kodla 8-bit veya 4-bit olarak yükleyebilirsiniz.
bitsandbytes ile Transformers modellerini kullanmak istiyorsanız, bu belgeye uymalısınız.
bitsandbytes kuantizasyonunun nasıl çalıştığı hakkında daha fazla bilgi edinmek için 8-bit kuantizasyon ve 4-bit kuantizasyon blog yazılarını inceleyin.
Ön Gereksinimler
Aşağıdaki gereksinimleri yüklemeniz gerekecektir:
bitsandbyteskütüphanesini yükleyin
pip install bitsandbytes
cuda dışındaki cihazlar için bitsandbytes kurulum kılavuzuna buradan erişebilirsiniz.
- En son
acceleratesürümünü kaynak kodundan yükleyin
pip install git+https://github.com/huggingface/accelerate.git
- Örnekleri çalıştırmak için
minGPTvehuggingface_hubpaketlerini yükleyin
git clone https://github.com/karpathy/minGPT.git
pip install minGPT/
pip install huggingface_hubNasıl çalışır
Öncelikle modelimizi başlatmamız gerekir. Belleği tasarruflu kullanmak için init_empty_weights() bağlam yöneticisini kullanarak boş bir model başlatabiliriz.
minGPT kütüphanesinden GPT2 modelini ele alalım.
from accelerate import init_empty_weights
from mingpt.model import GPT
model_config = GPT.get_default_config()
model_config.model_type = 'gpt2-xl'
model_config.vocab_size = 50257
model_config.block_size = 1024
with init_empty_weights():
empty_model = GPT(model_config)Ardından, modelinizin ağırlıklarına giden yolu almanız gerekir. Yol, state_dict dosyası (ör. “pytorch_model.bin”) veya parçalanmış checkpoint'leri içeren bir klasör olabilir.
from huggingface_hub import snapshot_download
weights_location = snapshot_download(repo_id="marcsun13/gpt2-xl-linear-sharded")Son olarak, BnbQuantizationConfig ile nicelleştirme yapılandırmanızı ayarlamanız gerekir.
İşte 8-bit kuantizasyon için bir örnek:
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_8bit=True, llm_int8_threshold = 6)4-bit kuantizasyon için bir örnek:
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4")Seçilen yapılandırmayla boş modelinizi nicelleştirmek için load_and_quantize_model() kullanmanız gerekir.
from accelerate.utils import load_and_quantize_model
quantized_model = load_and_quantize_model(empty_model, weights_location=weights_location, bnb_quantization_config=bnb_quantization_config)8-bit modelin kaydedilmesi ve yüklenmesi
8-bit modelinizi save_model() kullanarak accelerate ile kaydedebilirsiniz.
from accelerate import Accelerator
accelerate = Accelerator()
new_weights_location = "path/to/save_directory"
accelerate.save_model(quantized_model, new_weights_location)
quantized_model_from_saved = load_and_quantize_model(empty_model, weights_location=new_weights_location, bnb_quantization_config=bnb_quantization_config, device_map = "auto")4-bit model serileştirmesinin şu anda desteklenmediğini unutmayın.
Modülleri cpu ve disk'e aktar
GPU'larda tüm modeli depolamak için yeterli alanınız yoksa bazı modülleri cpu/disk'e aktarabilirsiniz. Bu, arka planda büyük model çıkarımını kullanır. Daha fazla ayrıntı için bu belgeye göz atın.
8-bit kuantizasyon için, seçilen modüller 8-bit hassasiyete dönüştürülür.
4-bit kuantizasyon için, seçilen modüller, kullanıcının BnbQuantizationConfig içinde ilettiği torch_dtype ile korunacaktır. 4-bit seri hale getirme mümkün olduğunda, bu taşınan modüllerin 4-bit'e dönüştürülmesine destek ekleyeceğiz.
Modülleri cpu/disk'e taşımak için yalnızca özel bir device_map geçmeniz yeterlidir. Taşınan modüller, gerektiğinde GPU'ya yönlendirilecektir. İşte bir örnek:
device_map = {
"transformer.wte": 0,
"transformer.wpe": 0,
"transformer.drop": 0,
"transformer.h": "cpu",
"transformer.ln_f": "disk",
"lm_head": "disk",
}Kantize edilmiş bir modeli ince ayar yapın
Bu modeller üzerinde saf 8bit veya 4bit eğitim yapmak mümkün değildir. Ancak, parametre verimli ince ayar yöntemlerini (PEFT) kullanarak bu modelleri eğitebilir ve örneğin bunların üzerine adaptörler eğitebilirsiniz. Daha fazla ayrıntı için peft kütüphanesine göz atın.
Şu anda herhangi bir kuantize modelin üzerine adaptör ekleyemezsiniz. Ancak, Transformers modellerinde adaptörlerin resmi olarak desteklenmesi sayesinde kuantize modelleri ince ayarlayabilirsiniz. Bir Transformers modelini ince ayarlamak istiyorsanız, bunun yerine bu belgeye bakın. 4-bit bir Transformers modelini nasıl ince ayarlayacağınızı gösteren bu demoyu inceleyin.
Modeli eğitim için yüklerken device_map parametresini iletmenize gerek olmadığını unutmayın. Modeliniz otomatik olarak GPU'nuzda yüklenecektir. Lütfen device_map=auto'nun yalnızca çıkarım (inference) için kullanılması gerektiğini not edin.
Örnek demo - Google Colab üzerinde GPT2 1.5b çalıştırma
GPT2 modeli üzerinde kuantize modelleri çalıştırmak için Google Colab demosuna göz atın. GPT2-1.5B model kontrol noktası FP32 formatındadır ve 6GB bellek kullanır. Kuantizasyon sonrasında, 8-bit modüllerle 1.6GB, 4-bit modüllerle 1.2GB bellek kullanır.
Update on GitHub