Accelerate documentation
Durumlu Sınıflar
Durumlu Sınıflar
Aşağıda, tüm örneklerin aynı durumu paylaştığı ve bu durumun ilk örneklemeye (instantiation) başlatıldığı anlamda bir singleton sınıfı varyasyonları yer almaktadır.
Bu sınıflar değiştirilemez ve belirli yapılandırmalar veya durumlar hakkında bilgi saklar.
PartialState
sınıf accelerate.PartialState
< source >( cpu: bool = False**kwargs )
Parametreler
- cpu (
bool, isteğe bağlı) — Betiklerin CPU üzerinde çalıştırılmasının zorunlu kılınıp kılınmadığını belirtir.Trueolarak ayarlanırsa mevcut tüm hızlandırıcılar yok sayılır ve çalıştırma CPU üzerinde zorunlu kılınır. - kwargs (ek anahtar kelime argümanları, isteğe bağlı) —
İlgili
init_process_groupfonksiyonuna iletilecek ek anahtar kelime argümanları. Geçerlikwargsdeğerleri utils.InitProcessGroupKwargs içinde bulunabilir. Ayrıntılı kullanım için örnek bölümüne bakın.
Mevcut eğitim ortamına ilişkin bilgiyi ve süreç kontrolüne yardımcı işlevleri içeren singleton sınıfı. Yalnızca süreç kontrolü ve cihaz çalışma durumlarının gerektiği durumlarda kullanılmak üzere tasarlanmıştır. Accelerator üzerinden başlatılmasına gerek yoktur.
Kullanılabilir öznitelikler:
- device (
torch.device) — Kullanılacak cihaz. - distributed_type (DistributedType) — Şu anda kullanılan dağıtık ortamın türü.
- local_process_index (
int) — Mevcut sunucudaki mevcut sürecin indeksi. - mixed_precision (
str) — Mevcut betiğin karma hassasiyet (mixed precision) kullanıp kullanmayacağı ve kullanıyorsa uygulanan karma hassasiyet türü. (‘no’,‘fp16’,‘bf16 veya ‘fp8’ seçeneklerinden birini seçin). - num_processes (
int) — Paralel olarak başlatılan süreçlerin sayısı. - process_index (
int) — Mevcut sürecin indeksi. - is_last_process (
bool) — Mevcut sürecin son süreç olup olmadığı. - is_main_process (
bool) — Mevcut sürecin ana süreç olup olmadığı. - is_local_main_process (
bool) — Mevcut sürecin yerel düğümde ana süreç olup olmadığı. - debug (
bool) — Mevcut betiğin hata ayıklama modunda çalıştırılıp çalıştırılmadığını belirtir.
Örnek:
from accelerate.utils import InitProcessGroupKwargs
# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)Süreç grubunu yok eder. Belirtilmemişse, varsayılan süreç grubu yok edilir.
Yerel ana sürecin bir with bloğunun içine girmesini sağlar.
Diğer süreçler, ana süreç çıktığında with bloğuna girecektir.
Örnek:
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> with state.local_main_process_first():
... # This will be printed first by local process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {state.local_process_index}")Bir with bloğu içinde ana sürecin önce gitmesine izin verir.
Diğer süreçler, ana süreç çıktığında with bloğuna girecektir.
Örnek:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
... # This will be printed first by process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {accelerator.process_index}")on_last_process
< source >( function: Callable[..., Any] )
Sadece son işlemde dekore edilen fonksiyonu çalıştıran dekoratör.
on_local_main_process
< source >( function: Callable[..., Any] | None = None )
Yalnızca yerel ana süreçte dekore edilen fonksiyonu çalıştıran dekoratör.
Örnek:
# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState
state = PartialState()
@state.on_local_main_process
def print_something():
print("This will be printed by process 0 only on each server.")
print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"on_local_process
< source >( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )
Mevcut düğümde verilen indekse sahip işlemde yalnızca dekore edilen fonksiyonu çalıştıran dekoratör.
Örnek:
# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator
accelerator = Accelerator()
@accelerator.on_local_process(local_process_index=2)
def print_something():
print(f"Printed on process {accelerator.local_process_index}")
print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"on_main_process
< source >( function: Callable[..., Any] | None = None )
Yalnızca ana süreçte dekore edilen fonksiyonu çalıştıran dekoratör.
on_process
< source >( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )
Belirtilen indekse sahip işlemde yalnızca süslenmiş işlevi çalıştıran dekoratör.
self.device içindeki cihazı, mevcut dağıtık ortama ayarlar.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parametreler
- inputs (
list,tuple,torch.Tensor,dictoflist/tuple/torch.Tensor, ordatasets.Dataset) — İşlemler arasında bölünecek girdi. - apply_padding (
bool,optional, varsayılanFalse) — Girdinin son elemanını tekrarlayarak tüm süreçlerin aynı sayıda elemana sahip olmasını sağlamak için dolgu uygulanıp uygulanmayacağı. Çıktılardagather()gibi işlemleri gerçekleştirmeye çalışırken veya süreç sayısından daha az girdi geçirirken faydalıdır. Bu durumda, daha sonra dolgulu elemanların atıldığını unutmayın.
input değerini self.num_processes arasında hızlı bir şekilde dağıtır ve ardından ilgili işlemde kullanılabilir. Farklı istemler gibi dağıtık çıkarım senaryolarında faydalıdır.
Bir dict kullanırken tüm anahtarların aynı sayıda öğeye sahip olması gerektiğini unutmayın.
Örnek:
# Assume there are two processes
from accelerate import PartialState
state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]Mevcut sürecin çalışmasını, diğer tüm süreçler o noktaya ulaşana kadar durdurur (bu nedenle betik yalnızca tek bir süreçte çalıştırıldığında hiçbir işe yaramaz). Bir model kaydetmeden önce yapmak için faydalıdır.
Örnek:
>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> if state.is_main_process:
... time.sleep(2)
>>> else:
... print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")AcceleratorState
sınıf accelerate.state.AcceleratorState
< source >( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )
Mevcut eğitim ortamına dair bilgi içeren Singleton sınıfı.
Kullanılabilir öznitelikler:
- device (
torch.device) — Kullanılacak cihaz. - distributed_type (DistributedType) — Şu anda kullanılan dağıtık ortamın türü.
- parallelism_config (
ParallelismConfig) — Güncel eğitim ortamı için paralellik yapılandırması. Bu, dağıtık eğitim ortamını yapılandırmak için kullanılır. - başlatıldı (
bool) —AcceleratorState'inAcceleratorüzerinden başlatılıp başlatılmadığını belirtir. - local_process_index (
int) — Mevcut sunucudaki mevcut sürecin indeksi. - mixed_precision (
str) — Mevcut betiğin karma hassasiyet (mixed precision) kullanıp kullanmayacağı ve kullanıyorsa uygulanan karma hassasiyet türü. (‘no’,‘fp16’,‘bf16 veya ‘fp8’ seçeneklerinden birini seçin). - num_processes (
int) — Paralel olarak başlatılan süreçlerin sayısı. - process_index (
int) — Mevcut sürecin indeksi. - is_last_process (
bool) — Mevcut sürecin son süreç olup olmadığı. - is_main_process (
bool) — Mevcut sürecin ana süreç olup olmadığı. - is_local_main_process (
bool) — Mevcut sürecin yerel düğümde ana süreç olup olmadığı. - debug (
bool) — Mevcut betiğin hata ayıklama modunda çalıştırılıp çalıştırılmadığını belirtir.
Süreç grubunu yok eder. Belirtilmemişse, varsayılan süreç grubu yok edilir.
self.fork_launched True ve group None ise hiçbir işlem yapılmaz.
Verilen plugin_key ile DeepSpeedPlugin'i döndürür.
Yerel ana sürecin bir with bloğunun içine girmesini sağlar.
Diğer süreçler, ana süreç çıktığında with bloğuna girecektir.
Bir with bloğu içinde ana sürecin önce gitmesine izin verir.
Diğer süreçler, ana süreç çıktığında with bloğuna girecektir.
Verilen name ile DeepSpeedPlugin'i etkinleştirir ve diğer tüm eklentileri devre dışı bırakır.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parametreler
- inputs (
list,tuple,torch.Tensorveyalist/tuple/torch.Tensoriçerendict) — Süreçler arasında bölünecek girdi. - apply_padding (
bool,optional, varsayılanFalse) — Girdinin son elemanını tekrarlayarak tüm süreçlerin aynı sayıda elemana sahip olmasını sağlamak için dolgu uygulanıp uygulanmayacağı. Çıktılardagather()gibi işlemleri gerçekleştirmeye çalışırken veya süreç sayısından daha az girdi geçirirken faydalıdır. Bu durumda, daha sonra dolgulu elemanların atıldığını unutmayın.
input değerini self.num_processes arasında hızlı bir şekilde dağıtır ve ardından ilgili işlemde kullanılabilir. Farklı istemler gibi dağıtık çıkarım senaryolarında faydalıdır.
Bir dict kullanırken tüm anahtarların aynı sayıda öğeye sahip olması gerektiğini unutmayın.
Örnek:
# Assume there are two processes
from accelerate.state import AcceleratorState
state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]GradientState
sınıf accelerate.state.GradientState
< source >( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )
Gradyan biriktirme için gradyan senkronizasyonuyla ilgili bilgiye sahip olan Singleton sınıfı
Kullanılabilir öznitelikler:
- end_of_dataloader (
bool) — Mevcut veri yükleyicisinin sonuna ulaşıp ulaşılmadığını belirtir - remainder (
int) — Dataloader'ı doldurmak için eklenen ek örnek sayısı - sync_gradients (
bool) — Gradyanların tüm cihazlar arasında senkronize edilip edilmeyeceği - active_dataloader (
Optional[DataLoader]) — Şu anda üzerinde iterasyon yapılan dataloader - dataloader_references (
List[Optional[DataLoader]]) — İterasyonu yapılan dataloader'lara ait referansların listesi - num_steps (
int) — Biriktime alınacak adım sayısı - adjust_scheduler (
bool) — Gradyan birikimini hesaba katmak için zamanlayıcının ayarlanıp ayarlanmayacağı - sync_with_dataloader (
bool) — Gradyanların dataloader iterasyonunun sonunda senkronize edilip edilmeyeceği ve toplam adım sayısının sıfırlanıp sıfırlanmayacağı - is_xla_gradients_synced (
bool) — XLA gradyanlarının senkronize edilip edilmediğini belirtir. Başlangıçta false olarak ayarlanır. Optimizer adımından önce gradyanlar indirgendiğinde bu bayrak true olarak ayarlanır. Ardından, her adımın ardından bayrak false olarak sıfırlanır. FSDP her zaman gradyanları senkronize eder, bu nedenle is_xla_gradients_synced her zaman true'dur.