Accelerate documentation

TPU에서 학습

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TPU에서 학습

Accelerate를 사용하더라도 TPU에서 학습하는 방식은 멀티 GPU에서 학습하는 방식과 약간 다를 수 있습니다. 이 가이드에서는 주의해야 할 부분과 그 이유, 그리고 일반적인 모범 사례를 보여 드리려고 합니다.

노트북에서 학습하기

TPU에서 학습할 때 주의해야 할 핵심 사항은 notebook_launcher()에서 비롯됩니다. notebook 튜토리얼에서 언급했듯이, 학습 코드를 notebook_launcher() 함수에 전달할 수 있는 함수로 재구성해야 하며, GPU에 텐서를 선언하지 않도록 주의해야 합니다.

TPU에서는 마지막 부분이 그렇게 중요하지 않지만, 이해해야 할 핵심은 노트북에서 코드를 실행할 때 포킹(forking)이라는 프로세스를 통해 실행한다는 것입니다. 명령줄에서 실행하는 경우, 현재 실행 중인 python 프로세스가 없는 상태에서 스포닝(spawning)을 수행하여 새로운 프로세스를 스포닝(spawn)합니다. Jupyter 노트북은 이미 python 프로세스를 사용 중이므로, 코드를 실행하려면 해당 프로세스에서 새로운 프로세스를 포크(fork)해야 합니다.

이 부분이 중요한 이유는 모델 선언과 관련이 있습니다. 포크된 TPU 프로세스에서는 모델을 한 번만 인스턴스화하여 학습 함수로 전달하는 것이 권장됩니다. 이는 특정 시점에 그라디언트가 동기화되고 역전파되는 n개의 모델을 생성하는 GPU 학습과 다릅니다. 대신, 하나의 모델 인스턴스가 모든 노드 사이에 공유되며 오가며 전달됩니다. 이는 Kaggle 커널이나 Google Colaboratory에서 제공되는 것과 같은 리소스가 제한된 TPU에서 학습할 때 특히 중요합니다.

CPU 또는 GPU에서 학습하는 경우 notebook_launcher()에 전달되는 학습 함수의 예시는 다음과 같습니다:

이 코드 스니펫은 여기에서 찾을 수 있는 simple_nlp_example 노트북의 코드를 기반으로 하며, 단순화를 위해 일부 수정이 가해졌습니다.

def training_function():
    # Initialize accelerator
    accelerator = Accelerator()
    model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
    train_dataloader, eval_dataloader = create_dataloaders(
        train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
    )

    # Instantiate optimizer
    optimizer = AdamW(params=model.parameters(), lr=hyperparameters["learning_rate"])

    # Prepare everything
    # There is no specific order to remember, we just need to unpack the objects in the same order we gave them to the
    # prepare method.
    model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
        model, optimizer, train_dataloader, eval_dataloader
    )

    num_epochs = hyperparameters["num_epochs"]
    # Now we train the model
    for epoch in range(num_epochs):
        model.train()
        for step, batch in enumerate(train_dataloader):
            outputs = model(**batch)
            loss = outputs.loss
            accelerator.backward(loss)

            optimizer.step()
            optimizer.zero_grad()
from accelerate import notebook_launcher

notebook_launcher(training_function)

Accelerate가 TPU로 설정된 경우 notebook_launcher는 기본적으로 8개의 프로세스를 사용합니다

이 예제를 사용하면서 학습 루프 안에서 모델을 선언하면, 리소스가 제한된 시스템에서 다음과 같은 오류가 발생할 수 있습니다:

ProcessExitedException: process 0 terminated with signal SIGSEGV

이 오류는 매우 난해하지만, 기본적인 설명은 시스템 RAM이 부족하다는 것입니다. 학습 함수를 model 인수를 하나만 받도록 재구성하고, 외부 셀에서 선언하면 이를 완전히 방지할 수 있습니다:

# In another Jupyter cell
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
+ def training_function(model):
      # Initialize accelerator
      accelerator = Accelerator()
-     model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
      train_dataloader, eval_dataloader = create_dataloaders(
          train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
      )
  ...

마지막으로 다음을 사용하여

  from accelerate import notebook_launcher
- notebook_launcher(training_function)
+ notebook_launcher(training_function, (model,))

위의 우회 방법은 Google Colaboratory나 Kaggle와 같은 저사양 서버에서 Jupyter Notebook을 통해 TPU 인스턴스를 시작할 때만 필요합니다. 스크립트를 사용하거나 훨씬 사양이 높은 서버에서 시작하는 경우, 모델을 미리 선언할 필요가 없습니다.

혼합 정밀도와 전역 변수

마이그레이션 튜토리얼의 혼합 정밀도 섹션에서 언급했듯이, Accelerate는 TPU에서 모두 사용할 수 있는 fp16과 bf16을 지원합니다. 그러나 bf16은 매우 효율적이므로 이를 사용하는 것이 이상적입니다.

bf16와 Accelerate를 TPU에서 사용할 때는 두 가지 “레이어”가 있습니다. 기본 수준과 연산 수준입니다.

기본 수준에서, Accelerator에 mixed_precision="bf16"를 전달하면 활성화됩니다. 예를 들어:

accelerator = Accelerator(mixed_precision="bf16")

기본적으로 TPU에서 torch.float와 torch.double을 bfloat16으로 변환합니다. 설정되는 구체적인 구성은 XLA_USE_BF16 환경 변수가 1로 설정되는 것입니다.

XLA_DOWNCAST_BF16 환경 변수를 설정하는 추가 구성도 수행할 수 있습니다. 1로 설정하면 torch.float는 bfloat16이고, torch.double은 float32입니다.

Accelerator 객체에 downcast_bf16=True를 전달할 때 수행됩니다:

accelerator = Accelerator(mixed_precision="bf16", downcast_bf16=True)

bf16 대신 다운캐스팅을 사용하는 것은, 원본 bf16 텐서를 사용할 수 없는 상황에서 메트릭 계산, 값 로깅 등을 수행할 때 유용합니다.

TPU에서의 학습 시간

스크립트를 실행하면 처음에는 학습이 매우 느리게 진행되는 것처럼 보일 수 있습니다. 이는 TPU가 최종적으로 구성된 메모리 할당을 매우 효율적으로 활용하기 전에, 몇 개의 배치 데이터를 먼저 처리하여 할당할 메모리 양을 확인하기 때문입니다.

모델의 메트릭을 계산하기 위한 평가 코드가 더 큰 배치 크기가 사용되어 더 오래 걸리는 것을 발견했다면, 너무 느린 경우 배치 크기를 학습 데이터와 동일하게 유지하는 것이 좋습니다. 그렇지 않으면 첫 몇 번의 반복 이후에 메모리가 이 새로운 배치 크기에 맞게 다시 할당됩니다.

메모리가 할당되었다는 것은 해당 메모리가 실제로 사용되거나, 학습용 dataloader로 돌아가면 배치 크기가 증가한다는 것을 의미하지는 않습니다.

Update on GitHub