# Accelerate

[Accelerate](https://hf.co/docs/accelerate/index) 为 [FSDP](https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html) 或 [DeepSpeed](https://www.deepspeed.ai/) 等分布式训练后端提供了统一接口。它会检测你的环境（GPU 数量、分布式后端、混合精度等），并自动配置训练，无论你是使用 1 个 GPU 配合 DDP，还是 8 个 GPU 配合 FSDP。

Accelerate 会将模型包装在合适的分布式包装器中，将其移动到正确的设备上，并创建一个兼容的优化器。在训练过程中，Accelerate 使用其自身的 [backward](https://huggingface.co/docs/accelerate/v1.15.0/en/package_reference/accelerator#accelerate.Accelerator.backward) 方法来处理混合精度下的梯度缩放。[Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 会调用相应的 Accelerate API，并将所有分布式机制委托给 Accelerate。

使用 Accelerate 配置文件或 [TrainingArguments](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments) 为 [Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 配置 Accelerate。

## Accelerate 配置文件

运行 [accelerate config](https://huggingface.co/docs/accelerate/en/package_reference/cli#accelerate-config) 命令，并回答有关您的硬件和训练配置的问题。这会在您的缓存中创建一个 `default_config.yaml` 文件。以下示例针对 FSDP。

```yaml
compute_environment: LOCAL_MACHINE
distributed_type: FSDP
fsdp_config:
  fsdp_version: 2
  fsdp_reshard_after_forward: true
  fsdp_cpu_offload: false
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: true
  fsdp_activation_checkpointing: false
  fsdp_state_dict_type: SHARDED_STATE_DICT
  fsdp_transformer_layer_cls_to_wrap: LlamaDecoderLayer
mixed_precision: bf16
num_machines: 1
num_processes: 4
```

运行 [accelerate launch](https://huggingface.co/docs/accelerate/en/package_reference/cli#accelerate-launch) 并配合基于 [Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 的脚本，Accelerate 会读取配置文件来设置训练。由于 Accelerate 配置文件已涵盖相同的设置，因此 [fsdp_config](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments.fsdp_config) 和 [deepspeed](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments.deepspeed) 参数是多余的。

```cli
accelerate launch train.py
```

[accelerator_config](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments.accelerator_config) 接受那些没有专用顶级参数的设置。例如，将 `non_blocking=True` 与 `dataloader_pin_memory()` 一起使用，以将数据传输与计算重叠，从而提高 GPU 吞吐量。

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    dataloader_pin_memory=True,
    accelerator_config={
        "non_blocking": True,
    },
)
```

## TrainingArguments

将特定于后端的配置传递给 [TrainingArguments](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments)。[create_accelerator_and_postprocess()](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer.create_accelerator_and_postprocess) 方法会读取这些设置并配置训练。

将 JSON 配置文件或字典传递给 `~TrainingArguments.fsdp_config`。有关完整指南和配置参考，请参阅 [FSDP](./fsdp)。

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    fsdp=True,
    fsdp_config="path/to/fsdp.json",
)
```

将 JSON 配置文件或字典传递给 `~TrainingArguments.deepspeed`。有关完整指南和配置参考，请参阅 [DeepSpeed](./deepspeed)。

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    deepspeed="path/to/ds_config.json",
)
```

DDP 通过 [TrainingArguments](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments) 字段直接配置。有关详细信息，请参阅 [DDP](./ddp)。

```py
from transformers import TrainingArguments

TrainingArguments(
    ...,
    ddp_backend="nccl",
    ddp_find_unused_parameters=False,
    ddp_bucket_cap_mb=25,
    ddp_timeout=1800,
)
```

## 后续步骤

- 如果模型可以放入单个 GPU，请参阅 [DDP](./ddp) 以进行数据并行训练。
- 有关在 GPU 之间分片参数、梯度和优化器状态，请参阅 [FSDP](./fsdp)。
- 有关 ZeRO 优化和卸载，请参阅 [DeepSpeed](./deepspeed)。

