Trainer

Trainer — это полный цикл обучения и оценки для моделей Transformers. Для начала достаточно иметь модель и набор данных.

Под капотом Trainer выполняет пакетирование, перемешивание и выравнивание вашего набора данных в тензоры. Цикл обучения выполняет прямой проход, вычисляет потерю, выполняет обратное распространение градиентов и обновляет веса. Настройте процесс обучения с помощью TrainingArguments, чтобы настроить всё: от размера пакета и длительности обучения до распределённых стратегий, компиляции и многого другого.

Дальнейшие шаги

• Начните с руководства по дообучению, чтобы познакомиться с обучением большой языковой модели с помощью Trainer.
• См. руководство Наследование методов Trainer с примерами того, как наследовать методы Trainer.
• См. руководство Data collators, чтобы узнать, как создать data collator для пользовательской сборки батчей.
• См. руководство Callbacks, чтобы узнать, как подключаться к событиям обучения.

Update on GitHub