Pretraining
Pretraining — это этап предварительного обучения модели на больших объёмах данных перед её адаптацией под конкретную задачу.
Что это такое
Во время pretraining модель изучает общие закономерности данных (например, язык или структуру изображений). Затем она может быть дообучена (fine-tuning) для выполнения конкретной задачи.
Особенности
- обучение на больших данных
- изучение общих закономерностей
- основа для fine-tuning
- повышает качество модели
Связанные термины
Fine-tuning
GPT
Training