Token
Token — это минимальная единица текста, с которой работает модель, например слово, часть слова или символ.
Что это такое
Перед обработкой текст разбивается на токены. Модель анализирует их и предсказывает последовательность. Например, одно слово может состоять из нескольких токенов.
Особенности
- единица обработки текста
- может быть словом или его частью
- используется в языковых моделях
- влияет на длину запроса и стоимость
Связанные термины
Language Model
Transformer
Prompt