Quantization
Quantization — это процесс уменьшения точности числовых значений в модели для снижения размера и ускорения вычислений.
Что это такое
Вместо использования 32-битных чисел модель может применять 16-битные или 8-битные значения. Это уменьшает потребление памяти и ускоряет inference, особенно на мобильных устройствах.
Особенности
- уменьшает размер модели
- ускоряет вычисления
- снижает потребление ресурсов
- может немного снижать точность
Связанные термины
Optimization
Inference
Edge AI