| Строка 23: |
Строка 23: |
| | GGML в основном используется в примерах в [[GGML (библиотека машинного обучения)|ggml]], тогда как GGJT используется в моделях [[llama.cpp]]. | | GGML в основном используется в примерах в [[GGML (библиотека машинного обучения)|ggml]], тогда как GGJT используется в моделях [[llama.cpp]]. |
| | | | |
| − | Формат фокусируется на квантовании — процессе снижения точности весовых коэффициентов модели. Это может привести к уменьшению использования памяти и повышению скорости за счёт снижения точности модели.[29][28] | + | Формат фокусируется на [[Квантование модели|квантовании]] — процессе снижения точности [[Весовые коэффициенты модели|весовых коэффициентов модели]]. Квантование модели может привести к уменьшению использования памяти и повышению скорости за счёт снижения точности модели.[29][28] |
| | | | |
| − | GGUF поддерживает квантованные целочисленные типы данных с разрядностью от 2 до 8 бит;[30] распространённые форматы данных с плавающей точкой, такие как float32, float16 и bfloat16; и квантование с разрядностью 1,56 бит.[5] | + | GGUF поддерживает [[квантованные целочисленные типы данных]] с разрядностью от 2 до 8 бит;[30] распространённые [[Числа с плавающей запятой|форматы данных с плавающей точкой]], такие как [[float32]], [[float16]] и [[bfloat16]]; и квантование с разрядностью 1,56 бит.[5] |
| | | | |
| − | Этот формат файла содержит информацию, необходимую для запуска языковой модели, подобной GPT, такую как словарь токенизатора, длина контекста, информация о тензоре и другие атрибуты. | + | Этот формат файла содержит информацию, необходимую для запуска [[Языковая модель|языковой модели]], подобной [[GPT]], такую как [[словарь токенизатора]], длина контекста, информация о тензоре и другие атрибуты. |
| | | | |
| | == Внутреннее устройство == | | == Внутреннее устройство == |