Изменения

Перейти к навигации Перейти к поиску

GGUF (править)

Версия от 00:51, 1 августа 2025

1094 байта добавлено ,  1 месяц назад
→‎GGUF file format
Строка 22: Строка 22:  
   
 
   
 
GGML в основном используется в примерах в [[GGML (библиотека машинного обучения)|ggml]], тогда как GGJT используется в моделях [[llama.cpp]].
 
GGML в основном используется в примерах в [[GGML (библиотека машинного обучения)|ggml]], тогда как GGJT используется в моделях [[llama.cpp]].
 +
 +
Формат фокусируется на квантовании — процессе снижения точности весовых коэффициентов модели. Это может привести к уменьшению использования памяти и повышению скорости за счёт снижения точности модели.[29][28]
 +
 +
GGUF поддерживает квантованные целочисленные типы данных с разрядностью от 2 до 8 бит;[30] распространённые форматы данных с плавающей точкой, такие как float32, float16 и bfloat16; и квантование с разрядностью 1,56 бит.[5]
 +
 +
Этот формат файла содержит информацию, необходимую для запуска языковой модели, подобной GPT, такую как словарь токенизатора, длина контекста, информация о тензоре и другие атрибуты.
    
== Внутреннее устройство ==
 
== Внутреннее устройство ==
Источник — https://in.wiki/Служебная:Сравнение_версий/1572130

Реклама:

Навигация