GGUF

GGUF — двоичный формат файла, предназначенный для хранения переносимых моделей машинного обучения, предназначенных для использования в библиотеке GGML и совместимых с ней. Является обобщением предшествующих форматов GGML, GGMF, GGJT, заменяя их.

В настоящее время существуют следующие форматы файлов GGML для LLM:

• GGML (без версионирования): базовый формат без версионирования и выравнивания.
• GGMF (с версионированием): то же, что и GGML, но с версионированием. Существует только одна версия. -
• GGJT: выравнивает тензоры для использования с `mmap`, что требует выравнивания. Версии v1, v2 и v3 идентичны, но последние используют другую схему квантования, несовместимую с предыдущими версиями.

GGML в основном используется в примерах в `ggml`, тогда как GGJT используется в моделях `llama.cpp`.