GGUF: различия между версиями
Перейти к навигации
Перейти к поиску
In.wiki (комментарии | вклад) |
In.wiki (комментарии | вклад) |
||
| Строка 8: | Строка 8: | ||
GGML в основном используется в примерах в `[[GGML (библиотека машинного обучения)|ggml]]`, тогда как GGJT используется в моделях `[[llama.cpp]]`. | GGML в основном используется в примерах в `[[GGML (библиотека машинного обучения)|ggml]]`, тогда как GGJT используется в моделях `[[llama.cpp]]`. | ||
| + | |||
| + | == Внутреннее устройство == | ||
| + | |||
| + | == Сравнение с другими форматами файлов машинного обучения == | ||
| + | |||
| + | == Ссылки == | ||
| + | |||
| + | == Примечания == | ||
[[Категория:Форматы файлов машинного обучения]] | [[Категория:Форматы файлов машинного обучения]] | ||
Версия от 23:52, 21 июля 2025
GGUF — двоичный формат файла, предназначенный для хранения переносимых моделей машинного обучения, предназначенных для использования в библиотеке GGML и совместимых с ней. Является обобщением предшествующих форматов GGML, GGMF, GGJT, заменяя их.
В настоящее время существуют следующие форматы файлов GGML для LLM:
- GGML (без версионирования): базовый формат без версионирования и выравнивания.
- GGMF (с версионированием): то же, что и GGML, но с версионированием. Существует только одна версия. -
- GGJT: выравнивает тензоры для использования с `mmap`, что требует выравнивания. Версии v1, v2 и v3 идентичны, но последние используют другую схему квантования, несовместимую с предыдущими версиями.
GGML в основном используется в примерах в `ggml`, тогда как GGJT используется в моделях `llama.cpp`.