GGUF: различия между версиями
Перейти к навигации
Перейти к поиску
In.wiki (комментарии | вклад) |
In.wiki (комментарии | вклад) |
||
| Строка 1: | Строка 1: | ||
| − | '''GGUF''' — двоичный формат файла, предназначенный для хранения переносимых моделей машинного обучения, предназначенных для использования в библиотеке [[GGML (библиотека машинного обучения)|GGML]] и совместимых с ней. Является | + | '''GGUF''' — двоичный формат файла, предназначенный для хранения переносимых моделей машинного обучения, предназначенных для использования в библиотеке [[GGML (библиотека машинного обучения)|GGML]] и совместимых с ней. Является обобщением предшествующих форматов GGML, GGMF, GGJT, заменяя их. |
| + | |||
| + | В настоящее время существуют следующие форматы файлов GGML для [[LLM]]: | ||
| + | |||
| + | * GGML (без версионирования): базовый формат без версионирования и выравнивания. | ||
| + | * GGMF (с версионированием): то же, что и GGML, но с версионированием. Существует только одна версия. - | ||
| + | * GGJT: выравнивает тензоры для использования с `mmap`, что требует выравнивания. Версии v1, v2 и v3 идентичны, но последние используют другую схему квантования, несовместимую с предыдущими версиями. | ||
| + | * | ||
| + | * GGML в основном используется в примерах в `[[GGML (библиотека машинного обучения)|ggml]]`, тогда как GGJT используется в моделях `[[llama.cpp]]`. | ||
[[Категория:Форматы файлов машинного обучения]] | [[Категория:Форматы файлов машинного обучения]] | ||
Версия от 23:51, 21 июля 2025
GGUF — двоичный формат файла, предназначенный для хранения переносимых моделей машинного обучения, предназначенных для использования в библиотеке GGML и совместимых с ней. Является обобщением предшествующих форматов GGML, GGMF, GGJT, заменяя их.
В настоящее время существуют следующие форматы файлов GGML для LLM:
- GGML (без версионирования): базовый формат без версионирования и выравнивания.
- GGMF (с версионированием): то же, что и GGML, но с версионированием. Существует только одна версия. -
- GGJT: выравнивает тензоры для использования с `mmap`, что требует выравнивания. Версии v1, v2 и v3 идентичны, но последние используют другую схему квантования, несовместимую с предыдущими версиями.
- GGML в основном используется в примерах в `ggml`, тогда как GGJT используется в моделях `llama.cpp`.