GGML (библиотека машинного обучения)

GGML — opensource библиотека для машинного обучения искусственных нейронных сетей, находящаяся в стадии активной разработки.

Название библиотеки образовано склеиванием инициалов разработчика — Georgi Gerganov и аббревиатуры ML (Machine Learning).

Часть её разработки в настоящее время ведётся в репозиториях проектов llama.cpp и whisper.cpp.

Возможности

• Низкоуровневая кроссплатформенная реализация
• Поддержка целочисленного квантования
• Широкая поддержка оборудования
• Автоматическое дифференцирование
• Оптимизаторы ADAM и L-BFGS

Библиотека не содержит зависимостей от сторонних программ и не требует выделения дополнительной памяти во время выполнения.

С данной библиотекой связаны форматы файлов хранения моделей GGML и расширяющий его GGUF.

Ссылки

• Репозиторий проекта