Llama.cpp: различия между версиями
In.wiki (комментарии | вклад) |
In.wiki (комментарии | вклад) |
||
| Строка 17: | Строка 17: | ||
В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref>. | В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref>. | ||
| + | |||
| + | == Предыстория == | ||
| + | В конце сентября 2022 года [[Георгий Герганов]] начал работу над библиотекой [[GGML (библиотека машинного обучения)|GGML]], библиотекой на языке [[C (язык программирования)|C]], реализующей [[Тензорная алгебра|тензорную алгебру]]. Герганов разрабатывал библиотеку с учётом строгого управления памятью и [[Многопоточность|многопоточности]]. Создание GGML было вдохновлено работой [[Беллар, Фабрис|Фабриса Беллара]] над [[LibNC]][8]. До llama.cpp Герганов работал над аналогичной библиотекой [[whisper.cpp]], которая реализовала [[Whisper]] — [[модель преобразования речи в текст]] от [[OpenAI]][9]. | ||
== Примечания == | == Примечания == | ||
[[Категория:Программное обеспечение для машинного обучения]] | [[Категория:Программное обеспечение для машинного обучения]] | ||
Версия от 10:31, 28 июля 2025
 |
llama.cpp Библиотека для инференса LLM.
|
- Язык программирования:
- C++, C и C++, C
- Разработчик:
- Георгий Герганов и сообщество
- Дата появления:
- март 10, 2023[1]
со строчной буквы
llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama[3].
Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения[4].
В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом[5].
Предыстория
В конце сентября 2022 года Георгий Герганов начал работу над библиотекой GGML, библиотекой на языке C, реализующей тензорную алгебру. Герганов разрабатывал библиотеку с учётом строгого управления памятью и многопоточности. Создание GGML было вдохновлено работой Фабриса Беллара над LibNC[8]. До llama.cpp Герганов работал над аналогичной библиотекой whisper.cpp, которая реализовала Whisper — модель преобразования речи в текст от OpenAI[9].
Примечания
- ↑ Ошибка цитирования Неверный тег
<ref>; для сносокgithubreleaseне указан текст - ↑ Ошибка цитирования Неверный тег
<ref>; для сносокlicenseне указан текст - ↑ Connatser, Matthew. How this open source LLM chatbot runner hit the gas on x86, Arm CPUs. theregister.com. Дата обращения: 15 апреля 2024.
- ↑ Gerganov, Georgi. ggerganov/ggml. GitHub (17 мая 2024).
- ↑ Mann, Tobias. Intro to speculative decoding: Cheat codes for faster LLMs (англ.). theregister (15 декабря 2024).