Llama.cpp: различия между версиями
Перейти к навигации
Перейти к поиску
In.wiki (комментарии | вклад) |
In.wiki (комментарии | вклад) |
||
| Строка 1: | Строка 1: | ||
| + | {{Infobox software | ||
| + | | name = llama.cpp | ||
| + | | logo = File:Llama1-logo.svg | ||
| + | | author = [[Георгий Герганов]] | ||
| + | | developer = Георгий Герганов и сообщество | ||
| + | | released = {{Start date and age|2023|3|10}}<ref name="githubrelease"/> | ||
| + | | programming language = [[C++]], [[C (Язык программирования)|C]] | ||
| + | | genre = [[Библиотека (программирование_|Библиотека]] для [[инференс]]а LLM. | ||
| + | | license = [[MIT License]]<ref name="license"/> | ||
| + | | repo = {{URL|github.com/ggml-org/llama.cpp}} | ||
| + | }} | ||
| + | {{Lowercase title}} | ||
| + | |||
'''llama.cpp''' — это библиотека с открытым исходным кодом, которая выполняет [[инференс]] с использованием различных [[Большая языковая модель|больших языковых моделей]], таких как [[Llama]]<ref name="register-llamafile">{{cite web |last1=Connatser |first1=Matthew |title=How this open source LLM chatbot runner hit the gas on x86, Arm CPUs |url=https://www.theregister.com/2024/04/03/llamafile_performance_gains/ |website=theregister.com |access-date=15 April 2024}}</ref>. | '''llama.cpp''' — это библиотека с открытым исходным кодом, которая выполняет [[инференс]] с использованием различных [[Большая языковая модель|больших языковых моделей]], таких как [[Llama]]<ref name="register-llamafile">{{cite web |last1=Connatser |first1=Matthew |title=How this open source LLM chatbot runner hit the gas on x86, Arm CPUs |url=https://www.theregister.com/2024/04/03/llamafile_performance_gains/ |website=theregister.com |access-date=15 April 2024}}</ref>. | ||
Версия от 01:28, 28 июля 2025
| llama.cpp Библиотека для инференса LLM.
|
- Язык программирования:
- C++, C и C++, C
- Разработчик:
- Георгий Герганов и сообщество
- Дата появления:
- март 10, 2023[1]
со строчной буквы
llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama[3].
Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения[4].
В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом[5].
Примечания
- ↑ Ошибка цитирования Неверный тег
<ref>; для сносокgithubreleaseне указан текст - ↑ Ошибка цитирования Неверный тег
<ref>; для сносокlicenseне указан текст - ↑ Connatser, Matthew. How this open source LLM chatbot runner hit the gas on x86, Arm CPUs. theregister.com. Дата обращения: 15 апреля 2024.
- ↑ Gerganov, Georgi. ggerganov/ggml. GitHub (17 мая 2024).
- ↑ Mann, Tobias. Intro to speculative decoding: Cheat codes for faster LLMs (англ.). theregister (15 декабря 2024).