Llama.cpp: различия между версиями
Перейти к навигации
Перейти к поиску
In.wiki (комментарии | вклад) |
In.wiki (комментарии | вклад) |
||
| Строка 1: | Строка 1: | ||
'''llama.cpp''' — это библиотека с открытым исходным кодом, которая выполняет [[инференс]] с использованием различных [[Большая языковая модель|больших языковых моделей]], таких как [[Llama]]<ref name="register-llamafile">{{cite web |last1=Connatser |first1=Matthew |title=How this open source LLM chatbot runner hit the gas on x86, Arm CPUs |url=https://www.theregister.com/2024/04/03/llamafile_performance_gains/ |website=theregister.com |access-date=15 April 2024}}</ref>. | '''llama.cpp''' — это библиотека с открытым исходным кодом, которая выполняет [[инференс]] с использованием различных [[Большая языковая модель|больших языковых моделей]], таких как [[Llama]]<ref name="register-llamafile">{{cite web |last1=Connatser |first1=Matthew |title=How this open source LLM chatbot runner hit the gas on x86, Arm CPUs |url=https://www.theregister.com/2024/04/03/llamafile_performance_gains/ |website=theregister.com |access-date=15 April 2024}}</ref>. | ||
| − | Она разрабатывается совместно с проектом [[GGML]], [[Тензорная алгебра|тензорной библиотекой общего назначения]]<ref name="ggml">{{cite web |last1=Gerganov |first1=Georgi |title=ggerganov/ggml |website=[[GitHub]] |url=https://github.com/ggerganov/ggml |date=17 May 2024}}</ref>. | + | Она разрабатывается совместно с проектом [[GGML (библиотека машинного обучения)|GGML]], [[Тензорная алгебра|тензорной библиотекой общего назначения]]<ref name="ggml">{{cite web |last1=Gerganov |first1=Georgi |title=ggerganov/ggml |website=[[GitHub]] |url=https://github.com/ggerganov/ggml |date=17 May 2024}}</ref>. |
В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref>. | В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref>. | ||
Версия от 14:51, 23 июля 2025
llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama[1].
Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения[2].
В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом[3].
Примечания
- ↑ Connatser, Matthew. How this open source LLM chatbot runner hit the gas on x86, Arm CPUs. theregister.com. Дата обращения: 15 апреля 2024.
- ↑ Gerganov, Georgi. ggerganov/ggml. GitHub (17 мая 2024).
- ↑ Mann, Tobias. Intro to speculative decoding: Cheat codes for faster LLMs (англ.). theregister (15 декабря 2024).