Инференс

Инференс модели нейронной сети – это ключевой этап в процессе работы с моделью.

Если на этапе обучения модели идёт настройка её параметров, то инференс представляет собой применение этих параметров на практике.

Таким образом, если обучение модели можно сравнивать с разработкой программы, то инференс модели - с выполнением программы.

В ряде источников английское слово inference переводится как "вывод". Это не вполне точно, т.к. ориентирует читателя на некую ассоциацию с логическим выводом из сферы классического искусственного интеллекта.

Инференс может осуществляться не только с использованием той кодовой базы, на которой шла разработка модели, но и на совершенно другой. Для этого необходимо, чтобы движок инференса понимал формат модели.

Известные движки инференса:

• llama.cpp