Трансформер (модель машинного обучения)
Версия от 18:25, 29 октября 2020; w>Алексей Скрипник
Трансформер (англ. Transformer) - архитектура нейросетей для глубокого обучения представленная в 2017, используемая для работы с последовательностями.[1]
По аналогии с рекуррентными нейронными сетями (РНС), Трансформеры предназначены для обрабатки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличии от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трасформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены.[1]