Трансформер (модель машинного обучения)
Версия от 22:42, 3 ноября 2020; w>Алексей Скрипник
Трансфо́рмер (англ. Transformer) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain.[1]
По аналогии с рекуррентными нейронными сетями (РНС), Трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличие от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены.[1]