Изменения
Перейти к навигации
Перейти к поиску
Строка 1:
Строка 1: + +
нет описания правки
Трансформер ({{lang-en|Transformer}}) - архитектура нейросетей для [[Глубокое_обучение|глубокого обучения]] представленная в 2017, используемая для работы с последовательностями. <ref name=":0">{{cite arxiv|last1=Полосухин|first1=Илья|last2=Кайзер|first2=Лукаш|last3=Гомес|first3=Эйдан Н.|last4=Джонс|first4=Ллион|last5=Ушкорейт|first5=Якоб|last6=Пармар|first6=Ники|last7=Шазир|first7=Ноам|last8=Васвани|first8=Ашиш|date=2017-06-12|title=Внимание это все, что вам нужно|eprint=1706.03762}}</ref>
Трансформер ({{lang-en|Transformer}}) - архитектура нейросетей для [[Глубокое_обучение|глубокого обучения]] представленная в 2017, используемая для работы с последовательностями. <ref name=":0">{{cite arxiv|last1=Полосухин|first1=Илья|last2=Кайзер|first2=Лукаш|last3=Гомес|first3=Эйдан Н.|last4=Джонс|first4=Ллион|last5=Ушкорейт|first5=Якоб|last6=Пармар|first6=Ники|last7=Шазир|first7=Ноам|last8=Васвани|first8=Ашиш|date=2017-06-12|title=Внимание это все, что вам нужно|eprint=1706.03762}}</ref>
По аналогии с [[Рекуррентная_нейронная_сеть|рекуррентными нейронными сетями]] (РНС), Трансформеры предназначены для обрабатки последовательностей, таких как текст на естественном языке, и решения таких задач как [[Машинный перевод|машинный перевод]] и [[Автоматическое реферирование|автоматическое реферирование]]. В отличии от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трасформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры [[Параллельные вычисления|распараллеливаются]] легче чем РНС и могут быть быстрее обучены.<ref name=":0" />