Трансформер (модель машинного обучения): различия между версиями
Перейти к навигации
Перейти к поиску
w>TohaSpiridonov (← Новая страница: «Трансформер ({{lang-en|Transformer}}) - архитектура нейросетей для Глубокое_обучение|глу...») |
w>TohaSpiridonov |
||
| Строка 1: | Строка 1: | ||
Трансформер ({{lang-en|Transformer}}) - архитектура нейросетей для [[Глубокое_обучение|глубокого обучения]] представленная в 2017, используемая для работы с последовательностями. <ref name=":0">{{cite arxiv|last1=Полосухин|first1=Илья|last2=Кайзер|first2=Лукаш|last3=Гомес|first3=Эйдан Н.|last4=Джонс|first4=Ллион|last5=Ушкорейт|first5=Якоб|last6=Пармар|first6=Ники|last7=Шазир|first7=Ноам|last8=Васвани|first8=Ашиш|date=2017-06-12|title=Внимание это все, что вам нужно|eprint=1706.03762}}</ref> | Трансформер ({{lang-en|Transformer}}) - архитектура нейросетей для [[Глубокое_обучение|глубокого обучения]] представленная в 2017, используемая для работы с последовательностями. <ref name=":0">{{cite arxiv|last1=Полосухин|first1=Илья|last2=Кайзер|first2=Лукаш|last3=Гомес|first3=Эйдан Н.|last4=Джонс|first4=Ллион|last5=Ушкорейт|first5=Якоб|last6=Пармар|first6=Ники|last7=Шазир|first7=Ноам|last8=Васвани|first8=Ашиш|date=2017-06-12|title=Внимание это все, что вам нужно|eprint=1706.03762}}</ref> | ||
| + | |||
| + | По аналогии с [[Рекуррентная_нейронная_сеть|рекуррентными нейронными сетями]] (РНС), Трансформеры предназначены для обрабатки последовательностей, таких как текст на естественном языке, и решения таких задач как [[Машинный перевод|машинный перевод]] и [[Автоматическое реферирование|автоматическое реферирование]]. В отличии от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трасформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры [[Параллельные вычисления|распараллеливаются]] легче чем РНС и могут быть быстрее обучены.<ref name=":0" /> | ||
Версия от 23:20, 28 октября 2020
Трансформер (англ. Transformer) - архитектура нейросетей для глубокого обучения представленная в 2017, используемая для работы с последовательностями. [1]
По аналогии с рекуррентными нейронными сетями (РНС), Трансформеры предназначены для обрабатки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличии от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трасформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены.[1]
- ↑ 1,0 1,1 Полосухин, Илья; Кайзер, Лукаш; Гомес, Эйдан Н.; Джонс, Ллион; Ушкорейт, Якоб; Пармар, Ники; Шазир, Ноам; Васвани, Ашиш (2017-06-12). "Внимание это все, что вам нужно". arXiv:1706.03762.