Трансформер (модель машинного обучения): различия между версиями
Перейти к навигации
Перейти к поиску
w>Алексей Скрипник |
w>Алексей Скрипник |
||
| Строка 2: | Строка 2: | ||
По аналогии с [[Рекуррентная нейронная сеть|рекуррентными нейронными сетями]] (РНС), Трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как [[машинный перевод]] и [[автоматическое реферирование]]. В отличие от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры [[Параллельные вычисления|распараллеливаются]] легче чем РНС и могут быть быстрее обучены.<ref name="paper" /> | По аналогии с [[Рекуррентная нейронная сеть|рекуррентными нейронными сетями]] (РНС), Трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как [[машинный перевод]] и [[автоматическое реферирование]]. В отличие от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры [[Параллельные вычисления|распараллеливаются]] легче чем РНС и могут быть быстрее обучены.<ref name="paper" /> | ||
| + | |||
| + | Трансформеры используются в [[Яндекс.Переводчик]]е<ref>{{cite web | ||
| + | |author = Семен Козлов | ||
| + | |url = https://habr.com/ru/post/341240/ | ||
| + | |title = Transformer — новая архитектура нейросетей для работы с последовательностями | ||
| + | |lang = ru | ||
| + | |website = | ||
| + | |publisher = [[Хабр]] | ||
| + | |date = 2017-10-30 | ||
| + | |accessdate = 2020-11-03 | ||
| + | }}</ref>, [[Google Переводчик]]е<ref>{{cite web | ||
| + | |author = Isaac Caswell, Bowen Liang | ||
| + | |url = https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html | ||
| + | |title = Recent Advances in Google Translate | ||
| + | |lang = en | ||
| + | |website = | ||
| + | |publisher = Google AI Blog | ||
| + | |date = 2020-06-08 | ||
| + | |accessdate = 2020-11-03 | ||
| + | }}</ref>, [[GPT-3]]. | ||
== Примечания == | == Примечания == | ||
{{примечания}} | {{примечания}} | ||
Версия от 23:12, 3 ноября 2020
Трансфо́рмер (англ. Transformer) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain.[1]
По аналогии с рекуррентными нейронными сетями (РНС), Трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличие от РНС, Трансформеры не требуют обработки последовательностей по порядку. Для примера, если входные данные это текст, Трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому Трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены.[1]
Трансформеры используются в Яндекс.Переводчике[2], Google Переводчике[3], GPT-3.
Примечания
- ↑ 1,0 1,1 Ошибка Lua в Модуль:Sources на строке 1705: attempt to index field 'wikibase' (a nil value).
- ↑ Семен Козлов. Transformer — новая архитектура нейросетей для работы с последовательностями. Хабр (30 октября 2017). Дата обращения: 3 ноября 2020.
- ↑ Isaac Caswell, Bowen Liang. Recent Advances in Google Translate (англ.). Google AI Blog (8 июня 2020). Дата обращения: 3 ноября 2020.