Архитектура трансформера: внимание, позиции и типы моделей
Трансформер строит представления последовательности с помощью внимания и послойных преобразований. В исходной архитектуре есть кодировщик и декодировщик, а многие современные модели используют только одну из этих частей.
Как работает самовнимание
Из представления каждого токена вычисляют запрос, ключ и значение. Запрос сравнивается с ключами других токенов. После масштабирования и нормализации оценки определяют веса для суммы значений.
Позиции и маски
Без позиционной информации блоку трудно различать порядок токенов. Её добавляют или учитывают разными способами. При генерации причинная маска закрывает будущие токены, чтобы предсказание опиралось на уже доступный контекст.
Кодировщик и декодировщик
Кодировщик строит представления входа. В модели перевода декодировщик использует уже сгенерированные токены и представления входа. Модель только с декодировщиком может генерировать текст без отдельного кодировщика. Обучение обрабатывает позиции параллельно, но обычная генерация выдаёт их последовательно.