Chat
Search
Ithy Logo

MHA、GQA与MLA注意力机制的区别详解

全面比较三种注意力机制的公式、实现及应用

transformer mechanism schematic

亮点

  • 公式对比：每种机制对应不同的矩阵变换及注意力计算方式，公式中体现了计算复杂度与信息捕捉能力的平衡。
  • 代码实现：提供了基于Python和PyTorch的示例代码，展示了如何在实际模型中实现各自的注意力机制。
  • 性能及应用权衡：分别探讨了三者在内存消耗、计算效率和表达能力上的不同优势和适用场景。

引言

在深度学习中，尤其是Transformer架构中，注意力机制起到了至关重要的作用。多头注意力（MHA）作为最初的注意力机制，通过对输入序列进行多头并行处理，允许模型捕捉序列中不同部分之间的复杂关系。然而，随着模型规模的增大和高效推理需求的增加，新的注意力机制不断涌现，例如分组查询注意力（GQA）和多头潜在注意力（MLA）。本文将对这三种注意力机制进行深入比较，详细介绍它们的数学公式、计算过程以及代码实现差异，同时探讨它们在内存占用、计算性能和模型表达能力上的权衡。

一、基本概述

在解释公式和代码实现之前，我们先对三种机制做一个基本的概述：

  • MHA（多头注意力）： 每个注意力头具有独立的查询（Q）、键（K）和值（V）线性变换，能够捕捉输入序列在不同子空间内的多种信息关联，但会导致较大的计算复杂度和内存占用（通常是二次复杂度 \(O(n^2)\)）。
  • GQA（分组查询注意力）： 通过将多个查询头进行分组，每组共享键和值的投影，从而减少KV缓存的数量，达到在计算效率和模型表达能力之间的平衡。GQA的设计贯彻了资源节省的思想，使得应用场景更加灵活。
  • MLA（多头潜在注意力）： 引入潜在嵌入来压缩键和值。MLA并不减少键和值头的数量，而是通过引入压缩和解压矩阵，将原始高维信息压缩到低维潜在空间中进行注意力计算，然后恢复到原始维度。这种机制可在显著降低内存和计算需求的同时保持甚至提升模型性能。

二、数学公式比较

2.1 多头注意力机制 (MHA)

基本公式

对于MHA，每个头独立计算注意力，其中第 \(i\) 个头的计算过程如下：

\( Q_i = X \cdot W_Q^i \)

\( K_i = X \cdot W_K^i \)

\( V_i = X \cdot W_V^i \)

计算缩放点积注意力：

\( \text{Attention}_i = \text{softmax}\left(\frac{Q_iK_i^T}{\sqrt{d_k}}\right) \cdot V_i \)

最终拼接所有头并投影得到输出：

\( \text{MHA}(X) = \text{Concat}(\text{Attention}_1, \text{Attention}_2, \ldots, \text{Attention}_h) \cdot W_O \)

2.2 分组查询注意力机制 (GQA)

基本公式

在GQA中，假设有 \(h\) 个总查询头被分成 \(g\) 组，每组中所有头共享一组键和值投影，因此对于每个查询头 \(i\) 属于组 \(j\)，公式如下：

\( Q_i = X \cdot W_Q^i \)

\( K_j = X \cdot W_K^j \)

\( V_j = X \cdot W_V^j \)

注意力计算为：

\( \text{Attention}_i = \text{softmax}\left(\frac{Q_iK_j^T}{\sqrt{d_k}}\right) \cdot V_j \)

最终输出：

\( \text{GQA}(X) = \text{Concat}(\text{Attention}_1, \text{Attention}_2, \ldots, \text{Attention}_h) \cdot W_O \)

2.3 多头潜在注意力机制 (MLA)

基本公式

MLA的核心在于对键和值进行压缩。首先计算常规的查询、键和值投影：

\( Q = X \cdot W_Q \)

\( K = X \cdot W_K \)

\( V = X \cdot W_V \)

将键和值压缩到潜在空间：

\( K_{\text{latent}} = K \cdot W_{\text{compress}}^K \)

\( V_{\text{latent}} = V \cdot W_{\text{compress}}^V \)

采用缩放点积注意力：

\( \text{Attention} = \text{softmax}\left(\frac{Q (K_{\text{latent}})^T}{\sqrt{d_{\text{latent}}}}\right) \cdot V_{\text{latent}} \)

最后输出：

\( \text{MLA}(X) = \text{Attention} \cdot W_O \)

这种方法利用潜在向量在内存与计算量上的优势，同时保持令牌级别细粒度信息。

三、代码实现比较

3.1 MHA代码实现

Python代码示例


# 导入必要模块
import torch
import torch.nn as nn
import math
import torch.nn.functional as F  # 用于softmax

# 多头注意力实现
class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        self.num_heads = num_heads
        self.d_model = d_model
        assert d_model % num_heads == 0, "d_model必须是num_heads的整数倍"
        self.depth = d_model // num_heads

        # 查询、键、值以及输出投影层
        self.wq = nn.Linear(d_model, d_model)
        self.wk = nn.Linear(d_model, d_model)
        self.wv = nn.Linear(d_model, d_model)
        self.wo = nn.Linear(d_model, d_model)

    def split_heads(self, x, batch_size):
        # 将最后一维分割为(num_heads, depth)并交换轴
        x = x.view(batch_size, -1, self.num_heads, self.depth)
        return x.permute(0, 2, 1, 3)  # (batch_size, num_heads, seq_len, depth)

    def forward(self, Q, K, V, mask=None):
        batch_size = Q.size(0)
        # 对输入进行线性变换
        q = self.wq(Q)
        k = self.wk(K)
        v = self.wv(V)
        # 分割为多个头
        q = self.split_heads(q, batch_size)
        k = self.split_heads(k, batch_size)
        v = self.split_heads(v, batch_size)
        # 计算缩放点积注意力
        scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.depth)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attention_weights = F.softmax(scores, dim=-1)
        output = torch.matmul(attention_weights, v)
        # 恢复原始形状后进行输出投影
        output = output.permute(0, 2, 1, 3).contiguous()
        output = output.view(batch_size, -1, self.d_model)
        output = self.wo(output)
        return output, attention_weights

3.2 GQA代码实现

Python代码示例


# 分组查询注意力实现
class GroupedQueryAttention(nn.Module):
    def __init__(self, d_model, num_heads, num_groups):
        super(GroupedQueryAttention, self).__init__()
        self.num_heads = num_heads
        self.num_groups = num_groups  # 分组数, 每组共享一个键和值
        self.d_model = d_model
        assert d_model % num_heads == 0, "d_model必须是num_heads的整数倍"
        assert num_heads % num_groups == 0, "总头数必须能被组数整除"
        self.depth = d_model // num_heads

        self.wq = nn.Linear(d_model, d_model)
        # 注意：键和值的投影维度较低，取决于组数
        self.wk = nn.Linear(d_model, d_model // num_groups)
        self.wv = nn.Linear(d_model, d_model // num_groups)
        self.wo = nn.Linear(d_model, d_model)

    def split_heads(self, x, batch_size, is_query=False):
        if is_query:
            # 对查询按头拆分
            x = x.view(batch_size, -1, self.num_heads, self.depth)
        else:
            # 对键和值按组拆分
            x = x.view(batch_size, -1, self.num_groups, self.depth * self.num_heads // self.num_groups)
        return x.permute(0, 2, 1, 3)

    def forward(self, Q, K, V, mask=None):
        batch_size = Q.size(0)
        # 查询转换
        q = self.wq(Q)
        # 键和值转换 (注意组内共享)
        k = self.wk(K)
        v = self.wv(V)
        q = self.split_heads(q, batch_size, is_query=True)
        k = self.split_heads(k, batch_size)
        v = self.split_heads(v, batch_size)
        # 计算注意力
        scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.depth)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attention_weights = F.softmax(scores, dim=-1)
        output = torch.matmul(attention_weights, v)
        # 恢复形状并投影
        output = output.permute(0, 2, 1, 3).contiguous()
        output = output.view(batch_size, -1, self.d_model)
        output = self.wo(output)
        return output, attention_weights

3.3 MLA代码实现

Python代码示例


# 多头潜在注意力实现
class MultiHeadLatentAttention(nn.Module):
    def __init__(self, d_model, num_heads, latent_dim):
        super(MultiHeadLatentAttention, self).__init__()
        self.num_heads = num_heads
        self.d_model = d_model
        self.latent_dim = latent_dim  # 潜在空间维度
        assert d_model % num_heads == 0, "d_model必须是num_heads的整数倍"
        self.depth = d_model // num_heads

        self.wq = nn.Linear(d_model, d_model)
        # 原始键和值的投影
        self.wk = nn.Linear(d_model, d_model)
        self.wv = nn.Linear(d_model, d_model)
        # 压缩矩阵
        self.w_compress_K = nn.Linear(d_model, latent_dim)
        self.w_compress_V = nn.Linear(d_model, latent_dim)
        # 解压矩阵
        self.w_decompress_K = nn.Linear(latent_dim, d_model)
        self.w_decompress_V = nn.Linear(latent_dim, d_model)
        self.wo = nn.Linear(d_model, d_model)

    def split_heads(self, x, batch_size):
        # 将输入拆分为多个头并交换轴
        x = x.view(batch_size, -1, self.num_heads, self.depth)
        return x.permute(0, 2, 1, 3)

    def forward(self, Q, K, V, mask=None):
        batch_size = Q.size(0)
        # 查询投影与拆分
        q = self.wq(Q)
        q = self.split_heads(q, batch_size)
        # 键和值正常投影
        k_proj = self.wk(K)
        v_proj = self.wv(V)
        # 对键和值进行潜在空间压缩
        latent_k = self.w_compress_K(k_proj)
        latent_v = self.w_compress_V(v_proj)
        # 对每个头重复压缩后的结果
        latent_k = latent_k.unsqueeze(1).repeat(1, self.num_heads, 1, 1)
        latent_v = latent_v.unsqueeze(1).repeat(1, self.num_heads, 1, 1)
        # 计算缩放点积注意力（使用潜在维度）
        scores = torch.matmul(q, latent_k.transpose(-2, -1)) / math.sqrt(self.latent_dim)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attention_weights = F.softmax(scores, dim=-1)
        output_latent = torch.matmul(attention_weights, latent_v)
        # 将潜在空间注意力结果解压回高维空间
        output_latent = output_latent.view(batch_size, -1, self.latent_dim)
        output = self.w_decompress_V(output_latent)
        output = self.wo(output)
        return output, attention_weights

四、性能和效率比较

下表展示了三种注意力机制在计算和内存方面的主要区别：

注意力机制 KV缓存大小 计算复杂度 表达能力 适用场景
MHA 较大（每个头有独立KV） 较高 (\(O(n^2)\)) 捕捉多样化信息 资源充足训练与推理
GQA 中等（组内共享KV） 降低部分计算成本 平衡表达能力与效率 内存受限与模型推理
MLA 最小（潜在空间:低维） 显著减少计算开销 保持甚至增强表达能力 大模型推理与低内存场景

从上表可以看出，MHA在表现上最为全面，但由于每个注意力头都分配独立的键和值，内存占用及计算成本较高；GQA通过分组策略部分缓解了此问题；而MLA在引入潜在嵌入后，不仅大幅降低KV缓存需求，同时保存了丰富的上下文信息，适合低内存高性能模型场景。

五、应用场景与权衡

每种注意力机制都有其独特的优缺点和适用场景：

5.1 MHA的优缺与适用

优势

MHA的优势在于每个头独立计算，即使同一输入可以在不同子空间捕捉多样化的信息。这种机制适合模型训练时资源充足的情况，可以捕获更丰富的语义和上下文信息。

局限性

由于每个头单独计算KV，计算复杂度高且内存消耗巨大，尤其对于长序列输入来说，计算成本呈二次增长，这使得在大规模推理场景下可能不够高效。

5.2 GQA的优缺与适用

优势

GQA采用查询头分组策略，由于组内共享键和值，这显著降低了KV存储的需求和计算量。对于需要同时兼顾内存限制和模型质量的应用来说，GQA提供了较好的折中方案。

局限性

共享的键和值虽然降低了计算成本，但也可能导致注意力权重的选择不够细粒度，从而在一些对细节捕捉要求高的任务中略逊于完全独立的MHA。

5.3 MLA的优缺与适用

优势

MLA引入压缩和解压矩阵，将高维的键和值数据压缩到低维潜在表示中，这样做能够大幅降低内存消耗，同时保持甚至提升模型表达能力。其优势在于能够在大模型推理和资源受限环境中运行，保持高效且精确的注意力计算。

局限性

尽管理论上MLA能实现和MHA相媲美的表达能力，训练和实现过程中对压缩和解压矩阵的学习要求较高，可能在调参和优化上更具挑战性。

六、总结与对比分析

本文详细比较了三种核心的注意力机制：

  • 在公式上，MHA直接通过独立查询、键和值的矩阵变换计算注意力，公式较为直观；GQA在此基础上通过分组共享键和值来降低复杂度；MLA则通过引入潜在表示进行压缩，从而优化KV缓存的需求。
  • 在代码实现上，我们通过PyTorch示例展示了三者的基本实现方式，其中MHA代码较为标准、直白，而GQA和MLA需要额外处理组内共享和潜在空间转换。
  • 性能与效率上，MHA的计算复杂度和内存开销最高，但表达能力最强；GQA在内存和计算上取得较好平衡；MLA通过潜在表示极大降低资源需求，非常适合大模型推理场景。

根据具体应用场景和资源约束，可以选择适合的注意力机制。对于追求模型最优表达能力且资源充足的情况，MHA是不二之选；在需要平衡内存和计算效率时，GQA提供了一个较好的方案；当面对大规模模型和推理任务时，MLA由于其对KV缓存的优化，显得更加吸引人，其性能提升在实际应用中已被证明具有重要意义。

结论

通过本文的详细解析，我们可以看出：

  1. MHA在原始Transformer中提供了最为基础和全面的注意力计算，不过其二次计算复杂度使得在大输入序列时面临内存和计算消耗较大的问题。
  2. GQA通过将查询头进行分组并共享键和值的方式，有效降低了内存消耗，并在一定程度上减少了计算成本，尽管这可能牺牲部分细粒度信息捕捉能力，但在许多实际场景中表现出良好的平衡性。
  3. MLA通过引入潜在向量压缩机制，既降低了KV缓存需求，又保持了令牌级注意力的精准计算，不仅在理论上赋予了模型更高的计算效率，而且在大规模语言模型推理中显示出显著优势。

总体来说，选择哪种机制需要综合考虑模型的规模、训练与推理的资源限制、实时性要求以及对细粒度信息捕捉的需求。在当前大多数大模型场景下，MLA和GQA正逐步获得更多关注，而传统的MHA仍在需要极高表达能力的任务中占据重要的地位。开发者可以根据具体的数据和应用背景，选择合适的注意力机制，并进一步对代码实现和参数设置进行优化，从而实现更高效、更精准的深度学习模型。

参考文献

推荐查询


Last updated February 25, 2025
Ask Ithy AI
Export Article
Delete Article
About|Privacy|Terms||