最近筆者在啃 Transformer 的書籍，其中有個結論：
BERT 僅使用 Transformer 的編碼器部分，而不使用解碼器部分.
這本書只講了結論，沒有講原因。于是筆者做了一番功能，去查了一些資料進行學習。
在自然語言處理領域，BERT (Bidirectional Encoder Representations from Transformers) 通過 Transformer 的編碼器實現了雙向預訓練，并且在多個任務中取得了卓越的表現。
Transformer 是一種基于注意力機制的神經網絡架構，最初在論文 Attention is All You Need 中被提出。它包括編碼器和解碼器兩個主要部分。
編碼器
編碼器的主要功能是接收輸入序列，將其轉換為一個上下文相關的表示。編碼器通過多頭自注意力機制和前饋神經網絡對輸入的每個位置進行建模，從而捕捉輸入序列中不同詞語之間的依賴關系。
解碼器
解碼器的主要功能是生成輸出序列。它不僅需要使用編碼器生成的上下文表示，還需要通過掩碼自注意力機制生成當前時間步的預測，確保輸出的生成是基于已經生成的內容，而不會看到未來的詞語。
通過對編碼器和解碼器的功能分析，可以看出兩者的側重點不同：編碼器適合生成豐富的上下文表示，而解碼器更適合生成語言序列。
BERT 的任務目標
BERT 的設計目標是提供深層雙向表示，從而在預訓練后可以很好地適配多種下游任務，如句子分類、文本匹配和問答任務。
為了實現這一目標，BERT 的預訓練任務包括：
Masked Language Modeling (MLM)：通過隨機掩蓋輸入序列中的部分單詞，要求模型預測這些被掩蓋的單詞。Next Sentence Prediction (NSP)：判斷兩個句子是否相鄰。
這些任務決定了 BERT 的設計重點是對輸入序列的全面理解，而不是生成新的序列。
為什么編碼器適合 BERT 的任務？
編碼器的雙向自注意力機制允許模型同時考慮上下文的左右兩側。這種雙向表示對于理解語言中的語義和句法關系至關重要。例如：
- 在句子
The bank is on the river bank.中，bank的含義依賴于其上下文。如果僅使用單向表示（如解碼器的方式），模型只能依賴左側或右側的上下文，難以全面理解整個句子。
編碼器通過多頭自注意力機制捕捉詞語之間的依賴關系，而無需考慮生成序列的問題，從而專注于輸入序列的表示學習。
解碼器為何不適合 BERT
解碼器的設計目的是生成序列，而這一過程要求掩蓋未來的詞語，以確保生成的正確性。這種單向性限制了模型對上下文的全面理解能力。例如，在解碼器的自注意力機制中：
- 給定句子
The cat sat on the mat.，當生成sat時，解碼器只能看到The cat，而無法利用右側的上下文on the mat。
這種單向限制對于 BERT 的目標任務（如 MLM）是不可接受的，因為 MLM 要求模型能夠同時利用上下文的左右信息。
真實世界案例分析
案例 1：文本分類任務
在新聞分類任務中，BERT 需要根據文章的內容分類。如果模型只能看到單向上下文，它可能會遺漏重要信息。例如：
-
句子
The stock market experienced a significant drop due to geopolitical tensions.如果模型只能看到
The stock market experienced a significant drop，它可能會將其誤分類為經濟新聞。而通過編碼器的雙向機制，模型可以看到完整句子并準確判斷類別。
案例 2：問答任務
在問答任務中，BERT 需要從上下文中提取答案。例如：
-
問題：
Where is the Eiffel Tower located? -
上下文：
The Eiffel Tower is located in Paris, which is the capital of France.如果模型只能單向查看上下文，它可能無法準確定位
Paris，因為其依賴于前后信息的結合。
代碼示例：編碼器與解碼器的對比
以下是一個簡單的代碼示例，展示編碼器和解碼器在處理輸入序列時的差異。
import torch
from torch import nn
from transformers import BertModel, BertTokenizer
# 使用編碼器 (BERT)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
sentence = "The stock market experienced a significant drop due to geopolitical tensions."
inputs = tokenizer(sentence, return_tensors='pt')
# BERT 編碼器生成雙向表示
outputs = model(**inputs)
print("Encoder Outputs:", outputs.last_hidden_state.shape)
# 解碼器部分示例
class SimpleDecoder(nn.Module):
def __init__(self, vocab_size, hidden_dim):
super().__init__()
self.embedding = nn.Embedding(vocab_size, hidden_dim)
self.lstm = nn.LSTM(hidden_dim, hidden_dim, batch_first=True)
self.fc = nn.Linear(hidden_dim, vocab_size)
def forward(self, x):
embedded = self.embedding(x)
output, _ = self.lstm(embedded)
return self.fc(output)
# 解碼器僅使用單向表示生成序列
decoder = SimpleDecoder(vocab_size=30522, hidden_dim=768)
x = torch.randint(0, 30522, (1, 10))
decoder_outputs = decoder(x)
print("Decoder Outputs:", decoder_outputs.shape)
在上述代碼中，BERT 的編碼器能夠生成包含上下文關系的表示，而解碼器更注重生成序列的逐步預測。對于需要雙向表示的任務，編碼器顯然更勝一籌。
結論
通過分析 BERT 的設計目標和 Transformer 的架構特點，可以清楚地看到編碼器的雙向特性是實現語言理解任務的關鍵，而解碼器的單向特性更適合生成任務。通過僅使用編碼器，BERT 專注于表示學習，從而在多種下游任務中取得優異的性能。
