用于RAG的仅编码器Transformer（如BERT）详解

外来客 • 2026-08-27 03:13:47

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：Encoder-Only Transformers (like BERT) for RAG, Clearly Explained!!!）

Encoder-only Transformer（如 BERT）虽然不如 Decoder-only 模型（如 ChatGPT）那样广为人知，但拥有显著且被低估的能力。
其核心价值在于生成“上下文感知嵌入”（Context-aware Embeddings），这种嵌入不仅包含词义，还融合了词序和词间关系信息。
这类模型是检索增强生成（RAG）技术的基础，能够高效地对文本块进行向量化，从而支持语义搜索和分类任务。
尽管 Decoder-only 模型占据了主流舆论，Encoder-only 模型在特定场景下（如聚类、分类、RAG）依然具有不可替代的优势。

历史背景：2017 年首个 Transformer 模型包含 Encoder 和 Decoder 两部分，用于机器翻译。随后研究发现，两部分可独立工作，分别衍生出 Decoder-only 和 Encoder-only 模型。
词嵌入原理：
传统随机数字分配无法体现词义相似性（如 "great" 和 "awesome"）。
通过训练神经网络预测下一个词，使语义相近且语境相似的词在向量空间中聚集。
简单的词嵌入忽略了词序，导致 "Squatch eats pizza" 和 "pizza eats Squatch" 无法区分。
位置编码（Positional Encoding）：
用于保持词序信息，解决简单嵌入忽略顺序的问题。
确保模型能区分不同语序带来的不同含义。
自注意力机制（Self-Attention）：
Encoder-only 模型仅使用自注意力。
通过计算句子中每个词与其他所有词（包括自身）的相似度，建立词间关系。
例如，在句子 "The pizza came out of the oven and it tasted good" 中，自注意力帮助模型正确关联代词 "it" 与 "pizza"，而非 "oven"。
上下文感知嵌入：
结合词嵌入、位置编码和自注意力，生成包含位置、关系和语义的新嵌入。
这种嵌入能更好地聚类相似句子或文档，因为同一词在不同语境下会有不同的向量表示。