📌 一句话摘要

本课程深入剖析大型语言模型（LLM）的内部运作机制，从词元化到 Transformer 层处理，再到概率生成，并结合 Llama 和 Gemma 模型进行实践解剖。

📝 详细摘要

该视频课程是“生成式人工智慧與機器學習導論 2025”的第三讲，核心在于解构 LLM 的内部工作原理。文章详细阐述了从输入句子如何经过词元化、嵌入表查询，到多层 Transformer（自注意力、前馈网络）处理，最终通过语言模型头部（LM Head）和 Softmax 生成下一个词元概率的全过程。特别强调了“逆嵌入”的概念，即 LM Head 复用嵌入表，使模型在预测时寻找与目标词元嵌入最接近的表示。文章还深入探讨了模型中间层表示的语义意义，如何通过“表示工程”修改模型行为，并介绍了 Logic Lens 和 Patch Scope 等先进工具，用于可视化和分析模型在理解上下文、处理多义词和进行内部“思考”时的变化。最后，通过对 Llama 和 Gemma 模型参数结构的实践解剖，验证了理论讲解，并展示了词元相似度、表示变化及注意力权重的可视化。

💡 主要观点

1. LLM 通过词元化、嵌入、多层 Transformer 和 LM Head/逆嵌入机制，逐步理解上下文并预测下一个词元。 文章系统阐述了 LLM 从输入到输出的完整流程，揭示了每个核心组件（如嵌入表、Transformer 层、LM Head）在语言理解和生成中的作用，为理解模型运作奠定基础。
2. LLM 的中间层表示蕴含丰富的语义信息，可被分析、可视化甚至直接修改以控制模型行为。 通过分析不同层级表示的变化，可以观察模型如何处理多义词、捕捉语义方向。表示工程等技术允许研究者通过干预这些表示来影响模型的输出，揭示了模型深层决策机制。
3. Logic Lens 和 Patch Scope 等工具能深入洞察 LLM 的“思考”过程，揭示模型内部的理解路径。 这些工具将模型中间层的表示映射回人类可理解的文本或概念，帮助研究者观察模型如何逐步构建对输入文本的理解，甚至发现模型内部的“思维语言”或推理步骤。

💬 文章金句

• 今天，我们假设模型已经训练完毕，参数已经固定，我们将直接解剖它，观察这些参数如何与输入的句子互动，最终产生下一个词元的概率。
• 语言模型在预测下一个词元时，会努力在每一层中生成一个表示，这个表示尽可能地接近它认为最有可能出现的那个词元的嵌入。
• 通过直接干预模型的内部表示，我们可以显著改变其行为。
• Logit Lens 是另一种分析方法，它直接将模型的中间层表示映射回词汇空间，让我们能以文字的形式'看到'模型在每一层的'想法'。
• 每个头都在做着自己的事情，共同协作，最终实现了对语言的深刻理解。

📊 文章信息

播放完整视频