这里是九年义务漏网鲨鱼

这里是九年义务漏网鲨鱼研究生在读主要研究方向是人脸伪造检测,长期致力于研究多模态大模型技术国家奖学金获得者国家级大创项目一项发明专利一篇多篇论文在投蓝桥杯国家级奖项、妈妈杯一等奖。✍ 博客主要内容为大模型技术的学习以及相关面经本人已得到B站、百度、唯品会等多段多模态大模型的实习offer为了能够紧跟前沿知识决定写一个“从零学习 RL”主题的专栏。这个专栏将记录我个人的主观学习过程因此会存在错误若有出错欢迎大家在评论区帮助我指出。除此之外博客内容也会分享一些我在本科期间的一些知识以及项目经验。 Github仓库地址Baby Awesome Reinforcement Learning for LLMs and Agentic AI 有兴趣合作的研究者可以联系我yirongzzz163.com文章目录前言一、现如今的”Transformer“二、Attention Serious2.1 Multi-Head Attention (MHA)2.2 Multi-Query Attention (MQA)2.3 Grouped Query Attention (GQA)三、归一化LayerNorm → RMSNorm Pre-Norm Post-Norm原始 Transformer 用法 Pre-Norm现代 LLM 常用3.1 LayerNorm 1.为什么不用 BatchNorm而用 LayerNorm / RMSNorm(面经)3.2 RMSNorm四、总结前言✍ 在大模型论文学习中相信很多读者和笔者一样一开始都会有一种感觉“现在大模型架构都差不多主要是数据和算力在堆积。”当笔者慢慢总结LLaMA、Qwen、DeepSeek这些模型架构的时候发现在 Attention、位置编码、FFN 与归一化 上其实已经悄悄从经典 Transformer 走到了另一套“默认配置”。相较于最初的 Transformer现在的主流大模型在架构上已经逐渐从MQA → GQAGrouped Query Attention绝对位置编码 → RoPERotary Positional EmbeddingReLU / GELU 前馈网络 → SwiGLU 前馈网络LayerNorm → RMSNorm Pre-Norm…因此在本文的学习中我们主要聚焦于目前的大模型”默认配置“的学习了解现在的”Transformer“!一、现如今的”Transformer“读者肯定很疑惑为什么我要把第一章名字起为现如今的”Transformer“实际上在以前不管是科研还是工作大家都会把Transformer作为一个baseline去进行优化就像BERT、GPT等等一直沿用的是Transformer的架构。但到了现在研究者发现其中模块的更替可以达到更好的的效果。因此现如今的大模型已经不再直接将以前的Transformer架构作为baseline而是将更换了模块的Transformer架构作为baseline。那现如今的baseline模块长什么样子呢笔者统计了比较经典的模块所采用的注意力机制、位置编码、MLP激活层以及归一化的方式:模型家族 注意力 位置编码 MLP 激活 归一化早期 GPT/BERT MHA 绝对 PE / learned pos GELU LayerNormLLaMA 1/2/3 系列 GQA大模型 RoPE SwiGLU RMSNormQwen2 / Qwen2.5 GQA RoPE SwiGLU RMSNormMistral 7B GQA sliding window RoPE SwiGLU RMSNormDeepSeek-LLM 等 GQA/自研高效注意力 RoPE SwiGLU RMSNormGranite / Gemma 等 GQA/MQA RoPE SwiGLU/GeGLU RMSNorm/LN如表格所示, 对比早期 GPT/BERT 模型我们就可以发现了现如今大模型的各个模块都有所改变注意力机制MQA → GQAGrouped Query Attention位置编码 绝对位置编码 → RoPERotary Positional EmbeddingMLP 激活层ReLU / GELU 前馈网络 → SwiGLU 前馈网络归一化 LayerNorm → RMSNorm Pre-Norm所以如果你能把这四件套讲明白基本就把现代 LLM 架构里 理清并且可以快速找到文章的贡献点。二、Attention Serious2.1 Multi-Head Attention (MHA)首先来回顾一下以前的注意力机制————————————————版权声明本文为CSDN博主「九年义务漏网鲨鱼」的原创文章遵循CC 4.0 BY-SA版权协议转载请附上原文出处链接及本声明。原文链接https://blog.csdn.net/weixin_51908696/article/details/155058216