大模型面试 / Transformer篇

共 11 篇。

• 22.详述Transformer多头自注意力机制
• 24.Transformer中位置编码的作用
• 25.LayerNorm vs BatchNorm的适用场景
• 32.Transformer的编码器-解码器结构工作流程
• 33.解释LLaMA的RMSNorm和SwiGLU激活函数改进
• 35.混合专家模型（MoE）如何降低计算成本？
• 36.大模型长文本处理的优化方案
• 37.大模型位置编码的演进
• 38.解释FlashAttention的显存优化原理
• 39.对比LSTM&GRU与Transformer的长距离依赖处理能力
• 40.模型稀疏化的实践方法