大模型行研：GSA - Transformer 类大模型的加速器
一、GSA 是什么GSA (Gated Slot Attention)是一种结合了 Transformer 和 RNN 特点的模型架构，既保留了Transformer的注意力机制，又借鉴了RNN的高效性运算复杂度从抛物线增长变为等比线性增长在需要上下文记忆的任务中表现优异二、GSA 能做什么：Transformer 类大模型的加速器理解成 Transformer 类大模型的 SideCar，实现架构 + 训练 + 推理 + 运行全流程降本增效[无缝集成]不会破坏 AI 产品、底座模型与Transformer架构本身自带的代码体系、数据集和基础推理逻辑，无需再次开展预训练[性能提升]将上下...