UC 伯克利研究人员提出新 AI 技术 RingAttention，可降低 Transformer 内存需求

据站长之家报道，UC 伯克利研究人员提出了一项名为 RingAttention 的新方法，以解决深度学习模型中内存需求的挑战。在最新的研究中，研究人员探讨了 Transformer 模型在处理长序列时面临的问题，特别是由于自注意力机制引发的内存需求。RingAttention 通过将自注意力和前馈网络计算块块地分布在多个设备上，实现了内存高效，允许训练超过 500 倍长度的序列。