据站长之家 7 月 26 日报道，斯坦福大学的研究人员开发了一种名为 Sophia 的新型优化器，可将语言模型的预训练时间缩短一半。相比于 Adam 优化器，Sophia 可以更快地解决语言模型的问题。Sophia 通过轻量级估计对角 Hessian 矩阵作为二阶优化器的预条件。在更新之后，通过取梯度的平均值除以估计 Hessian 的平均值来进行元素级别的剪切。此外，Sophia 还可以适应语言建模任务中的大参数变化。
Gate.io - 芝麻交易所，又称芝麻开门交易所，是原比特儿交易所国际版本，是全球第二大交易所 支持人民币OTC交易 让财富更自由一点
文章采集自互联网，本站不对其真实性负责，如需删除，请发送链接至oem1012@qq.com
发表评论
电子邮件地址不会被公开。 必填项已用*标注
文章评论已关闭！