据量子位 10 月 1 日报道，来自香港中文大学和 MIT 的贾佳亚韩松联合团队提出基于 LoRA 的全新大模型微调方法 LongLoRA 登上 GitHub 热榜。据悉，该方法只要两行代码 + 11 个小时微调，就能把大模型 4k 的窗口长度提高到 32k。规模上，最长可以扩展到 10 万 token，一口气就能读完长篇小说的多个章节或中短篇小说。介绍称，在一台 8 个 A100 组成的单机上，增大窗口长度的速度比全量微调快数倍。
Gate.io - 芝麻交易所，又称芝麻开门交易所，是原比特儿交易所国际版本，是全球第二大交易所 支持人民币OTC交易 让财富更自由一点
文章采集自互联网，本站不对其真实性负责，如需删除，请发送链接至oem1012@qq.com
发表评论
电子邮件地址不会被公开。 必填项已用*标注
文章评论已关闭！