导读
10月9日，港中文贾佳亚团队宣布联合MIT发布超长文本扩展技术LongLoRA：只需两行代码、一台8卡A100机器，便可将7B模型的文本长度拓展到1...
10月9日，港中文贾佳亚团队宣布联合MIT发布超长文本扩展技术LongLoRA：只需两行代码、一台8卡A100机器，便可将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens。在此之前，以AI社区著名的开源大语言模型为例，LLaMa支持2k tokens的文本长度、Llama2也仅仅支持4k tokens的文本长度。LongLoRA的发布，令全球大语言模型对话缺陷第一次得到解决。同时，该研究团队还基于LongLoRA技术，发布了全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca。目前，LongLoRA技术和LongAlpaca已开源，并获得热烈反响，迅速登上hugging face热榜第一、paperwithcode热度第一，Github全部python项目热度第五，github stars也一周内成功破千。
文章转载自：界面新闻网 非本站原创
版权声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢您的支持与理解。