新闻动态
-
202404-18
- Meta无限长文本大模型来了：参数仅7B
- 谷歌之后，Meta也来卷无限长上下文。Transformers的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力力和状态空间模型等次二次解...
-
202404-18
- 大模型下B端前端代码辅助生成的思考与实践
- 一、背景重构工作中，代码规范：B端前端开发过程中开发者总会面临重复开发的痛点，很多CRUD页面的元素模块基本相似，但仍需手动开发，将时间花在简单的元素搭建上，降...
-
202404-17
- 用MoE横扫99个子任务！浙大等提出全新
- 多任务机器人学习在应对多样化和复杂情景方面具有重要意义。然而，当前的方法受到性能问题和收集训练数据集的困难的限制。这篇论文提出了GeRM（通用机器人模型），研究...
-
202404-16
- DeepMind升级Transforme
- 引入混合深度，DeepMind新设计可大幅提升Transformer效率。Transformer的重要性无需多言，目前也有很多研究团队致力于改进这种变革性技术，...
-
202404-15
- ReFT(表征微调)：比PeFT效果更好
- ReFT(RepresentationFinetuning)是一种突破性的方法，有望重新定义我们对大型语言模型进行微调的方式。斯坦福大学的研究人员最近（4月）在...
-
202404-13
- 直接扩展到无限长，谷歌Infini-Tr
- 不知Gemini1.5Pro是否用到了这项技术。谷歌又放大招了，发布下一代Transformer模型Infini-Transformer。Infini-Tran...
-
202404-12
- 一文搞懂Tokenization！
- 语言模型是对文本进行推理的，文本通常是字符串形式，但模型的输入只能是数字，因此需要将文本转换成数字形式。Tokenization是自然语言处理的基本任务，根据特...
-
202404-12
- 长文本杀不死RAG：SQL+向量驱动大模
- 大模型和AI数据库双剑合璧，成为大模型降本增效，大数据真正智能的制胜法宝。大模型（LLM）的浪潮已经涌动一年多了，尤其是以GPT-4、Gemini-1.5、Cl...
