新闻动态
-
202402-02
- 匿名论文提出奇招！增强大模型长文本能力居
- 一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？不行，这些都太费硬件资源了。来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参...
-
202401-26
- ICLR为什么没有接受Mamba论文？A
- 2023年，AI大模型领域的统治者Transformer的地位开始受到挑战。一种新的架构名为「Mamba」崭露头角，它是一种选择性状态空间模型，在语言建模方面与...
-
202304-12
- 加速ViT模型新思路！Meta推出Tok
- 视觉变换器（ViT）在两年前进入大众视野，并成为计算机视觉研究的核心组成部分。它成功将一个在自然语言处理领域的Transformer模型迁移到计算机视觉领域。从...
