新闻动态
-
202408-06
- 算法、系统和应用，三个视角全面读懂混合专
- LLM很强，而为了实现LLM的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。最近，各家科技公司提出的新一代大模型...
-
202405-14
- 微软让MoE长出多个头，大幅提升专家激活
- MH-MoE能优化几乎所有专家，实现起来非常简单。混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的Gemini1.5以及备受关注的Mi...
-
202405-13
- DiT架构大一统：一个框架集成图像、视频
- 基于DiffusionTransformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和3D「一网打尽」。今年2月初，Sora的发布...
-
202405-10
- 原作者带队，LSTM真杀回来了！
- LSTM：这次重生，我要夺回Transformer拿走的一切。在20世纪90年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，...
-
202404-26
- CVPR 2025 | 擅长处理复杂场景
- AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传...
-
202404-24
- 自然语言处理(NLP)的工作原理
- 本文早在揭开语言模型的神秘面纱，阐明其处理原始文本数据的基本概念和机制。它涵盖了几种类型的语言模型和大型语言模型，重点关注基于神经网络的模型。语言模型定义语言模...
-
202404-22
- 超越BEVFusion！DifFUSER
- 写在前面&笔者的个人理解目前，随着自动驾驶技术的越发成熟以及自动驾驶感知任务需求的日益增多，工业界和学术界非常希望一个理想的感知算法模型，可以同时完成三...
-
202404-18
- Meta无限长文本大模型来了：参数仅7B
- 谷歌之后，Meta也来卷无限长上下文。Transformers的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力力和状态空间模型等次二次解...
