新闻动态
-
202408-14
- 非Transformer架构站起来了！首
- Mamba架构的大模型又一次向Transformer发起了挑战。Mamba架构模型这次终于要「站」起来了？自2023年12月首次推出以来，Mamba便成为了Tr...
-
202408-09
- 通义千问开源Qwen2-Math，成为最
- 8月9日消息，阿里通义团队开源新一代数学模型Qwen2-Math，包含1.5B、7B、72B三个参数的基础模型和指令微调模型。Qwen2-Math基于通义千问开...
-
202408-09
- 投机采样会损失大语言模型的推理精度吗？
- MitchellStern等人于2018年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括LookaheadDecoding、REST、M...
-
202408-08
- Llama3训练每3小时崩一次？豆包大模
- 伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态...
-
202408-08
- PRO | 为什么基于 MoE 的大模型
- 2023年，几乎AI的每个领域都在以前所未有的速度进化，同时，AI也在不断地推动着具身智能、自动驾驶等关键赛道的技术边界。多模态趋势下，Transformer作...
-
202408-07
- 李飞飞亲自撰文，数十名科学家签署联名信，
- AI真的已经危险到要如此监管的地步了吗？在创新的热土硅谷，李飞飞、吴恩达等AI科学家正在与监管部门展开一场关于安全与创新的拉锯战。这场拉锯战的核心是一个名叫SB...
-
202408-07
- 八问八答搞懂Transformer内部运
- 七年前，论文《Attentionisallyouneed》提出了transformer架构，颠覆了整个深度学习领域。如今，各家大模型都以transformer架...
-
202408-06
- 全员离开老东家，Stable Diffu
- AI图像和视频生成领域又加入了一个颇有实力的玩家。还记得今年3月底，从AI初创公司StabilityAI离职的研究科学家RobinRombach吗？作为开发出文...
