新闻动态
-
202309-29
- 文档字越多，模型越兴奋！KOSMOS-2
- 目前的一个明显趋势是致力于构建更大更复杂的模型，这些模型拥有数百/数千亿个参数，能够生成令人印象深刻的语言输出然而，现有的大型语言模型主要集中在文本信息上，无法...
-
202309-29
- 微软推出小型AI模型，秘密进行“B计划”
- AI大模型在2023年成为关键词，也是各大科技公司竞争的热门领域。然而，这种象征未来的AI大模型成本过高，甚至让像微软这样财大气粗的公司开始考虑备选方案。最近有...
-
202309-27
- 介绍RWKV：线性Transformer
- 以下是我在RWKV播客中的一些想法摘要：https://www.latent.space/p/rwkv#details为什么替代方案的重要性如此突出？随着202...
-
202309-26
- 新标题：TextDiffuser：无惧图
- 在过去几年中，Text-to-Image领域取得了巨大的进展，特别是在人工智能生成内容（AIGC）的时代。随着DALL-E模型的兴起，学术界涌现出越来越多的Te...
-
202309-22
- 谷歌DeepMind：将大模型与强化学习
- 在开发机器人学习方法时，如果能整合大型多样化数据集，再组合使用强大的富有表现力的模型（如Transformer），那么就有望开发出具备泛化能力且广泛适用的策略，...
-
202309-21
- 智源开放3亿条语义向量模型训练数据，BG
- 随着大型模型的开发和应用火热发展，作为大型模型核心基础组件的Embedding的重要性变得越来越突出。智源公司在一个月前发布的开源可商用的中英文语义向量模型BG...
-
202309-20
- 视觉Transformer中ReLU替代
- Transformer架构已经在现代机器学习领域得到了广泛的应用。重点是要集中注意力是transformer的一大核心组件，其中包含了一个softmax，作用是...
-
202309-20
- 10万美元+26天，一个低成本千亿参数L
- 包括仅解码器结构（如GPT和LLAMA系列模型）、仅编码器结构（如BERT）和编码器-解码器结构（如T5）以及它们的变体模型在内的大型语言模型（LLM）已经取得...
