新闻动态
-
202404-03
- 大模型中常用的注意力机制GQA详解以及P
- 组查询注意力（GroupedQueryAttention）是大型语言模型中的一种多查询注意力力方法，它的目标是在保持MQA速度的同时实现MHA的质量。Group...
-
202404-02
- 探索使用对比损失的孪生网络进行图像相似性
- 简介在计算机视觉领域，准确地测量图像相似性是一项关键任务，具有广泛的实际应用。从图像搜索引擎到人脸识别系统和基于内容的推荐系统，有效比较和查找相似图像的能力非常...
-
202404-01
- 大语言模型中常用的旋转位置编码RoPE详
- 自2017年发表的“AttentionIsAllYouNeed”论文以来，Transformer架构一直是自然语言处理（NLP）领域的基石。它的设计多年来基本没...
-
202404-01
- 谷歌狂喜：JAX性能超越Pytorch、
- 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。而且测试并不是在JAX性能表现最好的TPU上完成的。虽然现...
-
202403-26
- TensorFlow深度学习框架模型推理
- 概述为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，提供了一套功能完备的Pythonlibrary，其中包含了ModelScope官方模...
-
202403-25
- 3140参数Grok-1推理加速3.8倍
- 马斯克说到做到开源Grok-1，开源社区一片狂喜。但基于Grok-1做改动or商用，都还有点难题：Grok-1使用Rust+JAX构建，对于习惯Python+P...
-
202403-20
- 如何从头开始编写LoRA代码，这有一份教
- LoRA（Low-RankAdaptation）是一项流行的技术，旨在微调大语言模型（LLM）。这项技术最初由微软的研究人员提出，并收录在《LORA:LOW-R...
-
202403-15
- 超强！深度学习Top10算法！
- 自2006年深度学习概念被提出以来，20年快过去了，深度学习作为人工智能领域的一场革命，已经催生了许多具有影响力的算法。那么，你所认为深度学习的top10算法有...
