IT之家6 月 1 日消息，英伟达今日正式推出英伟达 Cosmos 3，这是一款面向物理人工智能的开放世界基础大模型，依托混合 Transformer 架构打造，在单一系统中融合视觉推理、世界生成与动作预测能力。 英伟达称，Cosmos 3 是全球首款全开源的全模态大模型，可原生 ...

本研究针对现有Transformer模型在3D医学图像分割中存在的计算复杂度高、多尺度特征提取不足以及精度与效率难以兼顾等问题，开发了多尺度密集扩张Transformer（MDFormer）。该模型创新性地设计了多尺度密集扩张自注意力（MDDSA）模块，通过动态调整扩张矩阵大小 ...

IT之家5 月 9 日消息，科技媒体 marktechpost 昨日（5 月 8 日）发布博文，报道称英伟达开源其 Open Code Reasoning（OCR）模型套装，含 32B、14B 和 7B 三种参数规模，均采用 Apache 2.0 许可证发布，模型权重和配置已在 Hugging Face 平台开放下载。 OCR 模型套装提供三种参数 ...

BertViz通过交互式的注意力矩阵视图，展示了模型在处理文本时各个层和注意力头的权重分布。用户可以直观地看到模型如何捕捉单词之间的上下文关系。 多视图模式 Head View：可视化同一层中一个或多个注意力头的注意力模式，帮助分析单个注意力头的行为。

语言模型在近年来取得了快速的进展，Transformer 架构成为自然语言处理的主流。但是，随着模型的规模增加，处理长上下文、内存效率和吞吐量的挑战变得更加明显。 AI21 Labs推出了 Jamba，一种结合了 Transformer 和 Mamba 架构的混合语言模型。这种混合框架使得 Jamba ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），作者：Afunby，原文标题：《图解 Transformer——多头注意力》，题图来自：视觉中国 本文为图解 Transformer 的第三篇文章。在前两篇文章中，我们学习了何为 Transformer，其架构及工作原理。本文将在此基础上 ...

Mamba是最近最火的模型之一，更是被业内认为可以有取代Transformer的潜力。今天介绍的这篇文章，探索了Mamba模型在时间序列预测任务上是有有效。本文首先给大家介绍Mamba的基础原理，再结合这篇文章探索在时间序列预测场景中Mamba是否有效。 Mamba是一种基于State ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解Transformer：功能概览》，作者：Ketan Doshi，翻译&整理：Afunby，题图来自：视觉中国 一、引言 随着大型语言模型如 ChatGPT 的横空出世，我们进入了自然语言处理（NLP）的一个新纪元。在这个 ...

数据融合方案应用：前融合方案信息损耗小，算力要求高 当前，智能驾驶的实现基本依据“感知-决策-控制”的三步走方案，模仿了人类处理环境信息并做出相应行为反馈的过程。因此，智能电动汽车也被业界认为是技术上最有可能实现具身智能的机器成果之一。

谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatGPT奠基之作”的著名架构Transformer的八位作者均已离开谷歌。Transformer的发布如同人工智能领域的“宇宙大爆炸”。八位研究人员都 ...

艾丹·戈麦斯（Aidan Gomez）是一位著名的AI研究者，也是Cohere的联合创始人。他是少数在Google Brain工作时创造Transformer算法的研究者之一。此次交流中，他谈到了自己的经历以及他的初创公司Cohere，该公司以他早些时候的工作为基础。 戈麦斯在加拿大长大，后来他 ...

受监督学习的启发，人们对把 Transformer 用于强化学习产生了浓厚的兴趣。 强化学习（RL）为顺序决策提供了一种数学形式，深度强化学习（DRL）近年来也取得巨大进展。然而，样本效率问题阻碍了在现实世界中广泛应用深度强化学习方法。为了解决这个问题，一 ...