如果你看到了一份来自 OpenAI 的新 PDF 文件，那多半也是新模型的系统卡或相关增补文件或基准测试，很少有新的研究论文。

　　至于原因嘛，让该公司自家的 ChatGPT 来说吧：「截至目前，OpenAI 在 2025 年在 arXiv 上公开发布的论文数量相对较少，可能反映了其对研究成果公开策略的谨慎态度，可能出于商业保密或安全考虑。」

　　不过近日，OpenAI 也确实发布了一份完全由自己人参与的、实打实的研究论文，其中提出了一种用于高效张量映射的统一代数框架Linear Layouts。这是一种使用二元线性代数而非比特表示（bit representation）的张量布局的通用代数形式，解决了 Triton 等深度学习编译器中长期存在的难题。

　　简单来说：张量布局 = 逻辑张量与硬件资源（例如内存、线程、向量单元）之间的映射关系。下图给出了两个布局示例。

　　需要根据实际需求设计，而且往往是硬编码的（需要手动编写规则）。不可扩展（每一对布局都需要二次组合）。容易出错，尤其是在像 Triton 这样的低层级的后端中 —— 截至目前，Triton 的 GitHub 库中提交的 12% 的 Bug 与布局有关。

　　例如，为了实现高效的矩阵乘法，英伟达在 Ampere、Hopper 和 Blackwell 等不同代际的 GPU 上采用了不同的使用 Tensor Core 的布局，并且每种布局在使用不同数据类型时都有不同的变体。AMD 和英特尔等其它 GPU 供应商在利用其类似 Tensor Core 的技术进行加速时，也使用了不同的布局。因此，硬件架构的快速发展和多样化的深度学习模型需要一种新的张量布局建模方法。

　　在将张量映射到硬件资源方面，需要一种通用且可组合的表示方法。布局转换应该用统一的形式来表达，甚至需要包含诸如数据交换（data swizzling）等复杂变换。这种表示必须与低级硬件优化无缝集成，以确保高效的数据访问和计算。

　　其关键执行单元包括协作线程阵列 (CTA)、Warp 和线程。每个 GPU 线程都可以访问私有寄存器 —— 这些寄存器提供最低延迟的存储空间，但容量有限。常规指令可以由各个线程独立执行。然而，某些特殊功能单元必须在更高的粒度级别上执行。

　　例如，英伟达的 mma（矩阵乘法累加）指令利用 Tensor Core 的方式是并行执行由各个 Warp 发出的多个乘加运算。而 wgmma（Warp 组矩阵乘法累加）等高级变体则是通过在多个 Warp 上同时执行矩阵乘法而对这些功能进行了扩展。AMD 也引入了类似的原语，例如 mfma（矩阵融合乘加）指令。

　　请注意，这些指令要求数据分布在线程和 Warp 之间，或者以特殊布局驻留在共享内存或特殊内存单元（例如 Blackwell 上的 Tensor Memory）中，才能产生正确的结果。

　　然而，这些布局通常不会为加载 / 存储等其他操作带来最佳性能，而且并非总是可以使用特定指令将数据直接从全局内存复制到特殊内存单元。

　　Triton 是一种类似于 Python 的用于特定领域的语言，其设计目标是提供用于编写高性能深度学习原语的灵活接口。Triton 的编译器后端使用了 MLIR，支持多层次抽象表达。

　　究其核心，Triton 内核遵循单程序多数据 (SPMD) 模型，其中计算被划分为多个抽象的 Triton 程序实例。这种设计允许开发者主要关注 CTA 级别的并行性即可。在 Triton 中，「张量」一词指的是从原始 PyTorch 张量中提取的块，它们用作 GPU 核的输入和输出。

　　在编译过程中，Triton 的 Python 代码首先被翻译成 Triton 方言 (tt)，然后进一步翻译成 TritonGPU 方言 (ttg)。在此过程中，每个张量都与特定的布局相关联，以充分利用现代 GPU 上可用的硬件功能单元。例如，当遇到 dot 类算子（例如 tt.dot 和 tt.dot_scaled）时，会采用 mma 布局并使用 Tensor Core 和类似的单元。

　　在最高层级，布局分为分布式（Distributed）布局和内存（（Memory）布局。前者是指张量元素分布在不同的执行单元中，而后者是指张量元素存储在特定的特殊内存中。

　　Blocked 布局通常用于连续的内存访问。MMA 和 MMA 输入布局用于矩阵乘法运算（例如 tt.dot）的输出和输入。MMA 布局可以根据其映射到的硬件指令进一步分类，例如英伟达 GPU 上的 mma 和 wgmma，或 AMD GPU 上的 mfma。Sliced 布局是从其父布局中提取一个维度，用作广播或某个归约运算的输出。

　　传统 Triton 布局系统要求每个布局定义自己的接口方法，例如每个线程的元素数量和连续元素的数量。此外，必须为每个布局显式实现对张量元素的索引以及布局之间的转换。这种方法导致布局构造和转换常出现 bug。

　　下面将简单介绍线性布局的定义、一些基本的线性布局算子、创建各种 Triton 布局以作为线性布局实例，以及应用于 Triton 的通用布局引擎。

　　此外，在 Triton 的编程模型中，张量的维度以及与每个张量相关的布局子部分（例如每个线程的寄存器和线 中，布局 A 有一个 16 × 16 的张量，其使用了多个 2 × 2 的寄存器、4 × 8 的线 的 Warp。

　　由于这些量都是 2 的幂，因此使用其坐标的比特表示，可以直观地可视化布局 A 中元素的分布（如图 1 所示）。所有线) 都位于坐标 (, )，其中 和 的最后几位（bit）均为 0。例如，线 元素的坐标中， 的最后一位始终为 0，而 的最后一位始终为 1。例如，_9 的 _1 位于 (2, 3) = (010, 011)。

　　此外，对于任何偶数线程 _， 的最后一位与 _0 中 的倒数第二位匹配， 的倒数第二位与 _0 中 的倒数第三位匹配。例如，_10 = _01010 的 _0 位于 (2, 4) = (010, 0100)。这种系统性对齐持续存在，表明二次幂结构足以清晰地决定了每个线程元素的分布。

　　综上所述，假设一个大小为 8 的向量 表示一个 Warp 中线程的一个元素，其中前 2 位表示寄存器 (Reg)，接下来的 5 位表示线程 (Thr)，最后一位则表示 Warp (Wrp)，则可以如此定义布局 ：

　　对线性布局的更详细完备性说明请访问原论文，其中涉及到说明分块布局、mma 和 wgmma 的输入和输出布局、线性布局的 slice、每个分布式布局、MMA swizzled 布局、内存布局都是线性布局。另外，OpenAI 也在 Triton 说明了如何实现布局转换以及形状操作。

　　不仅如此，OpenAI 表示，线性布局为在语言前端和编译器后端开发算法提供了结构化的基础。他们也在论文中给出了一些关键示例，这里就不过多展开。接下来简单看看新提出的线性布局的实际表现。

　　Triton 使用传统的数据布局，不支持任意分布式布局的实用程序或它们之间的转换，因此容易出现 bug。Triton 未采用论文中描述的优化代码生成。例如，布局转换始终通过共享内存进行，对高效硬件原语的使用有限。

　　为了比较 Triton 和 Triton-Linear 的性能，该团队构建了一些合成微基准来进行测试，这方面的结果请访问原论文查看。这里仅看看它们在实际基准测试中表现。

　　由于每个基准测试包含多个输入，总计 420 个案例，因此他们使用了误差线（error bars）来表示每个基准测试的最小和最大加速。

　　需要注意的是，由于硬件限制，并非所有基准测试都适用于每个平台。例如，某些基准测试需要仅在 GH200 上才有的大型共享内存，而一些核使用的张量描述符依赖于 TMA 引擎，而 RTX4090 和 MI250 上均不支持 TMA 引擎。

　　可以观察到，高效的硬件原语（例如 ldmatrix 和 stmatrix）在这些核中被广泛用于布局转换以及共享内存的加载和存储操作。值得注意的是，layer_norm 实现了从 0.99 倍到 1.57 倍的加速 —— 在不同形状之间表现出了显著差异。对于某些输入形状，Triton-Linear 能够检测「等效」布局之间的转换，从而将转换过程降低为 no-op（无操作）。这种优化在旧版布局系统中无法实现，因为它无法直接比较不同类型的布局（例如，Blocked 布局和 Sliced 布局）。

　　在 RTX4090 上，新方法实现了 1.00 倍到 1.51 倍的加速。由于 mma (RTX4090) 和 wgmma (GH200) 指令之间的差异，他们在 template_attention 上实现了更高的加速。在本例中，tt.dot 运算的左操作数在循环外部定义，会重复从同一地址加载数据，因此 ldmatrix 和常规共享内存指令均可实现高吞吐量。虽然右操作数在每次迭代中都会更新，但 wgmma 会直接在共享内存中访问它，只有在 RTX4090 上，经过优化后，它才会被降级到 ldmatrix 中。因此，在 GH200 上实现的加速相对较低。在 MI250 上，新方法实现了 0.98 倍到 1.18 倍的加速。

　　05月29日，最高法：让调解这个“东方之花”更加绚烂，灰原哀㊙️黄漫免费漫画，吾色，男人生殖图片真人，鞠婧祎裸被❌AI换脸，

　　原神裸体㊙️无遮挡胸t66y技术讨论区2024一起草🌿久久蜜桃乌龙丝袜脚精子18🈲️❌❌❌成人国产精品㊙️在线看明星合成男生被❌到爽🔞流性玩具网站

　　05月29日，截至5月底我国实有民营经济主体总量18045万户，刘涛又紧又大又湿又爽，芙宁娜被❌到爽🔞高潮沈白，不知火舞自慰❌❌喷水好爽，强奸轮奸虐待乱伦强暴留学生黑人老外黑鬼黑吊洋人

　　05月29日，突发！韩方称朝鲜向半岛东部海域发射弹道导弹，蒂法3d被啪到高潮无遮，海角乱怆破解，3D❌❌❌video白丝电脑怎么登录小火箭软件，国产91精品㊙️入口福

　　05月29日，三节课启动“AIGC学习节” 助力中国企业AI人才战略升级，霍雨浩把唐舞桐❌爽到高潮，小黄猫在线观看免费官网下载，美女爆吸乳羞羞免费网站妖精，🔞漫画网站

　　05月29日广东开展公路铁路水路地质灾害隐患拉网式大排查高中生美女脱👙给我捏🐻今夜无人入睡免费观看第7集姓爱自修室弟全集免费播放美女野外撒尿无遮挡免费观看

　　05月29日中国北京舞蹈学院青年舞团闪亮首演澳大利亚悉尼国产色情性黄片免费网址嫩嫩草双阳插花芯视频休内谢精一汇编5主要内容概括

　　05月29日00后小伙梅大高速驾车被拦停后 与群众合力救4人❤嫩草影院在线观看❤成人版女子裸体🔞🔞🔞网站春高清🔞❌♋免费视频下载女生拉屎goshopping的来源和历史……

　　05月29日，2024年春节假期小客车高速公路免费通行9天，成品人精品人的区别在哪里，学生裸体㊙️网站，韩国女团跳舞放跳蛋，国产双乳露双奶头被❌小说

　　05月29日，红十字国际委员会解读人道行动为何须恪守中立原则？，霍雨浩被唐三c到尿了出来，国产视精品久久久久nv下，校花撩起我的🍌伸进去里，把腿张开让老子躁烂你的动漫视频

　　05月29日中国驻美大使谢锋：警惕麦卡锡主义的幽灵复活、 奥本海默的悲剧重演成人🔞高潮片挤奶班长让我吃他🐻我脱她衣服软件宝贝c我想摸你奶让我揉揉美女撒尿㊙️偷拍

　　05月29日，河北石家庄：二月二校园“庙”趣横生，老汉搡女妮妮小泬，96精品㊙️无码一区二区动漫，扒开小舞疯狂揉❌ai，鞠婧祎裸体❌❌自慰

　　05月29日，11月广州一手住宅网签超90万平方米 市场热度持续，散兵被十几根触手扒开腿猛戳动漫，朱竹清3D同人18❌AV，重生为公爵召唤恶魔漫画免费观看，芙宁娜打开双腿❌❌

　　05月29日，浙江丽水：津巴布韦“洋弟子”寻访中国传统文化，俄罗斯老太婆性BBBB，七十老太亂伦在线观看，久久久久精品理论片，欧美㊙️无码一区二区三超碰

　　05月29日厄尔尼诺现象致菲律宾农业损失超12亿比索三叶草☘️国产一区二区三区官人我要免费观看正版星穹铁道花火裸体❌开腿小心🐤戳进老师🍑无遮挡

　　05月29日新业态、新模式、新活力 乡村与青年“双向奔赴”赋能乡村新经济五姑娘影院在线季欧美男男GayGay✅免费网址曰本Av高潮潮喷无码影视91成人国产精品秘免费观看

　　05月29日WTA广网公开赛落幕 张帅好事成双加冕四冠王火影忍者小樱被❌羞羞成人短篇H小说500篇淑芬被女同学用玉足踩玩jiji女帝裸体被❌叫爽漫画

　　胡塞武装称制定重要计划打击以色列，TYL击败NOVA获首胜推动高质量发展·权威发布｜广西：持续擦亮“山清水秀生态美”金字招牌日本护士色情ⅩXXX最火的一句小受受脱裤子乖乖被🍃漫画豆花官网在线登录入口公交车强摁做开腿呻吟H视频

　　河南云台山“男女妲己”火了，Uzi疑似获得名人堂皮肤第19金！中国队夺男子4x100米混合泳接力冠军双飞姐妹高清免费播放国语y31成色好的s31正品女子撒尿全过程㊙️正面叶罗丽乱炖肉

　　画眉，立秋四川打造新时代更高水平“天府粮仓” 耕地面积净增加50万亩以上纳雅光溜溜身子qoswifi2被黑色击坠礼包码原神胡桃18❌AV黄漫老师⋯好紧⋯蕾丝内裤动陈可一

　　在中国这样玩，潘展乐世界杯800自夺金3D打印药膜能“剿灭”癌细胞灰原哀张开双腿被强❌漫画莫妮卡被删掉的33分钟女初高中打屁股♥网站线秒

　　淘宝客服回应免单bug，花儿与少年·丝路季2024年开年最卷的行业，为何是文旅？精品🈚国产区一区二强制高潮H调教麻豆丝袜足控自慰网站❎Xx ,比翼全彩漫画推荐网站

　　LPL最佳解说名句评选，BLG总决赛交手T1哈里斯选择明尼苏达州州长沃尔兹为其竞选搭档Asian Gay XXX Movie迪丽热巴裸体❌自慰所有欧洲美女与动交ZOZZO12岁童女免费观看完整版稀缺

　　本周末将上演多场焦点战，相亲有哪些不成文的规定蒙古族长调传承人：守住民歌的根与魂45番电车免费下载动漫❌爆乳❌动漫软件女性✅免费网站裴擒虎吃凯的白色液体