开云(中国)Kaiyun·官方网站 科技股份有限公司！

起首：内容编译自 AWS。

就像东说念主类生计的好多基本因素（电、自来水、跨越的腹黑）相通，筹办机芯片亦然那种你不会去想的东西，因为它依然融入到你泛泛生活的方方面面。

在智高东说念主机上升沉屏幕？芯片。在不雅看您最心爱的节目？芯片。在开车？芯片。使用食物加工机制作薯片？芯片。但是，大多数东说念主对这个位于好多当代设备中枢的基本构造块知之甚少，因此他们错过了总共全国。

在亚马逊，自 2015 年收购专科微电子公司 Annapurna Labs 以来，咱们一直在为 AWS 数据中心构建和遐想芯片。咱们的硬件和软件工程师在从芯片遐想到工作器部署的每个开发阶段进行并吞。咱们不是构建芯片，将其集成到系统中，然后再编写软件，而是开发总共系统并从新运转职责，为咱们试图加快的特定类型的职责负载创建愈加定制的芯片。

这种垂直整合、系统优先的想维模式恰是咱们芯片的诀要。咱们将向您展示它是奈何结束的。

什么是芯片？

筹办机芯片是一块薄如晶圆的半导体材料薄片，平庸由硅制成，内嵌电子电路。您不错将其视为电子设备内的决策者。

通盘芯片，不论是用于智高东说念主机、条记本电脑如故用于测验东说念主工智能的芯片，外不雅齐大同小异，况且齐领受先进本事制造而成。但它们的遐想主意各不调换，各有不同。

举例，智高东说念主机芯片功能万般，不错惩办音问传递和网页浏览等多种功能，同期尽可能延迟电板寿命。比较之下，像 AWS Trainium 这么的定制东说念主工智能芯片则领有广漠的筹办才能，其遐想决议唯惟一个：处理海量数据，助力生成式东说念主工智能的发展。

在已往的几十年里，芯片变得越来越精密和广漠。跟着工程师们死力从这些轻微的元件中榨取越来越广漠的处理才能，芯片也变得越来越复杂。

这种处理才能很猛进度上依赖于芯片以接近光速的超高速传输数据的才能。若是数据从 A 点到 B 点需要跨越哪怕是少量点稀奇的距离，齐会对举座性能产生不利影响。

这意味着芯片架构师需要肃穆想考奈何"优化"芯片蓝图或平面图，以最大限度地减少频频交换信息的组件之间的空间。

就芯片而言，稀奇的接地长度可能唯独单个原子的长度，比东说念主类头发的宽度短数千倍，这使得咱们的架构师简直莫得任何容错空间。哪怕是最轻微的罪戾，齐可能使名堂延误几个月甚而一年。探究到价值数百万甚而数十亿好意思元的设备和材料，不丢丑出，芯片的遐想和制造绝非劝诫不及或战抖之东说念主所能胜任。

那么，说到 AWS 的 Trainium 芯片，它的作用就在于测验机器学习模子。Trainium 旨在昂然东说念主工智能相等具体的条目，这需要极其广漠的芯片来处理海量数据。

一块 Trainium 芯片每秒不错完成数万亿次筹办。具体来说，一个东说念主数到 1 万亿就需要 31700 多年的时间。

但要确实了解 Trainium 等芯片的广漠功能和复杂性，您必须废弃高层视角，仔细不雅察。

让咱们放大一下。

若是芯片是一座城市

为了更好地聚会 Trainium 芯片的职责旨趣，咱们不错将其想象成一座城市：硬件是建筑环境，数据流是货色和东说念主员的流动，电力通过地下网罗输送到需要的场合。

因此，芯片遐想师的想维容颜很像城市接洽师，仅仅领域小到简直无穷。他们可能探究奈何故最好容颜联结交通忙绿区域和东说念主流量较少的区域，奈何确保交通系统尽可能高效运行，奈何为不同需求区域提供合理的巨匠表率均衡，或者奈何最大限度地降粗劣源破钞。平庸情况下，他们探究的所以上通盘方面，甚而更多。

若是将 Trainium 芯片比作一座城市，它将包含不同的区域，每个区域齐工作于特定的功能。

芯片的中枢是其忙绿的"市中心"——脉动阵列（the systolic array）。这里是活动最频频的场合，密集的筹办日夜握住地运行。

脉动阵列本色上是一个由数千个专用筹办单位构成的网格，这些单位像城市街区相通枚举，每个单位齐能同期践诺筹办。这些单位以有节拍的脉动模式将数据传递给相邻的单位——访佛于腹黑泵血的容颜——因此该阵列得名"脉动阵列"。

脉动阵列不时进行 MAC 运算，即"浮点乘法和累加筹办" 。这是一种基本算术筹办，一步践诺两个运算：乘法和累加。

就像市中心的摩天大楼最大限度地欺诈垂直空间来容纳数千名工东说念主相通，脉动阵列密集地封装筹办单位，以同期处理数十亿个东说念主工智能操作。

这个区域永握住歇。它不时地筹办、处理，并将遵循传递给左近的单位。在岑岭时段，数据流动如同岑岭时段的行东说念主，只不外速率超乎寻常，融合性也号称圆善。

为总共市中心供电的是数十亿个晶体管，它们枚举在比邮票还小的区域。这些袖珍开关的作用访佛于交通讯号灯，只不外它们每秒不错变化数十亿次。它们通过导通或阻断电流来胁制电流，并用数字谈话示意为" 1 "或" 0 "。

当数十亿个晶体管以这种容颜协同职责时，它们不错践诺筹办，从而使从千里浸式视频游戏到语音助手的一切成为可能。

莫得高效的交通系统，任何城市齐无法高效运转，咱们的 Trainium 社区也不例外。数据通过被称为"数据总线"的专用旅途和网罗在芯片里面和芯片之间传输

就像说念路、高速公路和巨匠交通系长入样，它们传输信息的容颜与城市交通网罗将东说念主们送入和送出市中心的容颜调换。

联结脉动阵列和内存的高流量区域需要访佛"高速公路"的宽阔数据总线，以便快速传输大宗信息。与此同期，联结监控系统的低流量数据总线可能更像较窄的"胡衕"。

正如城市接洽东说念主员遐想交通系统以幸免交通拥挤相通，AWS 工程师也会优化数据旅途以确保处理顺畅。当出现信息瓶颈时，性能就会受到影响——就像岑岭时段的拥挤会放慢通勤速率相通。

天然筹办在市中心进行，但数据却驻留在芯片的存储单位中，或者就咱们的主意而言是"外围区域"：高效的存储空间，可容纳东说念主工智能处理所需的海量数据集。

它们关于确保市中心收缩阵列获取所需的信息至关遑急。而且它需要快速获取这些信息。

存储单位被枚举在策略位置。频频走访的数据被摒弃在聚会脉动阵列的位置，而较大的数据集则可能位于较远的位置。

记念区与市中心的距离决定了数据检索和处理的速率，就像您的通勤时间取决于您居住的场合与职责地点的距离相通。

投入地下：中介层。

两个筹办中枢芯片（市中心脉动阵列）和四个高带宽内存堆栈（外围区域）齐位于称为中介层的顶部，中介层位于 Trainium 芯片的底部。中介层在筹办中枢和内存芯片之间拓荒遑急的联结（微不雅电通路），使数据或者在芯片间无缝流动并惩办电力传输。

就像城市地下的基础表率——电力线、水管和光纤铺设其中——相通，中介层创建了一个看不见却至关遑急的输送和电力输送系统，将资源精确地输送到需要的场合。正如市中心平庸比住户区需要更多的电力相通，芯片遐想东说念主员将更多的电力输送到筹办密集型区域，同期在需求较低的区域放荡能源。

恰是这个网罗使得不同芯片上的数十亿个晶体管或者像在一块硅片上构建相通进行通讯，极地面膨胀了芯片遐想的物理可能性。

咱们的旅程在单个芯片的城市规模处肃除，但值得花少量时间再次收缩并想考当这些芯片联结起来酿成更大的系统时会是什么式样 - 就像城市奈何相互联结以酿成更大的大齐市区相通。

在 AWS 数据中心，一台 Trainium 工作器不错容纳 16 块芯片。AWS 刻下将其中四台工作器联结在总共，酿成一个称为" UltraServer "的工作器。这使得 64 块互连的芯片或者协同职责，权贵加快复杂筹办，并为下一波生成式东说念主工智能提供能源。

当你将其乘以数十万个芯片和多个数据中心时开云kaiyun.com，你最终可能会得到全国上最广漠的用于测验东说念主工智能的筹办机之一，这一切齐要归功于最细巧的接洽——以及在微不雅表率上实施的伟大创意。