国产自拍偷拍在线视频
萝莉爱色网 搭建10万卡GPU集群技艺指南
手把手教你搭建10万卡GPU集群萝莉爱色网
媒介
建设10万卡集群的必要性显而易见，现时AI公司第一梯队的门票还是是3.2万卡集群。展望来岁，这一数字将飞腾至10万卡(H100)集群，提高空间巨大。
由10万张H100组成的AI集群，其功耗高达150MW，投资逾越40亿好意思元(约300亿东说念主民币)。每年耗能约为$1.59\times10^9$千瓦时。按照0.078好意思元/kWh的费率打算，每年电费高达1.24亿好意思元。这一数字令东说念主瞠目，足以激发对动力耗尽和资本效益的深刻念念考。
挑战
（1）动力跟空间挑战
算力瓶颈的背后，有着“动力”和“工程智商”这两座大山。
"10万块H100组成的集群，功率需求高达150MW，迥殊了当今全国最大的超等打算机El Capitan的30MW，后者的功率仅为前者的五分之一。"
在H100 Server里面，每块GPU的独建功耗约为700W。为知足其运行需求，梗概需要575W的电源来驱动与之配套的CPU、汇聚接口卡(NIC)和电源单位(PSU)。
H100 Server外部，AI集群还囊括了存储功绩器、汇聚交换机、光收发器等许多其他开荒，约占总功耗的10%。
X.AI 将田纳西州孟菲斯市的一家旧工场改酿成了数据中心，每天耗尽100万加仑水和150兆瓦电力。当今全国上还莫得任何一座数据中心有智商部署150MW的AI集群 。
这些AI集群通过光通讯进行互联，而光通讯的资本与传输距离成正比。
多模 SR 和 AOC收发器的最长传输距离约为50米。
在数据中心的全国中，每栋大楼皆被陈赞为一个“打算岛”。这些岛屿里面充满了多个“打算仓”，它们之间的运动是通过经济实用的铜缆或者多模互联达成的。而为了达成这些岛屿之间的联通，咱们聘请长距离的单模光通讯技艺。这种面貌不仅高效，何况简略确保数据的领悟传输，从而知足当代数据中心对高性能和可靠性的需求。
由于数据并行相对的通讯量比较少，因此，不错跑在不同 打算岛之间：
当今，这个领有10万+节点的集群中，已有3栋建筑(3个打算岛)完工，每座打算岛容纳约1000-1100个机柜，总功耗约为50MW。
（2） 汇聚架构及并行计策
数据并行（Data Parallelism）
这种并行面貌的通讯条目最低，因为GPU之间只需要传递梯度数据。
然而，数据并行条目每块GPU具备充足的内存以存储扫数这个词模子的权重。关于领有1.8万亿参数的GPT-4模子而言，这意味着高达10.8TB的内存需求。
张量并行（Tensor Parallelism）
为了克服数据并行带来的内存甘休，东说念主们发明了张量并行技艺。
在张量并行中，GPU之间需要时常通讯，以交换中间打算末端，从而达成更高效的打算。因此，张量并行需要高带宽和低蔓延的汇聚运动。通过张量并行，不错有用减少每块GPU的内存条目。例如，使用8个张量并行品级进行NVLink运动时，每块GPU使用的内存不错减少8倍。
活水线并行（Pipeline Parallelism）
马来西亚文爱另一个克服GPU内存甘休的门径是活水线并行技艺。
活水线并行是一种在分散式打算环境中达成模子并行的技艺，主要用于深度学习界限，额外是在处理大限制神经汇聚模子时。通过将模子的不同部分(如神经汇聚的层)分派到不同的打算节点上，活水线并行简略在不葬送覆按后果的情况下，诓骗集群中的多台机器共同完成模子覆按 。
当一块GPU完成层的前向、反向传播运算后，它不错将中间末端传递给下一块GPU，以便立即入手打算下一个数据批次。这么不错提高打算后果，镌汰覆按时候。尽管引入了GPU之间的通讯量，但每个GPU在完成打算后需将数据传递给下一个GPU，因此需要高效的汇聚运动以确保数据快速传输。
活水线并行对通讯量的条目很高，但莫得张量并行那么高。
3D并行（3D Parallelism）
聘请H100 Server内的GPU张量并行，打算岛内节点活水线并行，跨打算岛达成数据并行，提高后果。
汇聚架构
进行汇聚拓扑联想时需要同期推敲到所用的并行化决策。
GPU部署有多种汇聚，包括前端汇聚、后端汇聚和推广汇聚(NVLink)，每个汇聚首运行不同的并行决策。
NVLink汇聚是处理张量并行带宽需求的独一快速弃取。尽管后端汇聚能率性应付大多数其他类型的并行，但在存在督察比问题时，数据并行成为首选。
现时建设10万张H100的超等AI算力集群，不错弃取的汇聚决策主要有三种，差别是Broadcom Tomahawk 5，Nvidia Infiniband，以及Nvidia Spectrum-X。在大型AI集群中，Spectrum-X比拟InfiniBand具有显赫上风，包括性能、功耗和资本 。其中，Spectrum-X是NVIDIA推出的高性能以太网交换芯片平台，仅用于Spectrum-X平台，不只独销售。这三种决策各有优劣，具体弃取需要字据骨子需求进行评估。淌若您需要更多信息，请参考关联文件或盘考专科东说念主士。
InfiniBand
InfiniBand的上风在于，以太网并不营救SHARP汇聚内缩减。
InfiniBand NDR Quantum-2交换机领有64个400G端口，相较之下，Spectrum-X以太网的SN5600交换机和Broadcom的Tomahawk 5交换机ASIC均提供128个400G端口，提供了更高的端口密度和性能。
"Quantum-2交换机端口有限，10万节点集群中最多只可达成65，536个H100 GPU的十足互联。"
下一代InfiniBand交换机Quantum-X800将通过144个800G端口管理容量问题，但仅适用于NVL72和NVL36系统，因此不太可能在B200或B100集群中等闲应用。
Spectrum-X
Spectrum-X，获利于NVIDIA库如NCCL的一级营救，为您带来无与伦比的上风。加入他们的新址品线，您将成为首批客户，体验前所未有的立异。
Spectrum-X需搭配Nvidia LinkX收发器购买，因为其他收发器可能无法平淡职责或未通过考据。
英伟达在400G Spectrum-X中，聘请Bluefield-3替代了ConnectX-7算作暂时的管理决策，而ConnectX-8展望将与800G Spectrum-X完好协同。
在广阔的数据中心中，Bluefield-3和ConnectX-7的资分内别为约300好意思元/ASP，但Bluefield-3需额外耗尽50瓦电力。因此，每个节点需增多400瓦功率，从而诽谤了全体覆按功绩器的每皮焦尔智能度。
Spectrum-X在数据中心部署10万个GPU需5MW功率，相较之下，Broadcom Tomahawk 5无需此功率。
为了幸免给英伟达支付不菲的用度，许多客户弃取部署基于Broadcom Tomahawk 5的交换机。这款芯片简略以5.5W的功率为800Gbps的流量供电，减少了将信号驱动到交换机前端的可插拔光学器件的需要。此外，Broadcom周二推出了该公司最新的交换芯片Tomahawk 5，简略在端点之间互连估计每秒51.2太比特的带宽。
基于Tomahawk 5的交换机与Spectrum-X SN5600交换机不异具备128个400G端口，若公司领有不凡的汇聚工程师，可达成等同性能。此外，您可从任何供应商购打通用收发器及铜缆并进行夹杂使用。
开阔客户弃取与ODM厂商相助，如Celestica的交换机、Innolight和Eoptolink的收发器等。
"字据交换机和通用收发器的资本推敲，Tomahawk 5在价钱上大大优于Nvidia InfiniBand。何况，与Nvidia Spectrum-X比拟，它更具资本效益。"
缺憾的是，要为Tomahawk 5修补和优化NCCL通讯集群，您需要具备塌实的工程手段。固然，NCCL开箱即用，但其仅针对Nvidia Spectrum-X和Nvidia InfiniBand进行了优化。
淌若你有40亿好意思元用于10万个集群，那么你应该也有充足的工程智商来修补NCCL并进行优化。软件开发充满挑战，然而Semianalysis预测，超大限制数据中心将转向其他优化决策，摈弃InfiniBand。
轨说念优化
为了提高汇聚保重性和延长铜缆(<3米)及多模(<50米)汇聚的使用寿命，部分客户弃取摈弃英伟达保举的轨说念优化联想(rail optimized design)，转向聘请中间架联想(Middle of Rack design)。
"轨说念优化技艺，让每台H100功绩器与八个独处的叶交换机建立运动，而非汇聚在归拢机架。这种联想让每个GPU仅需一次跳转就能与更远的GPU进行通讯，从而大幅提高全对全集体通讯性能。"
比如在夹杂众人（MoE）并行中，就渊博使用了全对全集体通讯。
在归拢机架内，交换机可聘请无源直连电缆(DAC)和有源电缆(AEC)。但在轨说念优化联想中，若交换机位置不同，需借助光学器件达成运动。
此外，叶交换机到骨架交换机的距离可能大于50米，因此必须使用单模光收发器。
通过非轨说念优化联想，您不错用低价的直连铜缆替换运动GPU和叶交换机的98304个光纤收发器，从而使您的GPU链路中铜缆占比提高至25-33%。
DAC铜缆在运行温度、耗电和资本方面相较于光缆具有显赫上风，同期可靠性更高。这种联想有用诽谤了汇聚链路间歇性瘫痪和故障，是高速互连界限光学器件所濒临的主要挑战的要津管理决策。
Quantum-2IB骨架交换机在聘请DAC铜缆时，功耗为747瓦；若使用多模光纤收发器，功耗将升至1500瓦。
开动布线对数据中心技艺东说念主员来说耗时巨大，每条链路两头距离50米且不在归拢机架，轨说念优化联想助力提高后果。
在中间机架联想中，叶交换机与扫数运动的GPU分享归拢机架。致使在联想完成前，就不错在集成工场测试打算节点到叶交换机的链路，因为扫数链路皆在归拢机架内。
组网例如
如图所示，这是常见的三层Fat-Tree拓扑(SuperSpine-Spine-Leaf)，其中两个Spine-Leaf组成一个Pod。
Spine Switch 和 SuperSpine Switch 需要运动，因此相应 Group 的数量要减半。一个 Pod 有 64 个 Spine Switch，对应 8 个 Group。因此，一个 Pod 有 64 个 Leaf Switch。有了多个 Pod，不错进一步构建 64 个 SuperSpine Fabric，每一个 Fabric 要与不同 Pod 中的 Spine Switch 达周全互联。这里以 8 个 Pod 为例，将 8 个 Pod 里的第 i 个 Spine Switch 与 Fabric i 中的 SuperSpine Switch 达成 Full Mesh，这里有 8 个 Pod，因此一个 Fabric 中只需要 4 个 128 Port 的 SuperSpine Switch 即可。以上建树 8 个 Pod 对应：总的 GPU：4096*8=32768SuperSpine Switch：64*4=256Spine Switch：64*8=512Leaf Switch：64*8=512总的 Switch：256+512+512=1280总的光模块数：1280*128+32768=196608骨子上表面最多不错营救 128 个 Pod，对应的开荒数为：GPU：4096*128=524288=2*(128/2)^3SuperSpine Switch：64*64=4096=(128/2)^2Spine Switch：64*128=8192=2*(128/2)^2Leaf Switch：64*128=8192=2*(128/2)^2优化后的著述：Switch性能分析：$4096+8192+8192$ =20480，相配于$5\times(128/2)^2$.
万卡集群挨次推广3个肖似的pod即可。
（3）可靠性与复兴
同步模子覆按导致巨型集群的可靠性成问题。常见问题包括GPU HBM ECC曲折、GPU驱动卡死、光纤收发器故障和网卡过热等。
为了镌汰故障复兴时候，数据中心需建树热备与冷备开荒。在发生问题时，最好计策是诓骗备用节点赓续覆按，而非获胜中断。
数据中心技艺东说念主员可在数小时内诞生受损GPU功绩器，但在某些情况下，节点可能需数日方可再行过问使用。
在覆按模子历程中，为了幸免HBM ECC等曲折，咱们需要依期将查验点存储到CPU内存或SSD捏久化存储。一朝出现曲折，再行加载模子和优化器权重并赓续覆按是必不成少的。
容错覆按技艺可用于提供用户级应用驱动门径，以处理GPU和汇聚故障。
缺憾的是，时常备份查验点和容错覆按技艺可能导致系统全体MFU受损。集群需握住暂停以保存权重至捏久存储或CPU内存。
每100次迭代仅保存一次查验点，可能导致要紧耗损。以一个领有10万卡的集群为例，若每次迭代耗时2秒，那么在第99次迭代失败时，可能耗损高达229个GPU日的职责。
另一种故障复兴计策是诓骗备用节点通事后端结构从其他GPU进行RDMA复制。这种门径具有高效性，后端GPU的速率高达400Gbps，每个GPU还配备了80GB的HBM内存，因此复制历程仅需约1.6秒。
通过此计策，最多耗损1个门径(因为更多GPU HBM将赢得权重更新)，从而在2.3个GPU日的打算时候内完成，再加上从其他GPU HBM内存RDMA复制权重所需的1.85个GPU日。
开阔顶尖AI实验室已继承此技艺，然许多袖珍公司仍死守繁琐、逐步且低效的面貌——重启处理以收复故障。借助内存重构达成故障复兴，可大幅提高大型覆按运行的MFU后果，爽快数个百分点的时候。
在汇聚故障界限，Infiniband/RoCE链路故障是最常见的问题。尽管收发器数量较多，但在全新且平淡运行的集群中，第一次功课故障仅需26.28分钟，即使每个网卡到最底层交换机链路的平均故障率为5年。
在10万卡GPU集群中，光纤故障导致再行启动运行所需时候远超模子打算，未经内存重建的故障复兴计策将影响后果。
由于GPU与ConnectX-7网卡获胜不竭，汇聚架构无容错联想，导致故障需在用户覆按代码中管理，从而增多代码库复杂性。
大说话模子(LLM)在节点内使用张量并行，淌若一个网卡、一个收发器或一个GPU故障，扫数这个词功绩器就会宕机。 由于该计策触及的汇聚通讯量较大，需要诓骗功绩器里面的不同打算开荒之间进行高速通讯带宽。
当今，有许多职责正在进行，以使汇聚可重建树，减少节点的脆弱性。这项职责至关垂危，因为近况意味着扫数这个词GB200 NVL72仅因一个GPU或光学故障就会宕机。 RAS引擎通过深刻分析诸如温度、ECC重试次数、时钟速率和电压等要津芯片级数据，准确预测潜在故障并实时奉告数据中心工程师，确保系统辖路运行。
"此举使技艺团队能主动保重，如提高电扇速率以保领悟，并在保重窗口期将功绩器除去运行队伍进行深刻查验。"
在覆按任务入手前，每颗芯片的RAS引擎将进行全面自检，例信得过验已知末端的矩阵乘法以侦测静默数据损坏(SDC)。
（4）物料清单
具体来说，不错分为四种（原文中是7：1，骨子上应该是8：1？）：
"苍劲的4层InfiniBand汇聚，领有32，768个GPU集群，轨说念优化技艺，达成7:1督察速率提高。"
Spectrum X汇聚是一种以太网平台，由NVIDIA开发。它是一种专为提高Ethernet-based AI云的性能和后果而联想的以太网平台。该汇聚平台提供了3层架构，其中包括32，768个GPU集群，轨说念优化联想，7:1督察比。
3. 3层InfiniBand汇聚，包含24，576个GPU集群，非轨说念优化联想，用于前端汇聚的集群间运动。
"搭载3层Broadcom Tomahawk 5以太网汇聚，领有32，768个GPU集群，达成轨说念优化，7:1督察比。"
经比较，选项1价钱较其他选项高1.3至1.6倍；选项2提供更大集群、更高带宽和左近资本，但耗电更多；选项3可能导致并行决策天真性大幅诽谤。
基于Broadcom Tomahawk 5的32k集群，搭配7:1的督察比，是最具资本效益的选项。这亦然多家公司弃取构建肖似汇聚的原因。
（5）平面布局
临了，在集群的联想上，还需要优化机架布局。
因为淌若将多模收发器放在行的末端，中间的骨干交换机将超出距离范围。
Spectrum-X/Tomahawk 5的32k集群平面图，聘请轨说念优化联想，展望至少需80*60m平面空间。
当今，这个广阔的集群领有10万+节点，其中3栋建筑还是完工(共3个打算岛)。每个打算岛容纳约1000~1100个机柜，总功耗约为50MW。
-对此，您有什么看法主见？-
-接待在指摘区留言探讨和分享萝莉爱色网。-