供电
一张高功耗 GPU 满载 300 到 700 瓦,四卡机器光 GPU 就是两三千瓦。先确认机柜的配电容量和插座类型,别等机器到了才发现电不够。双电源机器要接两路独立供电,不能插同一个 PDU。
散热
GPU 服务器的风道设计和普通服务器不同,进风温度要求更严。机房里如果局部热点明显,GPU 会降频。上架前测一下机柜进风温度,超过 27 度就要考虑加装盲板或调整布局。
空间与承重
4U 的 GPU 服务器装满卡接近 40 公斤,导轨要选重型款,机柜承重要确认。有些老机柜的方孔条强度不够,装上去会下沉。
网络
多卡训练对网络带宽要求高,至少要万兆起步,多机训练还要看是否支持 RDMA。IB 和 RoCE 两种方案的选择取决于交换机型号,这个要在采购前定下来。
运维
GPU 温度、功耗、ECC 错误要能监控。IPMI 或 BMC 里能看到的指标有限,建议装厂家的管理工具,把关键指标接到现有监控系统里。