Supermicro SYS-7049GP-TRT + GeForce RTX3090 x4枚動作確認

Supermicro SYS-7049GP-TRTとGeForce RTX3090 (ブロアFANモデル)との物理干渉確認および負荷試験を実施しました。

[構成]

ベアボーン： Supermicro SYS-7049GP-TRT (BIOS3.3, BMC FW1.71.20)

CPU： Xeon Gold 6230 x2

MEM： DDR4 2993 16GB RDIMM x2

GPU： GeForce RTX3090 x4

SSD： Samsung PM863a 960GB x1

OS： Windows 10 1903

■物理干渉確認

物理干渉は特になく、4枚のRTX3090が搭載できました。

カードの吸気口付近はバックプレートがなく、空気を取り込みやすいよう工夫がされています。

■排熱性能確認

NVIDIA driver ver.は456.71を使用します。

NVIDIA SMIによるとGPUチップ温度は93℃までは通常使用でき、95℃でスロットリングが始まるようです。

負荷ツールはAida64を使用してCPU,GPU共に100%負荷をかけます。

室温は約25℃です。

まずは背面追加FANなしで測定します。

IPMIのFAN ModeをOptimal Speed　→　HeavyIO　→　Full Speedの順に変更し、

各FAN Mode時のGPU温度をnvidia-smiで確認します。

FAN ModeはIPMIメニューから Comfiguration > Fan Modeを選択して変更可能です。

IPMI FAN Mode = Optimal Speed

IPMI FAN Mode = HeavyIO

IPMI FAN Mode = Full Speed

Optimal Speed > HeavyIOに変更するとGPU温度が下がりましたが、HeavyIO > Full Speedでは変化がありません。

これはHeavyIOではGPUが搭載される拡張スロットのFANの回転数が上がるのに対し、Full Speedではその他のFANの回転数が上がり、拡張スロットのFAN回転数には変化がないためです。

[参考情報]
SYS-7049GP-TRTのオプションパーツの背面追加FAN (MCP-320-74702-0N-KIT)を取り付けて測定します。(赤枠のFAN)

※ただし、背面追加FANは本来TESLA等のパッシブヒートシンクGPUのためのオプションパーツですので、今回のRTX3090のようなブロアFANのGPUと組み合わせた場合にFANの過回転による故障の可能性もあり、あくまで参考値となります。

IPMI FAN Mode = Optimal Speed

IPMI FAN Mode = HeavyIO

IPMI FAN Mode = Full Speed

背面FANなしとありでGPU温度を比べると…

Optimal Speed：2～3℃の低下

HeavyIO：4～5℃の低下

Full Speed：7～8℃の低下

Full Speedの時に一番効果が高いようです。

[消費電力]

IPMIメニューのServer Health > Power Consumption で消費電力を確認することができます。

今回の構成では最大消費電力は2000W以上となりました。

SYS-7049GP-TRTはAC100V時は1200WまでとなりますのでAC200Vでの利用が必須となります。

実際にAC100Vでテストしたところ、負荷時にOSが落ちてしまいました。

またAC200Vであっても電源ユニット1本の出力は1800Wですので今回の構成の場合、ピーク負荷時は電源冗長性がありません。

[まとめ]

・IPMI FAN ModeをHeavyIO設定にすれば、GPU温度は通常利用の上限値である93℃まで約20℃のマージンがありますので4枚構成で100%負荷にしても温度的には問題がなさそうです。(室温25℃の場合)

・消費電力はRTX3090 4枚だけで1400Wとなり、CPU等も足すと2000W程度になるためAC200V必須となります。構成によってはピーク負荷時の電源冗長性がありません。

構成検討のご依頼の際は各営業担当までご連絡ください。