Supermicro SYS-4029GP-TRT + GeForce RTX3090 x8枚動作確認

Supermicro SYS-4029GP-TRTとRTX3090(ブロアFANモデル)との物理干渉確認および負荷試験を実施しました。

※NVIDIAより、Geforceはデータセンター用途で設置することが許可されておりません。本記事は研究用途となります。

■構成

ベアボーン： SYS-4029GP-TRT (BIOS3.3a, BMC FW1.71.11)

CPU： Xeon Gold 6230 x2

MEM： DDR4 2993 16GB RDIMM x12

GPU： GeForce RTX3090 x8

SSD： Samsung PM863a 960GB x1

OS： Ubuntu 18.04

■物理干渉確認

物理干渉は特になく、8枚のRTX3090が搭載できました。

結線時はこのようになります。

GPU排気口以外から空気が漏れるのを防ぐため穴無しのブラケットを装着します。

型番：MCP-120-00110-0N

(最近の製品 例：AS -4124GS-TNRだと標準でついてくるようです)

電源はAC200V x4で給電します。

全てのACを別のブレーカから給電することが理想です。

■排熱性能確認

NVIDIA driver ver.は455.23.05を使用します。

NVIDIA SMIによるとGPUチップ温度は93℃までは通常使用でき、95℃でスロットリングが始まるようです。

負荷ツールはgpu_burnとstress-ngを使用してCPU,GPU共に100%負荷をかけます。

室温は約25℃です。

stress-ng によりCPUとメモリに100%負荷がかかっています。

IPMIのFAN ModeをOptimal Speed　→　HeavyIO　→　Full Speedの順に変更し、

各FAN Mode時のGPU温度をnvidia-smiで確認します。

FAN ModeはIPMIメニューから Comfiguration > Fan Modeを選択して変更可能です。

IPMI fan mode = optimal の場合、一番温度が高いGPUは82℃となりました。

CPUは高い方で68℃でした。

IPMI fan mode = heavy IOの場合、一番温度が高いGPUは72℃となりました。

CPUは高い方で67℃でした。

IPMI fan mode = full speedの場合、一番温度が高いGPUは68℃となりました。

CPUは高い方で67℃でした。

■消費電力確認

次に消費電力を確認します。

(全てCPU,GPU100%負荷時)

IPMI fan mode = optimal

IPMI fan mode = heavy IO

IPMI fan mode = full speed

FAN設定だけで約350W増えました。

■電源冗長性確認

CPU,GPU100%負荷時

IPMI fan mode = full speed

この状態でACケーブルを1本引き抜きます。

さらにACケーブルをもう1本引き抜きます。

結果は・・・OSは100%負荷状態のまま落ちることなく問題ありませんでした。

この時、残りの2本のDC12V出力は1834W + 1772W = 3606Wでした。

また、システム全体の消費電力は3937Wと表示されていました。

12V以外の分等で誤差が出ているのかもしれません。

■まとめ

 ・IPMI FAN ModeをHeavyIO設定にすれば、GPU温度は通常利用の上限値である93℃まで約20℃のマージンがありますので8枚構成で100%負荷にしても温度的には問題がなさそうです。(室温25℃の場合)

・消費電力はRTX3090 8枚だけで2800Wとなり、システム全体としては3600W程度になるためAC200V必須となります。

・TDPの高いCPUやSSDを多く乗せた場合は3600Wを超えてしまい、スペック通りの2+2の冗長性が得られない可能性があります。

SYS-4029GP-TRT標準搭載電源 PWS-2K05A-1Rの仕様

構成検討のご依頼の際は各営業担当までご連絡ください。