RTX3090リグをAMD EPYCプラットフォームに換装する(組み立て編その2)

  • 前回は電子部品の構成を中心に述べた.
  • 今回はそれらをリグフレームに組み込み、全体を(物理的に)完成させるところまで述べたい.
  • 実は部品としてはマイニングに用いていたときとほぼ同じであり、去年の時点で揃っていた.
  • が、本来の用途を考えたときのリグフレームの構造、特に段組みやファン配置など中身がかなり異なるため、結局ほとんどバラして組み替えることになった.
  • GPUとしてブロワーファンのA5000やA6000が使えるならリグフレームの構造とか面倒なことを(比較的)考えなくても良いのだが、コストの関係上RTX3090にせざるを得ないため、やむなくリグフレームの方で対応することになった.

方針

  • 要求仕様
    • RTX3090(最大3スロット)を4台搭載可能であること.
    • すべてのGPUマザーボードをPCIe4.0 x16で同時に接続できること.
    • 空冷を前提とする.*1
    • 性能低下を起こさず、日単位の連続運転が可能であるような熱処理性をもつこと.
      • GPU間は最低でも2スロット、できれば3スロット以上の空きスペースが確保できること.
      • 送風ファンを効果的な位置に取り付けられること.
  • 上記のような仕様の一般的なPCケースが見当たらないため、スチールラック部品での自作とする.

設計

  • ざっくりだが、基本構造は下図のようになった.
  •  ラックの外形としては、幅600高さ450奥行き450[mm]とした.
    • GPU間隔を少なくとも4スロット分80x3=240、GPUの1台あたり厚み60x4=240として、600-(240+240)=120の余裕を残して配置できる.
  • GPU固定金具から、下方のマザーボード設置台までは最短(垂直)距離で200とし、ライザーケーブルもこの距離をカバーするものを用意した.
    • 200でないと横置きするPSUとの間隔が非常に狭くなるのでこれ以上下げたくなかった.
    • 今回はPCIeブラケットとスロットの2箇所のみに荷重が掛かることをかなり重視したので、この金具の構造が全体を決めたと言っても過言ではない.
  • 空冷ファン取り付けのため、フレームはバカ穴が一定間隔で開いているものにした.
  • パーツリストは次の通り*2

種別 メーカー 品名 個数 単価 小計 購入先
リグフレーム
キタジマ カラーアングル30型 2本セット(2x30x30x450) 2 1090 2180 キタジマ
キタジマ カラーアングル30型 2本セット(2x30x30x600) 2 1170 2340 キタジマ
キタジマ フラットバー30型 2本セット(2x28x450) 2 950 1900 キタジマ
キタジマ カラー棚板 30型 2枚入(600x450) 1 3320 3320 キタジマ
キタジマ ボルトナット 6x12 20組入 2 450 900 キタジマ
キタジマ アングルキャップ 30型 1 280 280 キタジマ
GPU固定金具
JAGETRADE PCIeブラケット 4 1798 7192 Amazon
MYST ニッケルメッキ取付金具/L字タイプ 4 379 1516 モノタロウ
大阪魂 フランジナット M4 1 299 299 モノタロウ
大阪魂 丸皿小ネジ M4 1 399 399 モノタロウ
大阪魂 丸ワッシャー 1 399 399 モノタロウ
ライザーケーブル
LINKUP PCIE4EXT11SR-020 2 6437 12874 Amazon
CoolerMaster MCA-U000C-KPCI40-300 2 7280 14560 Ark
冷却ファン Thermaltake TOUGHFAN 14 2 4810 9620 Amazon
        総計 57779

組み立て

  • 文字より写真の方が想像しやすいと思うので完成時の様子をまず示す.

          

  •  リグフレームの構築
    1. リグフレームを前述の仕様に沿って組む
      • ただしフラットバーはGPU固定金具と共締めする必要があるのでこの段階では締結せず、GPUの配置間隔(この仕様の通りなら80[mm])に基づき、ネジ穴の位置関係を把握しておく. 上の写真の通り、今回は長穴1つが完全にフリーになるような間隔にした.
    2. GPU固定金具を4セット(=GPU台数分)作る
    3.  ライザーケーブルをGPU固定金具に固定する
    4.  ライザーケーブルつきGPU固定金具をフレームの所定の位置にフラットバーと共じめする.
      • 下にこれらの部材を設置した時の写真を示す. 右下は同じものを真上から撮った写真である.
      •  

      • このPCIeブラケットは、市販のPCケースの水平PCIeブラケットに固定するためのネジ穴が側面に開いており、それを利用してLアングルと締結する.
      • そして、写真のようにPCIeブラケット+Lアングルをフラットバーの上にくるようにフレームに固定すると、なかなかいい感じの強度になる.
      • ただ、構造上、PCIeブラケットの底面とフラットバーの間に隙間が開いてしまうので、写真で炭のようなブロックがこの隙間に入っているのが見えると思うが、今回は家に転がっていた10mmのゴム板をスペーサーとすることでぐらつきを防止した.
    5. 空冷ファンを取り付ける

                  

      • 後から気づいたのだが、偶然にも、140mmファンがGPU間スペースと理想的にフィットするようにな配置で取り付けられた.

 

  •  サーバーの中身の設置
    1. マザーボードをすべてのライザーケーブルが届く位置に配置.
    2. 冷却ファンや電源スイッチ等の、ピンに差し込む系の配線を行う
    3. PSUを配置し電源ケーブルを差し込む.
    4. GPUを設置する.

 

  • 以上で完成

            

    • マザーボードと近くなる位置のGPUの接続は短めのライザーケーブルで対応しようと思い、規格上は200のものを買っていたので届かないかと思いきやむしろちょうど良い長さだった.*3

*1:メンテナンスの負荷を軽減するため

*2:価格は去年時

*3:LINKUPのやつ. 測っていないのでなんともいえないが、ケーブルが微妙に長かったのか、まな板のあげ底が寄与したのかというところだろう