ネットワーク設計書(完成版 / Notion保存用)
🎯 設計目的
本構成は以下を同時に成立させる。
- Zero Trust 管理
- 顧客通信と管理通信の完全分離
- ストレージ高速同期(Ceph対応)
- 更新通信の強制制御(Proxy経由)
- OSのルーティング暴走防止
- 将来DC拡張可能な三層構造
🧠 全体設計思想(最重要)
“`
❌ VLANだけで分離しない
✅ 用途ごとにネットワーク層を物理分離
| 層 | 役割 | 性質 |
|---|---|---|
| MGMT | 管理 | 閉域 |
| DATA | 顧客通信 | 制御可能 |
| STORAGE | サーバ内部 | 高速 |
| UPDATE | 外部更新 | 制限付き |
| FABRIC-A | 作業転送 | 完全閉域 |
| FABRIC-B | クラスタ同期 | DCバックボーン |
“`
🏗 ネットワーク命名(正式採用)
| 名前 | VLAN | 用途 |
|---|---|---|
| MGMT | VLAN10 | 管理 / SSH / WGadmin |
| DATA | VLAN20 | WG0/WG1 顧客通信 |
| STG | VLAN30 | R640 ⇄ Supermicro Storage |
| UPD | VLAN50 | アップデート専用 |
| FABRIC-A | 直結 | DarkHero ⇄ Supermicro |
| FABRIC-B | QSFP | R640 ⇄ Supermicro |
🧱 三層ネットワーク構成
Internet │ RTX1300 │ ────────────── CORE : Cisco 3850-12XS (XS) ────────────── │ LACP ACCESS : Cisco 3850-48T │ MGMT / UPDATE 集約
🔐 セキュリティ原則(絶対ルール)
“`
Default Gateway 原則
✅ R640 の Default GW は VLAN20のみ
禁止:
- VLAN10 に GW
- VLAN50 に GW
- WG interface に GW
👉 二重出口防止(最重要)
SSHポリシー
| 経路 | SSH |
|---|---|
| VLAN10 | ✅ 許可 |
| WGadmin | ✅ 許可 |
| VLAN40 | ❌ 禁止 |
| Internet直 | ❌ 不可 |
Windows Firewall:
VLAN40 → TCP22 DROP ``` VLAN10 → TCP22 ALLOW
🌍 VLAN役割詳細
“`
🟦 VLAN10 — MGMT
用途:
- 機器管理
- SSH
- WGadmin
- iDRAC
特徴:
- Internetへ直接出ない
- 閉域管理LAN
🟩 VLAN20 — DATA(主ネット)
用途:
- WG0
- WG1
- 顧客通信
- R640 Default GW
特徴:
✅ 唯一の外部出口
🟪 VLAN30 — STORAGE
用途:
- R640 ⇄ Supermicro
- Storage LACP
特徴:
- サーバのみ接続
- クライアント禁止
- GWなし
- DNSなし
🟨 VLAN50 — UPDATE(超重要)
目的:
👉 OS更新専用ネット
通信経路:
Server ``` ↓ VLAN50 ↓ R640 Proxy ↓ VLAN20(Default GW) ↓ Internet
“`
制御内容
XS ACL:
VLAN50 → R640 Proxy のみ許可 ``` VLAN50 → 他VLAN 禁止
“`
R640 FW:
UPD IF → 外部直接通信 DROP ``` Proxyのみ許可
⚡ FABRICネットワーク(DC設計)
“`
🔴 FABRIC-A(DarkHero ⇄ Supermicro)
- 10G直結
- GWなし
- DNSなし
- ファイル転送専用
用途:
- 大容量コピー
- 作業転送
🔵 FABRIC-B(R640 ⇄ Supermicro)
- QSFP 40G ×2
- balance-xor LACP
- Ceph対応
用途:
- Cluster同期
- 将来Cephバックボーン
“`
🖥 DarkHero 構成
| NIC | 接続 | 用途 |
|---|---|---|
| 10G → Supermicro | FABRIC-A | 転送専用 |
| 10G → XS | VLAN40 | 外向通信(GW唯一) |
| 1G → 48T | VLAN10 | 管理SSH |
| QSFP×2 → R640 | OOB Fabric | 将来EC |
ルール:
直結NIC = GWなし / DNSなし
🖥 R640 構成
| ポート | ネット |
|---|---|
| 1G | VLAN10 管理 |
| 1G | VLAN10 SSH |
| 1G | VLAN50 Update |
| 10G×2 | VLAN20 DATA (LACP) |
| 10G×2 | VLAN30 Storage |
| QSFP×2 | FABRIC-B |
“`
ルーティング
Default GW → VLAN20 ONLY
“`
🖥 Supermicro 構成
| ポート | ネット |
|---|---|
| 1G | VLAN10 Web管理 |
| 10G | VLAN10 SSH |
| 10G | FABRIC-A |
| 10G×2 | VLAN20 Service |
| 10G×2 | VLAN30 Storage |
| 10G | VLAN50 Update |
| QSFP×2 | FABRIC-B |
🧠 重要設計(事故防止の核心)
“`
なぜGWを1本にする?
Linux/Windowsは:
- metric
- reverse path
- auto route
で出口を変える。
結果:
- ❌ 応答が別IFから出る
- ❌ VPN崩壊
- ❌ セッション切断
解決
出口 = VLAN20 ONLY
+
FWで補強 ``` Policy routingで固定
🔥 更新通信(完成フロー)
Supermicro/R640 │ VLAN50 │ R640 Proxy │ VLAN20(Default Route) │ RTX1300 │ Internet
👉 更新通信をネットワーク側で強制制御。
⭐ この設計レベル
評価:
| 項目 | 状態 |
|---|---|
| Zero Trust | ✅ |
| DC三層 | ✅ |
| Storage Fabric | ✅ |
| Update Segmentation | ✅ |
| Ceph Ready | ✅ |
