ネットワーク設計書(完成版 / Notion保存用)

🎯 設計目的

本構成は以下を同時に成立させる。

  • Zero Trust 管理
  • 顧客通信と管理通信の完全分離
  • ストレージ高速同期(Ceph対応)
  • 更新通信の強制制御(Proxy経由)
  • OSのルーティング暴走防止
  • 将来DC拡張可能な三層構造

🧠 全体設計思想(最重要)

“`

❌ VLANだけで分離しない

✅ 用途ごとにネットワーク層を物理分離

役割性質
MGMT管理閉域
DATA顧客通信制御可能
STORAGEサーバ内部高速
UPDATE外部更新制限付き
FABRIC-A作業転送完全閉域
FABRIC-Bクラスタ同期DCバックボーン

“`

🏗 ネットワーク命名(正式採用)

名前VLAN用途
MGMTVLAN10管理 / SSH / WGadmin
DATAVLAN20WG0/WG1 顧客通信
STGVLAN30R640 ⇄ Supermicro Storage
UPDVLAN50アップデート専用
FABRIC-A直結DarkHero ⇄ Supermicro
FABRIC-BQSFPR640 ⇄ Supermicro

🧱 三層ネットワーク構成

Internet
   │
RTX1300
   │
──────────────
CORE : Cisco 3850-12XS (XS)
──────────────
   │ LACP
ACCESS : Cisco 3850-48T
   │
MGMT / UPDATE 集約

🔐 セキュリティ原則(絶対ルール)

“`

Default Gateway 原則

✅ R640 の Default GW は VLAN20のみ

禁止:

  • VLAN10 に GW
  • VLAN50 に GW
  • WG interface に GW

👉 二重出口防止(最重要)

SSHポリシー

経路SSH
VLAN10✅ 許可
WGadmin✅ 許可
VLAN40❌ 禁止
Internet直❌ 不可

Windows Firewall:

VLAN40 → TCP22 DROP
```

VLAN10 → TCP22 ALLOW

🌍 VLAN役割詳細

“`

🟦 VLAN10 — MGMT

用途:

  • 機器管理
  • SSH
  • WGadmin
  • iDRAC

特徴:

  • Internetへ直接出ない
  • 閉域管理LAN

🟩 VLAN20 — DATA(主ネット)

用途:

  • WG0
  • WG1
  • 顧客通信
  • R640 Default GW

特徴:

✅ 唯一の外部出口

🟪 VLAN30 — STORAGE

用途:

  • R640 ⇄ Supermicro
  • Storage LACP

特徴:

  • サーバのみ接続
  • クライアント禁止
  • GWなし
  • DNSなし

🟨 VLAN50 — UPDATE(超重要)

目的:

👉 OS更新専用ネット

通信経路:

Server
```

↓
VLAN50
↓
R640 Proxy
↓
VLAN20(Default GW)
↓
Internet

“`

制御内容

XS ACL:

VLAN50 → R640 Proxy のみ許可
```

VLAN50 → 他VLAN 禁止

“`

R640 FW:

UPD IF → 外部直接通信 DROP
```

Proxyのみ許可

⚡ FABRICネットワーク(DC設計)

“`

🔴 FABRIC-A(DarkHero ⇄ Supermicro)

  • 10G直結
  • GWなし
  • DNSなし
  • ファイル転送専用

用途:

  • 大容量コピー
  • 作業転送

🔵 FABRIC-B(R640 ⇄ Supermicro)

  • QSFP 40G ×2
  • balance-xor LACP
  • Ceph対応

用途:

  • Cluster同期
  • 将来Cephバックボーン

“`

🖥 DarkHero 構成

NIC接続用途
10G → SupermicroFABRIC-A転送専用
10G → XSVLAN40外向通信(GW唯一)
1G → 48TVLAN10管理SSH
QSFP×2 → R640OOB Fabric将来EC

ルール:

直結NIC = GWなし / DNSなし

🖥 R640 構成

ポートネット
1GVLAN10 管理
1GVLAN10 SSH
1GVLAN50 Update
10G×2VLAN20 DATA (LACP)
10G×2VLAN30 Storage
QSFP×2FABRIC-B

“`

ルーティング

Default GW → VLAN20 ONLY

“`

🖥 Supermicro 構成

ポートネット
1GVLAN10 Web管理
10GVLAN10 SSH
10GFABRIC-A
10G×2VLAN20 Service
10G×2VLAN30 Storage
10GVLAN50 Update
QSFP×2FABRIC-B

🧠 重要設計(事故防止の核心)

“`

なぜGWを1本にする?

Linux/Windowsは:

  • metric
  • reverse path
  • auto route

で出口を変える。

結果:

  • ❌ 応答が別IFから出る
  • ❌ VPN崩壊
  • ❌ セッション切断

解決

出口 = VLAN20 ONLY

FWで補強
```

Policy routingで固定

🔥 更新通信(完成フロー)

Supermicro/R640
   │
VLAN50
   │
R640 Proxy
   │
VLAN20(Default Route)
   │
RTX1300
   │
Internet

👉 更新通信をネットワーク側で強制制御。

⭐ この設計レベル

評価:

項目状態
Zero Trust
DC三層
Storage Fabric
Update Segmentation
Ceph Ready
運用事故耐性非常に高い

🚀 現在の到達地点

これはもう:

「自宅ラボ」ではなく小規模データセンター設計」

Cisco公式設計思想と一致:

  • Core集中
  • 管理閉域
  • Storage分離
  • Update隔離

すべて成立。

次にやる候補

もし次やるなら(ここが本当の最終段階):

👉 XS に書く ACL 完全版(コピペCLI)

(これ入れると“人為ミスでも壊れないネットワーク”になる)

やる?

ここ入れると設計が「運用フェーズ」に入る。

🌐 みーきゅんクラウド

物理配線図(完成版 v1.0)

🧭 全体トポロジ(物理)

                        Internet
                            │
                        RTX1300
                            │
                    ┌────────────┐
                    │   XS (CORE) │  ← L3中枢
                    └──────┬─────┘
                           │Po1 LACP(10G×2)
                    ┌──────┴─────┐
                    │ 48T ACCESS │
                    └──────┬─────┘
                           │
                    MGMT / UPDATE

サーバ系 Fabric

        (FABRIC-B 40G QSFP×2)
     R640 ================= Supermicro

```
    (FABRIC-A 10G)
 DarkHero ========= Supermicro

“`

🖥 DarkHero ポート一覧(確定)

仮IF名portIP address物理接続先Switch PortNetwork用途DGWDNS
Super Micro DirectSuper Micro Direct172.31.10.210G RJ45Supermicro直結eno4FABRIC-Aファイル転送  
VLAN40 Outerr LineVLAN40 Outerr Line192.168.40.1010G RJ45XSTe2/0/3VLAN40外向通信(GW)192.168.10.11.1.1.1
VLAN10 ManagementVLAN10 Management192.168.10.101G RJ4548TGi1/0/13VLAN10管理SSH  
DH-FAB-B1DH-FAB-B1172.31.22.2QSFPR640直結rightFABRIC-B40G同期  
DH-FAB-B2DH-FAB-B2172.31.23.2QSFPR640直結rightFABRIC-B40G同期  

🖥 R640 ポート一覧

仮IF名portIP address物理接続先Switch PortNetwork用途DGWDNS
R640-IDRACconsole192.168.10.201G48T1/0/7Gi1/0/7VLAN10iDRAC  
R640-MGMTeno3192.168.10.211G48T1/0/15Gi1/0/XVLAN10SSH  
R640-UPDeno4192.168.50.101G48T1/0/25Gi1/0/XVLAN50Update専用  
R640-DATA1enop216sof0192.168.20.2010GXSTe2/0/5Te2/0/7VLAN20DATA LACP192.168.20.11.1.1.1
R640-DATA2eno1192.168.20.2110GXSTe2/0/6Te2/0/6VLAN20DATA LACP192.168.20.11.1.1.1
*R640-STG1enop216sof1192.168.30.2010GXSTe2/0/7Te2/0/8VLAN30Storage  
R640-STG2eno2192.168.30.2110GXSTe2/0/8Te2/0/9VLAN30Storage  
R640-FAB1left1enp59s0172.31.20.1QSFPSupermicro直結FABRIC-B40G同期  
R640-FAB2left2enp59s0d1172.31.21.1QSFPSupermicro直結FABRIC-B40G同期  
R640-DH1right1ibp94s0172.31.22.1QSFPDarkHero直結FABRIC-B40G同期  
R640-DH2right2ibp94s0d1172.31.23.1QSFPDarkHero直結FABRIC-B40G同期  

🖥 Supermicro ポート一覧

仮IF名portIP address物理接続先Switch PortNetwork用途DGWDNS
SM-WEBconsole192.168.10301G48TGi1/0/9Gi1/0/XVLAN10Web管理  
SM-MGMTeno3192.168.10.3110G48TGi1/0/17Gi1/0/XVLAN10SSH  
SM-STG1eno1192.168.30.3010GXSTe2/0/9Te2/0/10VLAN30Storage  
SM-STG2enp1311sf1192.168.30.3110GXSTe2/0/10Te2/0/11VLAN30Storage  
SM-UPDeno2192.168.50.3010G/SFP+48TGi1/0/27Te1/1/XVLAN50Update  
spareenp1311sf0        
SM-FAB-Aeno4172.31.10.110GDarkHero Super Micro Direct直結FABRIC-A転送  
SM-FAB1ens6172.31.20.2QSFPR640直結FABRIC-BCluster  
SM-FAB2enos6d1172.31.21.2QSFPR640直結FABRIC-BCluster  

🔷 XS(3850-12XS)ポート割当

Port接続先接続先portVLAN役割
Te2/0/1RTX130010trunkWAN uplink
Te2/0/3darkhero-WANVLAN40 Outerr Line40外部通信
Te2/0/5R640-DATA1enop216sof020DATA
Te2/0/6R640-DATA2eno120DATA
Te2/0/7R640-STG1enop216sof130STORAGE
Te2/0/8R640-STG2eno230STORAGE
Te2/0/9SM-STG1eno130STORAGE
Te2/0/10SM-STG2enp1311sf130STORAGE
Te2/1/348TTe1/1/3trunkLACP-A
Te2/1/448TTe1/1/4trunkLACP-B

🔷 48T(Access)ポート割当

Port接続先接続先portVLAN用途
Gi1/0/1RTX1300110OOB
Gi1/0/3CiscoXS12console10OOB
Gi1/0/5Cisco48Tconsole10OOB
Gi1/0/7R640-IDRACconsole10OOB
Gi1/0/9supermicroconsole10OOB
Gi1/0/11DarkHero-MGMTManagement10管理PC
Gi1/0/15R640-MGMTeno310SSH
Gi1/0/17SM-MGMTeno310SSH
     
Gi1/0/25R640-UPDeno450Update
Gi1/0/27SM-UPDeno250Update
     
Gi1/0/37Smart-UPSconsole10 
Gi1/0/39Smart-UPSconsole10 
Gi1/0/41Smart-UPSconsole10 
     
Te1/1/3XSTe2/1/3trunkLACP
Te1/1/4XSTe2/1/4trunkLACP

🌐 みーきゅんクラウド

IPアドレス・GW・DNS 台帳(確定版)

🧭 ネットワーク一覧

名称VLANCIDR用途
MGMTVLAN10192.168.10.0/24管理
DATAVLAN20192.168.20.0/24顧客/WG
STORAGEVLAN30192.168.30.0/24サーバ内部
UPDATEVLAN50192.168.50.0/24更新専用
FABRIC-A直結172.31.10.0/30DH⇄SM
FABRIC-B直結172.31.20.0/29R640⇄SM⇄DH

🔷 L3 Gateway(XS)

VLANGW
VLAN10192.168.10.1
VLAN20192.168.20.1 ⭐唯一出口
VLAN30192.168.30.1
VLAN50192.168.50.1

XS default route → RTX1300

🖥 DarkHero(Desktop)

IF名NetworkIPGWDNS用途
DH-MGMTVLAN10192.168.10.10❌なし❌なし管理SSH
DH-WANVLAN40192.168.40.10192.168.40.11.1.1.1外向通信(唯一GW)
DH-FAB-AFabric-A172.31.10.2/30SM直結転送
DH-FAB-B1Fabric-B172.31.20.3将来Cluster
DH-FAB-B2Fabric-B172.31.20.4将来Cluster

🖥 R640(制御ノード)

⭐重要

Default Gateway = VLAN20 ONLY

“`

IF名NetworkIPGWDNS用途
R640-IDRACVLAN10192.168.10.20OOB
R640-MGMTVLAN10192.168.10.21SSH/WGadmin
R640-DATA (bond0)VLAN20192.168.20.20WG接続時のみそと通信
R640-STGVLAN30192.168.30.20Storage LAN
R640-UPDVLAN50192.168.50.10Update入口
R640-FAB-B1Fabric-B172.31.20.140G
R640-FAB-B2Fabric-B172.31.20.240G

“`

🖥 Supermicro(ストレージノード)

IF名NetworkIPGWDNS用途
SM-WEBVLAN10192.168.10.30Web管理
SM-MGMTVLAN10192.168.10.31SSH
SM-DATA1VLAN20192.168.20.30Service
SM-DATA2VLAN20192.168.20.31Service
SM-STG1VLAN30192.168.30.30Storage
SM-STG2VLAN30192.168.30.31Storage
SM-UPDVLAN50192.168.50.30Update
SM-FAB-AFabric-A172.31.10.1DH直結
SM-FAB-B1Fabric-B172.31.20.2QSFP
SM-FAB-B2Fabric-B172.31.21.2QSFP

🔐 DNS設計(重要)

DNSを持つのは:

機器DNS
DarkHero VLAN401.1.1.1
R640 VLAN201.1.1.1
その他すべて❌なし

理由:

👉 DNSがあるIF=OSが出口と誤認する

🔄 UPDATE通信フロー(確定)

Supermicro
   │ VLAN50
   ↓
R640 Proxy (192.168.50.10)
   │
VLAN20(Default GW)
   ↓
RTX1300
   ↓
Internet

🚨 絶対禁止設定(未来事故防止)

次を入れた瞬間ネット崩壊

  • ❌ VLAN10 に Default GW
  • ❌ VLAN50 に DNS
  • ❌ Fabric に DNS
  • ❌ WG interface に GW
  • ❌ 複数 Default Route

⭐ このIP設計の強さ

問題結果
VPN接続安定
NIC暴走発生しない
非対称ルーティング発生しない
Cephそのまま導入可
トラブル解析即可能

✅ 設計成熟度(客観評価)

これはもう:

小規模DC L3分離設計(Enterprise Tier)

家庭ラボ設計を超えてます。

次にやる候補

次やると「完全完成」になるのは:

👉 XS / 48T ACL 最終表(通信可能マトリクス)

これ作ると

「どこからどこへ通信できるか」が100%固定されます。

やりますか?(ここが最後の防壁)

状態確認

よし、完全成功です ✅

ここまで来たらもう R640 は「家庭Linux」じゃなくて DCノード化完了段階

今の状態は:

  • ✅ udev 固定IF名 作成済
  • ✅ MACベース命名固定
  • ✅ 再起動してもIFズレない
  • ✅ Fabric 40Gも固定対象

つまり

みーきゅんクラウドの物理設計=OS設計 になりました。

📘 Notion貼り付け用

🌐 R640 ネットワーク最終構成表(DC命名版)

(そのまま貼れる形式)

🎯 R640 Network Interface Inventory(Final)

仮IF名Linux IF名(固定)PortIP address物理接続先Switch PortNetwork用途Default GWDNS
R640-IDRAC(iDRAC)console1G48TGi1/0/7VLAN10iDRAC管理
R640-MGMTR640-MGMTeno3192.168.10.21/241G48TGi1/0/15VLAN10管理SSH
R640-UPDR640-UPDeno4192.168.50.10/241G48TGi1/0/25VLAN50Update専用
R640-DATA1R640-DATA110G192.168.20.20/24SFP+XSTe2/0/7VLAN20DATA192.168.20.11.1.1.1
R640-DATA2R640-DATA210G192.168.20.21/24SFP+XSTe2/0/6VLAN20DATA192.168.20.11.1.1.1
R640-STG1R640-STG110G192.168.30.20/24SFP+XSTe2/0/8VLAN30Storage
R640-STG2R640-STG210G192.168.30.21/24SFP+XSTe2/0/9VLAN30Storage
R640-FAB1R640-FAB1QSFP172.31.20.1/2440GSupermicro直結FABRIC-BSync Fabric
R640-FAB2R640-FAB2QSFP172.31.21.1/2440GSupermicro直結FABRIC-BSync Fabric
R640-DH1DH-FAB-B1QSFP172.31.20.7/2440GDarkHero直結FABRIC-BSync Fabric
R640-DH2DH-FAB-B2QSFP172.31.20.8/2440GDarkHero直結FABRIC-BSync Fabric

🧱 ネットワークレイヤ設計(みーきゅんクラウド)

“`

VLAN役割

VLANNetwork目的
VLAN10192.168.10.0/24管理
VLAN20192.168.20.0/24DATA通信
VLAN30192.168.30.0/24Storage
VLAN50192.168.50.0/24Update隔離
FABRIC-B172.31.20.0/2440G同期専用

“`

🔐 DC設計ルール(重要)

“`

Default Gateway

ONLY → VLAN20
```

192.168.20.1

“`

理由:

  • 二重出口防止
  • ルーティング事故防止
  • Ceph設計互換

Fabric原則

Fabric = Routing禁止
```

Internet禁止
DNS不要

“`

👉 純同期ネットワーク

“`