ハードウェア台帳 – みーきゅんクラウド

🖥️ みーきゅんクラウドハードウェア構成・詳細仕様

📅 最終更新: 2026年3月30日
✅ 構成状態: 173.0.0.x ファブリック完全移行完了・Supermicro RAID1化完了

1️⃣ Dell PowerEdge R640（制御ノード）

基本仕様

項目	内容
型番	Dell EMC PowerEdge R640
世代	14G（14th Generation）
フォームファクタ	1U ラックマウント
サービスタグ	4Y389X2
用途	仮想化 / 制御ノード / Nextcloud
ホスト名	katuo-PowerEdge-R640

CPU

項目	内容
CPU	Intel Xeon Gold 6152
クロック	2.10 GHz
ソケット数	2
コア / スレッド	22コア ×2 = 44コア / 88スレッド
仮想化支援	VT-x / EPT 有効
NUMA	2ノード

メモリ

項目	内容
総容量	192 GB
規格	DDR4 ECC RDIMM
構成	16GB ×12枚
用途適性	仮想化 / DB / キャッシュ

ストレージ（2026-03更新）

項目	内容
OS Disk	約2.2TB（LUKS暗号化）
Nextcloud用NVMe	Samsung 970 EVO Plus 1TB（/mnt/nvme-cache）
用途	Nextcloud/MariaDB/Redis高速化
バックアップ	日次2回（3:00, 15:00）→ Supermicro NFS

ネットワーク（173.0.0.x移行済み）

IF名	Linux IF	Network	IP	速度	接続先
R640-IDRAC	iDRAC	VLAN10	192.168.10.20	1G	48T Gi1/0/7
R640-MGMT	eno3	VLAN10	192.168.10.21	1G	48T Gi1/0/15
R640-UPD	eno4	VLAN50	192.168.50.10	1G	48T Gi1/0/25
R640-DATA (bond0)	LACP	VLAN20	192.168.20.20/21	20G	XS Te2/0/5-6
R640-STG (bond1)	LACP	VLAN30	192.168.30.20/21	20G	XS Te2/0/7-8
R640-SM-FAB	enp59s0	173.0.0.0/30	173.0.0.2	10G	SM 直結
R640-HIRAME-FAB	enp59s0d1	173.0.0.8/30	173.0.0.9	10G	hirame 直結

⚠️ 重要: DarkHeroとのFABRIC-B（172.31.22.x/172.31.23.x）は完全廃止されました。

管理・その他

項目	内容
RAID	PERC H730P Mini（MegaRAID SAS-3 3108）
管理	iDRAC（専用ポート）
GPU	NVIDIA GeForce GT 710（HDMI/DP出力）
電源	冗長電源 750W ×2（Platinum）
UPS	Smart-UPS 1200VA接続済み

2️⃣ Supermicro SSG-6048R-E1CR36N（ストレージノード）

基本仕様

項目	内容
型番	Supermicro SSG-6048R-E1CR36N
マザーボード	X10DRi-T4+
フォームファクタ	4U 36ベイストレージサーバー
用途	NFS Storage / バックアップ先
ホスト名	maguro-SupermicroSGG6048R

CPU

項目	内容
CPU	Intel Xeon E5-2640 v4
世代	Broadwell-EP
クロック	2.40 GHz（最大 3.40 GHz）
ソケット数	2
コア / スレッド	20コア / 40スレッド
NUMA	2ノード

メモリ

項目	内容
総容量	64 GB
構成	8GB ×8枚
規格	DDR4 ECC RDIMM 2133 MT/s
最大搭載	768 GB

ストレージ（RAID1化完了 2026-03-30）

項目	内容
OS用RAID1	M.2 NVMe RAID1（md0）
構成	Samsung 476.9GB + Crucial 465.8GB
実効容量	約465GB（小さい方に制限）
RAID状態	[2/2] [UU]（完全同期済み）
監視	systemd timer（5分ごと）+ Telegram通知
データ用HDD	16TB HDD ×4（HW RAID + LUKS + LVM）
総容量	約90TB（/srv/storage）

✅ OS RAID1化完了:
– 両方のM.2 SSDから起動可能
– 片方故障時も動作継続
– Telegram監視システム稼働中
– EFIパーティションもミラーリング済み

ネットワーク（173.0.0.x移行済み）

IF名	Linux IF	Network	IP	速度	接続先
SM-WEB	console	VLAN10	192.168.10.30	1G	48T Gi1/0/9
SM-MGMT	eno3	VLAN10	192.168.10.31	10G	48T Gi1/0/17
SM-STG (Po2)	LACP	VLAN30	192.168.30.30/31	20G	XS Te2/0/9-10
SM-UPD	eno2	VLAN50	192.168.50.30	10G	48T Gi1/0/27
SM-R640-FAB	enp129s0	173.0.0.0/30	173.0.0.1	10G	R640 直結
SM-HIRAME-FAB	enp129s0d1	173.0.0.4/30	173.0.0.5	10G	hirame 直結

RAID・管理

項目	内容
OS RAID	Linux mdadm RAID1（md0）
データRAID	MegaRAID SAS-3 3108（HW RAID）
IPフォワーディング	有効（R640↔hirame中継）
NFSエクスポート	173.0.0.0/30 許可
電源	冗長電源 ×2（PWS-1K28P-SQ Platinum）
UPS	Smart-UPS 1200VA接続済み

3️⃣ hirame（X58A-UD3R バックアップノード）

基本仕様

項目	内容
マザーボード	Gigabyte GA-X58A-UD3R
CPU	Intel Xeon X5690（6コア/12スレッド 3.46GHz）
メモリ	24GB DDR3（CORSAIR VENGEANCE）
ストレージ	NVMe 500GB + 1TB
用途	バックアップ対象・Docker実験環境

ネットワーク（173.0.0.x完全移行）

IF名	Linux IF	Network	IP	速度	接続先
HIRAME-MGMT	—	VLAN10	192.168.10.40	1G	48T
HIRAME-SM-FAB	enp4s0d1	173.0.0.4/30	173.0.0.6	10G	SM 直結
HIRAME-R640-FAB	enp4s0	173.0.0.8/30	173.0.0.10	10G	R640 直結

NIC

項目	内容
10G NIC	Mellanox ConnectX-3 Pro（QSFP+ ×2）
接続先スイッチ	Cisco 3850 48T（VLAN20アクセス用）

バックアップ

項目	内容
実行元	R640 /opt/mikyun/bin/remote_backup.sh
実行時刻	毎日 4:00（cron）
接続方式	SSH経由（173.0.0.10）
バックアップ対象	netplan/systemd/home/Docker
保存先	/srv/storage/SM-storage/backup/hirame/
世代管理	5世代保持

🌐 ネットワーク機器・管理PC 詳細仕様

4️⃣ Cisco Catalyst WS-C3850-12XS（コアスイッチ）

基本仕様

項目	内容
型番	Cisco Catalyst WS-C3850-12XS-S
種別	L3コアスイッチ
ポート	10G SFP+ ×12
用途	データセンターコア / VLAN間ルーティング
Switching capacity	約176 Gbps
Forwarding rate	約130 Mpps

機能

項目	内容
L3機能	Static Route / OSPF / EIGRP
VLAN	最大4096
ACL	有効（VLAN50 UPDATE制限）
LACP	有効（Po1: 48Tとの接続）
Stack	StackWise-480対応（最大9台）

ポート割当

Port	接続先	VLAN	役割
Te2/0/1	RTX1300	60	WAN uplink
Te2/0/3	DarkHero-WAN	40	外部通信
Te2/0/5	R640-DATA1	20	DATA LACP
Te2/0/6	R640-DATA2	20	DATA LACP
Te2/0/7	R640-STG1	30	STORAGE LACP
Te2/0/8	R640-STG2	30	STORAGE LACP
Te2/0/9	SM-STG1	30	STORAGE LACP
Te2/0/10	SM-STG2	30	STORAGE LACP
Te2/1/3	48T Te1/1/3	50 access	LACP-A
Te2/1/4	48T Te1/1/4	50 access	LACP-B

VLAN Gateway

VLAN	Gateway IP	用途
VLAN10	192.168.10.1	管理（48T内完結）
VLAN20	192.168.20.1	DATA/WG ⭐唯一出口
VLAN30	192.168.30.1	STORAGE
VLAN40	192.168.40.1	DH専用
VLAN50	192.168.50.1	UPDATE（ACL制限）
VLAN60	192.168.60.1	WAN-LINK

管理・電源

項目	内容
OS	IOS-XE 03.06.07E
管理	Console（RJ45/USB）+ SSH
電源	冗長電源 ×2
UPS	Smart-UPS 1200VA接続済み

5️⃣ Cisco Catalyst WS-C3850-48T-E（アクセススイッチ）

基本仕様

項目	内容
型番	Cisco Catalyst WS-C3850-48T-E
種別	L3アクセス/管理スイッチ
ポート	1GbE RJ45 ×48 + 10GbE SFP+ ×2
用途	アクセス層 / OOB管理
ライセンス	IP Services（フル機能）

拡張モジュール

項目	内容
モジュール	C3850-NM-2-10G
ポート	10GbE SFP+ ×2
用途	12XSとのLACP接続（Po1）

主要ポート割当

Port	接続先	VLAN	用途
Gi1/0/1	RTX1300 OOB	10	OOB管理
Gi1/0/3	12XS OOB	10	OOB管理
Gi1/0/5	48T OOB	10	OOB管理
Gi1/0/7	R640-iDRAC	10	iDRAC
Gi1/0/9	SM-WEB	10	Web管理
Gi1/0/13	DH-MGMT	10	管理PC
Gi1/0/15	R640-MGMT	10	SSH
Gi1/0/17	SM-MGMT	10	SSH
Gi1/0/25	R640-UPD	50	UPDATE
Gi1/0/27	SM-UPD	50	UPDATE
Gi1/0/37,39,41	UPS ×3	10	電源管理
Te1/1/3	12XS Te2/1/3	50 access	LACP
Te1/1/4	12XS Te2/1/4	50 access	LACP

📌 VLAN10の特性: 48T内完結の完全閉域ネットワーク。12XSには届かず、外部接続不可。

管理・電源

項目	内容
OS	IOS-XE
RAM	4GB
電源	冗長電源 PWR-C1-350WAC ×2
UPS	Smart-UPS 1200VA接続済み

6️⃣ YAMAHA RTX1300（境界ルーター）

基本仕様

項目	内容
製品名	YAMAHA RTX1300
種別	業務用VPNルーター
LANポート	11ポート（LAN1:8, LAN2:2, LAN3:1）
SFP+	10Gbps ×2
用途	境界ルーター / NAT / MAP-E

機能

項目	内容
WAN	MAP-E（IPv4 over IPv6）
NAT	有効（VLAN60→Internet）
IPv6	DHCP-PD配布
VPN	IPsec / L2TP/IPsec
フィルタ	有効（WG 54024/443/80）

ネットワーク接続

IF	接続先	用途
LAN3(10)	12XS Te2/0/1	VLAN60 WAN-LINK
LAN1(1)	48T Gi1/0/1	VLAN10 OOB

管理

項目	内容
管理方式	SSH（id_ed25519）/ Console
設定保存	内部config0 + microSD（sd1:）
UPS	Smart-UPS 1200VA接続済み

7️⃣ DarkHero（オペレーターPC）

基本仕様

項目	内容
マザーボード	ROG系（Ryzen）
OS	Windows
CPU	Ryzen系（高性能）
GPU	High-end
用途	運用端末 / GUI操作

ネットワーク（ファブリック廃止後）

IF名	Network	IP	GW	DNS	用途
DH-MGMT	VLAN10	192.168.10.10	❌なし	❌なし	管理SSH
DH-WAN	VLAN40	192.168.40.10	192.168.40.1	1.1.1.1	外向通信（唯一GW）

⚠️ ファブリック接続廃止: DH-FAB-A（172.31.10.2）、DH-FAB-B1/B2（172.31.22.2/172.31.23.2）は完全廃止されました。

8️⃣ WAN-PC（ROG MAXIMUS Z790 DARK HERO）

基本仕様

項目	内容
PC名	WAN-PC
マザーボード	ROG MAXIMUS Z790 DARK HERO
OS	Windows 11 Pro Build 26200
用途	管理サーバー / Control Plane

CPU・メモリ

項目	内容
CPU	Intel Core i9-14900K（24C/32T 3.2GHz）
メモリ	64GB RAM
仮想化	VBS/Hypervisor/WSL2 完全有効

ストレージ

ディスク	容量	用途推定
Samsung 990 PRO	1TB NVMe	OS
Samsung 990 PRO	2TB NVMe	作業領域
Samsung OEM NVMe	2.5TB	VM / WSL
WD HDD	3TB ×2	アーカイブ

ネットワーク（DC設計）

NIC	チップ	IP	用途
管理NIC	Intel I226-V	192.168.11.10	MGMT
10GbE #1	Intel X550	192.168.10.10	DATA
10GbE #2	Intel X550	192.168.10.11	STORAGE/LAB

✅ 完全DC設計: 1G管理系 + 10G ×2（DATA/STORAGE分離）の企業設計そのもの。

役割（Control Plane）

機能	内容
自動化	Ansible / Terraform
管理	SSH / WireGuard / DB操作
開発	Docker / WSL2 / Git
監視	顧客発行UI / Backup orchestration

9️⃣ NEC(APC) Smart-UPS 1200VA

基本仕様

項目	内容
型番	NEC N8142-100（OEM元: APC Smart-UPS 1200）
UPS ID	NMM1200RMJ1UB
容量	1200VA / 1000W
形状	1Uラックマウント
入力	100V 15A

バッテリー

項目	内容
交換期限	2028年12月
状態	ほぼ新品交換済み
動作確認	バッテリー運転で外部給電確認済み

接続機器

機器	台数
R640	1台
Supermicro	1台
Cisco 12XS	1台
Cisco 48T	1台
RTX1300	1台

📌 冗長構成との連携:
– R640: 冗長電源 750W ×2
– Supermicro: 冗長電源 ×2
– Cisco: 冗長電源 ×2
– 停電時: VPN維持 / ルーティング維持 / graceful shutdown可能

🔗 173.0.0.x ファブリックネットワーク一覧表

📅 移行完了日: 2026年3月30日
✅ 構成: 完全メッシュ接続（Supermicro ↔ R640 ↔ hirame）
⚠️ 重要: 旧172.31.x.x系は完全廃止されました

📡 ファブリックリンク構成

リンク	サーバー1	IF名	IP	サーバー2	IF名	IP	速度
Link1	Supermicro	enp129s0	173.0.0.1/30	R640	enp59s0	173.0.0.2/30	10G
Link2	Supermicro	enp129s0d1	173.0.0.5/30	hirame	enp4s0d1	173.0.0.6/30	10G
Link3	R640	enp59s0d1	173.0.0.9/30	hirame	enp4s0	173.0.0.10/30	10G

🖥️ サーバー別ファブリックIF一覧

Supermicro SSG-6048R

IF名（netplan）	Linux IF	MAC Address	IP	接続先	役割
SM-R640-FAB	enp129s0	50:6b:4b:7f:0b:60	173.0.0.1/30	R640 直結	R640ルーティング
SM-HIRAME-FAB	enp129s0d1	50:6b:4b:7f:0b:61	173.0.0.5/30	hirame 直結	hirameルーティング

R640 PowerEdge

IF名（netplan）	Linux IF	MAC Address	IP	接続先	役割
R640-SM-FAB	enp59s0	70:10:6f:a7:56:f1	173.0.0.2/30	SM 直結	SM直接通信
R640-HIRAME-FAB	enp59s0d1	70:10:6f:a7:56:f2	173.0.0.9/30	hirame 直結	hirame直接通信

hirame X58A-UD3R

IF名（netplan）	Linux IF	MAC Address	IP	接続先	役割
HIRAME-SM-FAB	enp4s0d1	e4:1d:2d:7a:f1:c2	173.0.0.6/30	SM 直結	SM経由ルーティング
HIRAME-R640-FAB	enp4s0	e4:1d:2d:7a:f1:c1	173.0.0.10/30	R640 直結	R640直接通信

🔀 ルーティングテーブル

Supermicro（ルーター機能）

宛先	経路	用途
173.0.0.0/30	直接接続（R640）	R640直接通信
173.0.0.4/30	直接接続（hirame）	hirame直接通信
173.0.0.8/30	173.0.0.2 via R640 or 173.0.0.6 via hirame	R640↔hirame中継

R640

宛先	経路	用途
173.0.0.0/30	直接接続（SM）	SM直接通信
173.0.0.4/30	via 173.0.0.1（SM経由）	hirame通信（SM経由）
173.0.0.8/30	直接接続（hirame）	hirame直接通信

hirame

宛先	経路	用途
173.0.0.0/30	via 173.0.0.5（SM経由）	R640通信（SM経由）
173.0.0.4/30	直接接続（SM）	SM直接通信
173.0.0.8/30	直接接続（R640）	R640直接通信
10.250.0.0/24	via 173.0.0.5（SM経由）	内部ネットワーク
192.168.20.0/24	via 173.0.0.5（SM経由）	VLAN20アクセス

🛠️ Supermicro特殊設定

IPフォワーディング設定

net.ipv4.ip_forward=1

iptables FORWARD ルール

iptables -I FORWARD -s 173.0.0.0/30 -d 173.0.0.4/30 -j ACCEPT
iptables -I FORWARD -s 173.0.0.4/30 -d 173.0.0.0/30 -j ACCEPT

# 永続化
netfilter-persistent save

NFSエクスポート設定（/etc/exports）

/srv/storage 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash,fsid=0)
/srv/storage/nextcloud 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)
/srv/storage/nextcloud/data 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)
/srv/storage/nextcloud/backup 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)

✅ 疎通確認コマンド

直接リンク確認

送信元	コマンド	期待結果
Supermicro	ping -I 173.0.0.1 -c 3 173.0.0.2	0.2ms レイテンシ
Supermicro	ping -I 173.0.0.5 -c 3 173.0.0.6	0.2ms レイテンシ
R640	ping -I 173.0.0.9 -c 3 173.0.0.10	0.2ms レイテンシ

ルーティング経由確認（SM経由）

送信元	コマンド	期待結果
hirame	ping -I 173.0.0.6 -c 3 173.0.0.2	0.3ms、ttl=63（1ホップ）
R640	ping -I 173.0.0.2 -c 3 173.0.0.6	0.3ms、ttl=63（1ホップ）

📂 NFSマウント（R640 → Supermicro）

R640マウントポイント	NFSソース（Supermicro）	用途
/srv/storage/SM-storage	173.0.0.1:/srv/storage/nextcloud-data	Nextcloud データ
/mnt/backup	173.0.0.1:/srv/storage/nextcloud/backup	バックアップ先

R640 /etc/fstab

173.0.0.1:/srv/storage/nextcloud-data /srv/storage/SM-storage nfs defaults,_netdev,noatime,nofail,x-systemd.automount 0 0
173.0.0.1:/srv/storage/nextcloud/backup /mnt/backup nfs defaults,_netdev 0 0

🔄 バックアップ通信（R640 → hirame）

項目	内容
スクリプト	/opt/mikyun/bin/remote_backup.sh
実行時刻	毎日 4:00（cron）
接続先	173.0.0.10（hirame）
プロトコル	SSH経由 rsync
保存先	/srv/storage/SM-storage/backup/hirame/

⚠️ 廃止された構成

完全廃止されたファブリックIP:
– 172.31.10.x: DarkHero ↔ Supermicro（FABRIC-A）
– 172.31.20.x: R640 ↔ Supermicro（FABRIC-B）
– 172.31.21.x: R640 ↔ Supermicro（FABRIC-B）
– 172.31.22.x: R640 ↔ DarkHero（FABRIC-B）
– 172.31.23.x: R640 ↔ DarkHero（FABRIC-B）

現在の構成: 173.0.0.x のみ（完全メッシュ）

✅ 構築完了状態（2026-03-30）:
– 全リンク動作確認済み（0.2ms レイテンシ）
– NFSマウント: 173.0.0.1経由で正常動作
– hirameバックアップ: 173.0.0.10経由で正常動作
– iptables・netplan設定永続化完了
– 旧172.31.x.x設定完全廃止

🖥️ ハードウェア・物理構成完全版

サーバー構成（3台）

Dell PowerEdge R640（制御ノード）

項目	仕様
CPU	Intel Xeon Gold 6152 ×2（22C/44T @ 2.1GHz、合計44C/88T）
メモリ	192GB DDR4 ECC RDIMM
OS起動	2.2TB LUKS暗号化（SSD RAID構成）
高速化	Samsung 970 EVO Plus 1TB NVMe @ /mnt/nvme-cache（Nextcloud/MariaDB/Redis）
NIC構成	10GbE ×6（Intel X710-DA2 ×3）
電源	冗長電源 750W ×2
管理	iDRAC9 Enterprise @ 192.168.10.20
ラック	2U

R640 NICポート割当

物理IF	netplan名	Linux名	MAC	用途	接続先
PORT1	R640-MGMT	eno1	70:10:6f:a7:56:ee	VLAN10 管理	48T Gi1/0/15
PORT2	R640-UPD	eno2	70:10:6f:a7:56:ef	VLAN50 UPDATE	48T Gi1/0/25
DATA1	R640-DATA1	enp24s0f0	3c:ec:ef:59:8c:a0	bond0（VLAN20）	12XS Te2/0/5
DATA2	R640-DATA2	enp24s0f1	3c:ec:ef:59:8c:a1	bond0（VLAN20）	12XS Te2/0/6
STG1	R640-STG1	enp59s0f0	3c:ec:ef:59:8f:a8	bond1（VLAN30）	12XS Te2/0/7
STG2	R640-STG2	enp59s0f1	3c:ec:ef:59:8f:a9	bond1（VLAN30）	12XS Te2/0/8
FAB1	R640-SM-FAB	enp59s0	70:10:6f:a7:56:f1	173.0.0.2/30	SM 直結
FAB2	R640-HIRAME-FAB	enp59s0d1	70:10:6f:a7:56:f2	173.0.0.9/30	hirame 直結

Supermicro SSG-6048R-E1CR36N（ストレージノード）

項目	仕様
CPU	Intel Xeon E5-2640 v4 ×2（10C/20T @ 2.4GHz、合計20C/40T）
メモリ	64GB DDR4 ECC RDIMM
OS起動	RAID1（md0）: Samsung 476.9GB + Crucial 465.8GB [2/2] [UU]
データ	16TB HDD ×4 → ZFS pool（約90TB）
NIC構成	10GbE ×4（Mellanox ConnectX-3 ×2）
電源	冗長電源 ×2
管理	IPMI @ 192.168.10.30
ラック	4U（36ベイ）

Supermicro NICポート割当

物理IF	netplan名	Linux名	MAC	用途	接続先
onboard1	SM-MGMT	eno1	0c:c4:7a:d9:3e:d4	VLAN10 管理	48T Gi1/0/17
onboard2	SM-UPD	eno2	0c:c4:7a:d9:3e:d5	VLAN50 UPDATE	48T Gi1/0/27
STG1	SM-STG1	enp4s0	e4:1d:2d:22:b6:e8	Po2（VLAN30）	12XS Te2/0/9
STG2	SM-STG2	enp4s0d1	e4:1d:2d:22:b6:e9	Po2（VLAN30）	12XS Te2/0/10
FAB1	SM-R640-FAB	enp129s0	50:6b:4b:7f:0b:60	173.0.0.1/30	R640 直結
FAB2	SM-HIRAME-FAB	enp129s0d1	50:6b:4b:7f:0b:61	173.0.0.5/30	hirame 直結

hirame X58A-UD3R（バックアップノード）

項目	仕様
マザーボード	GIGABYTE GA-X58A-UD3R (Rev.2.0)
CPU	Intel Xeon X5690（6C/12T @ 3.46GHz）
メモリ	CORSAIR VENGEANCE 24GB DDR3
OS起動	NVMe 500GB
データ	NVMe 1TB
NIC構成	Mellanox ConnectX-3 Pro（QSFP+ ×2, 10GbE対応）
拡張	M.2 PCIe riser ×2（NVMe接続）
電源	単電源構成

hirame NICポート割当

物理IF	netplan名	Linux名	MAC	用途	接続先
onboard	HIRAME-MGMT	enp5s0	00:25:90:xx:xx:xx	VLAN10 管理	48T Gi1/0/19
QSFP1	HIRAME-SM-FAB	enp4s0d1	e4:1d:2d:7a:f1:c2	173.0.0.6/30	SM 直結
QSFP2	HIRAME-R640-FAB	enp4s0	e4:1d:2d:7a:f1:c1	173.0.0.10/30	R640 直結

ネットワーク機器構成（3台）

Cisco Catalyst WS-C3850-12XS-S（コアスイッチ）

項目	仕様
ポート	10G SFP+ ×12
機能	L3ルーティング / VLAN Gateway / ACL / LACP
Switching capacity	約176 Gbps
電源	冗長電源 ×2
管理IP	192.168.10.1（VLAN10）
ラック	1U

12XS ポート割当

Port	接続先	VLAN	速度
Te2/0/1	RTX1300 LAN3(10)	60 access	10G
Te2/0/3	DarkHero-WAN	40 access	10G
Te2/0/5	R640-DATA1	20 access	10G
Te2/0/6	R640-DATA2	20 access	10G
Te2/0/7	R640-STG1	30 access	10G
Te2/0/8	R640-STG2	30 access	10G
Te2/0/9	SM-STG1	30 access	10G
Te2/0/10	SM-STG2	30 access	10G
Te2/1/3	48T Te1/1/3 (Po1)	50 access	10G
Te2/1/4	48T Te1/1/4 (Po1)	50 access	10G

Cisco Catalyst WS-C3850-48T-E（アクセススイッチ）

項目	仕様
ポート	1GbE RJ45 ×48
拡張モジュール	C3850-NM-2-10G（10G SFP+ ×2）
機能	L3アクセス / OOB管理 / LACP
電源	冗長電源 PWR-C1-350WAC ×2
管理IP	192.168.10.2（VLAN10）
ラック	1U

48T 主要ポート割当

Port	接続先	VLAN
Gi1/0/1	RTX1300 LAN1(1)	10 access
Gi1/0/3	12XS OOB	10 access
Gi1/0/5	48T OOB	10 access
Gi1/0/7	R640-iDRAC	10 access
Gi1/0/9	SM-WEB	10 access
Gi1/0/13	DH-MGMT	10 access
Gi1/0/15	R640-MGMT	10 access
Gi1/0/17	SM-MGMT	10 access
Gi1/0/19	HIRAME-MGMT	10 access
Gi1/0/25	R640-UPD	50 access
Gi1/0/27	SM-UPD	50 access
Gi1/0/37,39,41	UPS ×3	10 access
Te1/1/3	12XS Te2/1/3 (Po1)	50 access
Te1/1/4	12XS Te2/1/4 (Po1)	50 access

YAMAHA RTX1300（境界ルーター）

項目	仕様
LANポート	11ポート（LAN1:8, LAN2:2, LAN3:1）
SFP+	10Gbps ×2
機能	MAP-E / NAT / IPv6 DHCP-PD / IPsec VPN
WAN	IPv4 over IPv6（MAP-E方式）
管理IP	192.168.10.254（VLAN10）
筐体	1U

RTX1300 接続構成

Port	接続先	用途
LAN3(10)	12XS Te2/0/1	VLAN60 WAN-LINK（10G SFP+）
LAN1(1)	48T Gi1/0/1	VLAN10 OOB管理（1G）

電源・UPS構成

NEC(APC) Smart-UPS 1200VA

項目	仕様
型番	NMM1200RMJ1UB
容量	1200VA / 1000W
形状	1Uラックマウント
バッテリー期限	2028年12月（新品交換済み）
接続台数	5台（R640/SM/12XS/48T/RTX）
管理IP	192.168.10.50-52（VLAN10）

ファブリック物理接続構成

173.0.0.x 完全メッシュリンク

Link	サーバー1	IF	IP	サーバー2	IF	IP	速度
Link1	Supermicro	enp129s0	173.0.0.1/30	R640	enp59s0	173.0.0.2/30	10G
Link2	Supermicro	enp129s0d1	173.0.0.5/30	hirame	enp4s0d1	173.0.0.6/30	10G
Link3	R640	enp59s0d1	173.0.0.9/30	hirame	enp4s0	173.0.0.10/30	10G

✅ ファブリック設計原則:
– 完全メッシュ構成（Supermicro中継可能）
– 全リンク10Gbps Direct Attach
– ルーティング不可（Internet/DNS禁止）
– 専用IP体系（173.0.0.x）

⚙️ コマンド・設定完全版

Supermicro ルーター設定

IPフォワーディング有効化

# /etc/sysctl.conf に追記
net.ipv4.ip_forward=1

# 即座に適用
sysctl -w net.ipv4.ip_forward=1

# 確認
sysctl net.ipv4.ip_forward

iptables FORWARD ルール

# R640 ↔ hirame 間の通信を許可
iptables -I FORWARD -s 173.0.0.0/30 -d 173.0.0.4/30 -j ACCEPT
iptables -I FORWARD -s 173.0.0.4/30 -d 173.0.0.0/30 -j ACCEPT

# 永続化（再起動後も有効）
netfilter-persistent save

# 確認
iptables -L FORWARD -n -v

NFSエクスポート設定

# /etc/exports に追記
/srv/storage 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash,fsid=0)
/srv/storage/nextcloud 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)
/srv/storage/nextcloud/data 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)
/srv/storage/nextcloud/backup 173.0.0.0/30(rw,sync,no_subtree_check,no_root_squash)

# 設定再読込
exportfs -ra

# 確認
exportfs -v

R640 NFS マウント設定

/etc/fstab エントリ

# Nextcloud データディレクトリ
173.0.0.1:/srv/storage/nextcloud-data /srv/storage/SM-storage nfs defaults,_netdev,noatime,nofail,x-systemd.automount 0 0

# バックアップ先
173.0.0.1:/srv/storage/nextcloud/backup /mnt/backup nfs defaults,_netdev 0 0

マウント実行・確認

# マウント実行
systemctl daemon-reload
mount -a

# マウント確認
df -h | grep 173.0.0.1
mount | grep nfs

ファブリック疎通確認

直接リンク確認（各サーバーから実行）

# Supermicro → R640
ping -I 173.0.0.1 -c 3 173.0.0.2

# Supermicro → hirame
ping -I 173.0.0.5 -c 3 173.0.0.6

# R640 → hirame
ping -I 173.0.0.9 -c 3 173.0.0.10

期待結果: 約0.2ms レイテンシ、0% loss

ルーティング経由確認（SM中継）

# hirame → R640（SM経由）
ping -I 173.0.0.6 -c 3 173.0.0.2

# R640 → hirame（SM経由）
ping -I 173.0.0.2 -c 3 173.0.0.6

# traceroute で経路確認
traceroute -s 173.0.0.6 173.0.0.2

期待結果: 約0.3ms レイテンシ、ttl=63（1ホップ経由）

ルーティング設定確認

Supermicro（ルーター）

# ルーティングテーブル確認
ip route show

# 期待される出力（例）
# 173.0.0.0/30 dev enp129s0 proto kernel scope link src 173.0.0.1
# 173.0.0.4/30 dev enp129s0d1 proto kernel scope link src 173.0.0.5

R640

# ルーティングテーブル確認
ip route show

# 期待される出力（例）
# 173.0.0.0/30 dev enp59s0 proto kernel scope link src 173.0.0.2
# 173.0.0.4/30 via 173.0.0.1 dev enp59s0
# 173.0.0.8/30 dev enp59s0d1 proto kernel scope link src 173.0.0.9

hirame

# ルーティングテーブル確認
ip route show

# 期待される出力（例）
# 173.0.0.0/30 via 173.0.0.5 dev enp4s0d1
# 173.0.0.4/30 dev enp4s0d1 proto kernel scope link src 173.0.0.6
# 173.0.0.8/30 dev enp4s0 proto kernel scope link src 173.0.0.10
# 10.250.0.0/24 via 173.0.0.5 dev enp4s0d1
# 192.168.20.0/24 via 173.0.0.5 dev enp4s0d1

netplan 設定ファイル

Supermicro (/etc/netplan/01-netcfg.yaml)

network:
  version: 2
  renderer: networkd
  ethernets:
    # 管理・UPDATE
    SM-MGMT:
      match: {macaddress: “0c:c4:7a:d9:3e:d4”}
      addresses: [192.168.10.30/24]
    SM-UPD:
      match: {macaddress: “0c:c4:7a:d9:3e:d5”}
      addresses: [192.168.50.30/24]
      routes:
        – to: default
          via: 192.168.50.1
      nameservers:
        addresses: [1.1.1.1]
    
    # ファブリック
    SM-R640-FAB:
      match: {macaddress: “50:6b:4b:7f:0b:60”}
      addresses: [173.0.0.1/30]
    SM-HIRAME-FAB:
      match: {macaddress: “50:6b:4b:7f:0b:61”}
      addresses: [173.0.0.5/30]
    
    # ストレージLACP用インターフェース
    SM-STG1:
      match: {macaddress: “e4:1d:2d:22:b6:e8”}
    SM-STG2:
      match: {macaddress: “e4:1d:2d:22:b6:e9”}
  
  bonds:
    Po2:
      interfaces: [SM-STG1, SM-STG2]
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
      addresses: [192.168.30.30/24]

R640 (/etc/netplan/01-netcfg.yaml)

network:
  version: 2
  renderer: networkd
  ethernets:
    # 管理・UPDATE
    R640-MGMT:
      match: {macaddress: “70:10:6f:a7:56:ee”}
      addresses: [192.168.10.20/24]
    R640-UPD:
      match: {macaddress: “70:10:6f:a7:56:ef”}
      addresses: [192.168.50.20/24]
      routes:
        – to: default
          via: 192.168.50.1
    
    # ファブリック
    R640-SM-FAB:
      match: {macaddress: “70:10:6f:a7:56:f1”}
      addresses: [173.0.0.2/30]
      routes:
        – to: 173.0.0.4/30
          via: 173.0.0.1
    R640-HIRAME-FAB:
      match: {macaddress: “70:10:6f:a7:56:f2”}
      addresses: [173.0.0.9/30]
    
    # DATA LACP用インターフェース
    R640-DATA1:
      match: {macaddress: “3c:ec:ef:59:8c:a0”}
    R640-DATA2:
      match: {macaddress: “3c:ec:ef:59:8c:a1”}
    
    # STORAGE LACP用インターフェース
    R640-STG1:
      match: {macaddress: “3c:ec:ef:59:8f:a8”}
    R640-STG2:
      match: {macaddress: “3c:ec:ef:59:8f:a9”}
  
  bonds:
    bond0:
      interfaces: [R640-DATA1, R640-DATA2]
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
      addresses: [192.168.20.20/24]
      nameservers:
        addresses: [1.1.1.1]
    
    bond1:
      interfaces: [R640-STG1, R640-STG2]
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
      addresses: [192.168.30.20/24]

hirame (/etc/netplan/01-netcfg.yaml)

network:
  version: 2
  renderer: networkd
  ethernets:
    # 管理（VLAN10）
    HIRAME-MGMT:
      match: {macaddress: “00:25:90:xx:xx:xx”}
      addresses: [192.168.10.40/24]
    
    # ファブリック
    HIRAME-SM-FAB:
      match: {macaddress: “e4:1d:2d:7a:f1:c2”}
      addresses: [173.0.0.6/30]
      routes:
        – to: 173.0.0.0/30
          via: 173.0.0.5
        – to: 10.250.0.0/24
          via: 173.0.0.5
        – to: 192.168.20.0/24
          via: 173.0.0.5
    
    HIRAME-R640-FAB:
      match: {macaddress: “e4:1d:2d:7a:f1:c1”}
      addresses: [173.0.0.10/30]

netplan 適用コマンド

# 設定テスト（120秒後に自動ロールバック）
netplan try

# 問題なければ永続適用
netplan apply

# 設定確認
ip addr show
ip route show

⚠️ 重要: netplan try を使用すると、ネットワーク切断時に自動的にロールバックされます。必ず try → apply の順で実行してください。

LACP/Bond 動作確認

R640 bond0/bond1 確認

# Bond状態確認
cat /proc/net/bonding/bond0
cat /proc/net/bonding/bond1

# 期待される出力:
# Bonding Mode: IEEE 802.3ad Dynamic link aggregation
# MII Status: up
# Currently Active Slave: enp24s0f0
# Slave Interface: enp24s0f0
#     MII Status: up
# Slave Interface: enp24s0f1
#     MII Status: up

Supermicro Po2 確認

# Bond状態確認
cat /proc/net/bonding/Po2

# ethtool でリンク速度確認
ethtool Po2 | grep Speed

Cisco スイッチ設定確認

12XS LACP確認

# Port-Channel確認
show etherchannel summary

# 個別ポート確認
show interfaces Te2/0/5 status
show interfaces Te2/0/6 status

# VLAN確認
show vlan brief

48T LACP確認

# Port-Channel確認
show etherchannel summary

# Po1（12XS接続）確認
show interfaces Port-channel1

# VLAN10閉域確認（48T内完結）
show vlan id 10

RTX1300 確認コマンド

# WAN接続確認
show status lan3

# NAT設定確認
show nat descriptor address outer

# フィルタ確認
show ip filter

# IPv6 DHCP-PD確認
show status ipv6 lan2 dhcp

# ルーティング確認
show ip route

# 設定保存
save

# 設定バックアップ（microSDへ）
copy config0 sd1:/config-backup-20260330.txt