Hướng dẫn triển khai Proxmox VE Multi-Tenancy với Ceph, SDN và HA

Tài liệu hướng dẫn triển khai Proxmox VE 3 node theo mô hình multi-tenancy, có cluster, VLAN-aware bridge, SDN, Ceph, HA, Pool, User và Permission cho từng tenant.

1. Cài Proxmox VE cho 3 node

Mô hình tham chiếu dùng 3 node Proxmox:

1. Gắn ISO Proxmox VE 9.x qua iLO hoặc USB boot.
2. Chọn Install Proxmox VE.
3. Chọn đúng SSD dành cho OS. Không chọn nhầm ổ Ceph SSD/HDD.
4. Filesystem: ext4 để ổn định, hoặc ZFS RAID0 nếu muốn snapshot tốt hơn.
5. Đặt root password đủ mạnh và email quản trị.
6. Cấu hình hostname/IP/gateway theo bảng trên.
7. Cài xong reboot và đăng nhập console bằng root.

Cấu hình bridge VLAN-aware cho management

auto lo
iface lo inet loopback

iface nic0 inet manual

auto vmbr0
iface vmbr0 inet manual
    bridge-ports nic0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094

auto vmbr0.50
iface vmbr0.50 inet static
    address 172.16.50.20/24
    gateway 172.16.50.1

Với node2/node3, đổi IP thành 172.16.50.21 và 172.16.50.22.

ping -c 4 172.16.50.1
# Web UI
https://172.16.50.20:8006

2. Tạo Proxmox Cluster

1. Trên node1 vào Datacenter → Cluster.
2. Chọn Create Cluster.
3. Cluster Name: XROAD.
4. Cluster Network: chọn mạng MGMT. Production nên có đường dự phòng cho HA/corosync nếu thiết kế cho phép.
5. Sau khi tạo xong, vào Join Information và copy thông tin join.
6. Trên node2/node3 vào Datacenter → Cluster → Join Cluster.
7. Nhập password node1 và chọn IP MGMT của từng node.
8. Join xong reload node1, thấy 3 host dưới Datacenter là thành công.

3. Cấu hình Network, VLAN và SDN

Cấu hình LACP uplink và bridge VLAN-aware

# LACP uplink
auto bond0
iface bond0 inet manual
    bond-slaves nic1 nic2
    bond-miimon 100
    bond-mode 802.3ad

# Bridge VLAN-aware
auto vmbr1
iface vmbr1 inet manual
    bridge-ports bond0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 10 20 30 40 50

# Ceph public network
auto bond0.10
iface bond0.10 inet static
    address 172.16.10.22/24

VLAN mapping tham chiếu

Tạo SDN Zone và vNET

1. Vào Datacenter → SDN → Zones → Create.
2. Tạo zone: RAPBANK và TELTEC.
3. Vào Datacenter → SDN → vNET → Create.
4. Ví dụ: Name RBvLAN30, Alias APP, Zone RAPBANK, Tag 30.
5. Tạo tương tự các VLAN còn lại cho RAPBANK/TELTEC.

4. Cài và cấu hình Ceph

1. Trên từng node vào Node → Ceph → Install.
2. Chọn repository no-subscription nếu môi trường không dùng enterprise repo.
3. Vào Datacenter → Ceph → Configuration → Init.
4. Public Network: 172.16.10.0/24.
5. Cluster Network: 172.16.20.0/24.
6. Tạo MON và MGR trên node2/node3 để đủ HA.

Chuẩn bị disk trước khi tạo OSD

# kiểm tra disk
lsblk
# nếu disk từng dùng, cần clean cẩn thận
wipefs -a /dev/sdX
sgdisk --zap-all /dev/sdX
# verify lại
lsblk -f

Tạo pool SSD/HDD và add storage

1. Tạo CRUSH rule cho SSD và HDD nếu cần tách loại ổ.
2. Tạo pool pool-ssd: size 2, min size 1, PG 128, crush rule SSD.
3. Tạo pool pool-hdd: size 2, min size 1, PG 128, crush rule HDD.
4. Vào Datacenter → Storage → Add → RBD.
5. Add pool-ssd và pool-hdd.

Tạo CephFS để lưu image/ISO nếu cần

1. Node1 → Ceph → CephFS.
2. Tạo Metadata Server trên 3 node.
3. Create CephFS.
4. Datacenter → Storage → Add → CephFS.

5. Bật HA

1. Vào Datacenter → HA.
2. Enable HA.
3. Add VM quan trọng vào HA.
4. Kiểm tra VM có thể restart trên node khác khi node lỗi.

HA chỉ có ý nghĩa khi storage/network/cluster hoạt động ổn định. Đừng bật HA khi Ceph health đang lỗi.

6. Multi-tenancy trên Proxmox

Tạo Resource Pool

1. Vào Datacenter → Pools.
2. Create Pool: RAPBANK.
3. Create Pool: TELTEC.

Tạo user local

1. Vào Datacenter → Permissions → Users.
2. Add user: user_rb@pve.
3. Add user: user_tt@pve.

Gán quyền theo Pool

Đưa VM vào Pool

1. Chọn VM cần gán.
2. Vào Options.
3. Dòng Pool → Edit → chọn RAPBANK hoặc TELTEC.
4. Đăng nhập bằng user tenant để kiểm tra VM có hiện đúng phạm vi không.

7. Bài test nghiệm thu

8. Checklist triển khai

9. Lỗi thường gặp