Logo

Personal Ops Runbook

Personal runbook covering infrastructure operations for Cloud, Kubernetes, OpenStack, and Ceph environments. Includes deployment and teardown procedures, node management, cluster monitoring setup, and incident response workflows compiled from day-to-day operational work. Intended strictly for personal reference — configurations and scripts are environment-specific and not guaranteed to work as-is elsewhere.

📁 Storage/lightbits

Storage/Lightbits/Documentation

📝 Adding A New Server
Adding a New Server — Thêm server mới Mục lục Adding a New Server — Thêm server mới Example if Deployed via Ansible — Ví dụ khi triển khai bằng Ansible Example if…
📝 Adding SSDs
Adding SSDs — Thêm SSD Mục lục Adding SSDs — Thêm SSD Bước 1 — Liệt kê các data SSD trước khi lắp SSD mới Bước 1 (tiếp) — Lắp SSD mới Bước 2 — Chạy lại lệnh lbcli list…
📝 Auto Revive
Auto Revive Mục lục Auto Revive clusterconfig Nguồn tham khảo --- Lightbits hỗ trợ auto revive cho service ở mức node. Nếu node-manager ngừng hoạt động hoặc các frontend…
📝 Dynamic Rebalancing
Dynamic Rebalancing Nguồn: Lightbits Private Cloud Administration Guide (3.19.x / 3.20.x) Fail in Place Khi chế độ fail in place được kích hoạt, Lightbits cluster sẽ cố…
📝 Failure Domains
Failure Domains Nguồn: Lightbits Private Cloud Administration Guide (3.19.x / 3.20.x) --- Trong một data center, failure domain (FD) là một nhóm tài nguyên có khả năng…
📝 Identifying A Failed SSD Drive
Identifying a Failed SSD Drive — Xác định ổ SSD bị lỗi Mục lục Identifying a Failed SSD Drive — Xác định ổ SSD bị lỗi Bước 1 — Kiểm tra trạng thái các device Bước 2 —…
📝 Identifying A Node Failure In A Lightbits Cluster
Identifying a Node Failure in a Lightbits Cluster — Xác định sự cố node trong Lightbits cluster Mục lục Kiểm tra protection state của volume Xác định node bị lỗi bằng…
📝 IP ACL Configuration
IP ACL Configuration — Cấu hình IP ACL Mục lục IP ACL Configuration — Cấu hình IP ACL Examples — Các ví dụ Nguồn tham khảo --- Ngoài tham số ACL sẵn có dùng với lệnh…
📝 Lightbits Private Cloud
Lightbits Private Cloud Mục lục Creating a Volume — Tạo một Volume Creating a Compressed Volume — Tạo volume có bật compression List Details About the Newly Created…
📝 Lightbits Private Cloud — Evicting Data
Lightbits Private Cloud — Evicting Data (Technology Preview) Mục lục Evicting Data (Technology Preview) — Evict dữ liệu (bản xem trước công nghệ) Additional…
📝 Multi Tenancy CLI
Multi-Tenancy CLI Mục lục Multi-Tenancy CLI Multi-Tenancy and Lightbits — Multi-tenancy và Lightbits Key Features — Các tính năng chính "Projects" (tenants) support — Hỗ…
📝 QoS IOPS Limiting Pure IOPS
QoS IOPS Limiting - Pure IOPS Mục lục QoS IOPS Limiting - Pure IOPS Pure IOPS Overview — Tổng quan về Pure IOPS Enabling Pure IOPS — Bật Pure IOPS Example: IOPS Limit…
📝 Quality Of Service (QoS)
Quality of Service (QoS) Mục lục Quality of Service (QoS) Sample Command Sample Output Defining Thresholds — Định nghĩa các ngưỡng Nguồn tham khảo --- QoS dựa trên…
📝 Snapshot Và Clone
Snapshots and Clones — Snapshot và Clone Mục lục Giới thiệu Plugins Rollback Snapshots and Clone Commands — Các lệnh cho snapshot và clone Nguồn tham khảo --- Với…
📝 Volume Placement
Volume Placement — Đặt vị trí volume Mục lục Volume Placement — Đặt vị trí volume Volume Assignments — Cách gán volume Nguồn tham khảo --- Với Volume Placement, bạn có…
📝 Volume Resizing Và Discovery Client
Lightbits Private Cloud — Volume Resizing và Discovery-client (bản dịch tiếng Việt) Mục lục Volume Shrinking and Expansion — Thu nhỏ và mở rộng volume Volume Expansion —…

Storage/Lightbits/Hands On

📝 [Phần 0] Fist Setup
Clean old bond if need Network config Verify Set hostname and proxy for yum.conf Note lab
📝 [Phần 1] Deploy
BƯỚC 0 — Tắt repo online trên node BƯỚC 1 — Verify + bung kit Verify kit integrity Kỳ vọng lightos-offline-kit.tar.gz: OK Extract kit BƯỚC 2 — Dựng bundle RPM và Ansible…
📝 [Phần 2] Management
Bước 1 — Cài lbcli offline từ kit Trỏ cả thư mục (21 RPM = lbcli + deps) để dnf tự cài deps offline Nếu conflict glibc (kit có glibc mới hơn hệ thống), thêm --nobest:…
📝 [Phần 4.1] Add New Server By Ansible
Yêu cầu 3 điều kiện: giữ nguyên settings Ansible gốc + generated files, master jwt chung giữa các node và chạy từ thư mục đã extract light-app — hiện tại có đủ cả 3…
📝 [Phần 4.2] Add New Server By Cli
9.8 - Add node bằng tay vào cluster Lightbits Label Node Role --- --- --- [ADMIN] vm-admin-01 giữ bundle RPM, CA + JWT, chạy lbcli [NEW] node mới (vd 10.237.94.105 /…
📝 [Phần 5] Offline KIT
BUILD LIGHTOS OFFLINE KIT — cần internet, chạy 1 lấn Biến môi trường proxy Tạo các thư mục ====== 01-repo : RPM Lightbits + deps ====== ====== 02-ansible : bo deploy GOC…
📝 [Phần 6] Remove A Single Server
Xóa node khỏi cluster Điều kiện Cluster phải có ≥ 4 server (dưới 4: liên hệ Lightbits Support). Gate của delete server: node phải ở trạng thái Unattached . Delete sớm sẽ…
📝 [Phần 7] Remove Multiple Servers
BƯỚC 1 — Dừng service + gỡ package + xóa jwt/CA cũ trên node Kỳ vọng mỗi node leftover jwt: 0, etcd ssl left: 0, packages clean. BƯỚC 2 — Reboot toàn bộ node để nó nhả…
📝 [Phần 8] Quy Trình Thay Disk Data
Quy trình thay DISK DATA Node 05 đang có 6 Data + 2 Journal đều Healthy ở server 35b83b77-a97d-43a5-8325-39f84ac67605 (oss-nvme-05). Giờ giả lập rút disk khỏi bus PCI…
📝 [Phần 9] Quy Trình Thay Disk Journal
Quy trình thay DISK JOURNAL Trong docs có nói thẳng một sự thật quan trọng: journal hỏng không có quy trình thay nóng như data disk . Căn cứ từ trang SSD Journaling: Với…
📝 [Phần 10] Deploy Client
Lightbits Client Mục tiêu: Cài đặt oss-nvme-06 thành client NVMe/TCP Thông tin --- --- Client oss-nvme-06 — mgmt 10.237.94.106, data 10.237.95.106 Storage data IP…
📝 [Phần 12.1] Monitoring
BƯỚC 0 - Xác nhận kit có file monitoring-docker-images.tar: BƯỚC 1 — Xóa sạch monitoring cũ (container + volume + config + image) Kỳ vọng containers 0, volumes 0, images…
📝 [Phần 12.2] Node Exporter
Tìm thư mục mount config Hoặc sử dụng find Xem nội dung file /var/lib/monitoring-clustering/prometheus/prometheus.yml Set proxy Cài đặt Node Exporter
📝 Tái Sinh 1 Node Data
9.10 — Diễn tập "node chết, đưa node dự phòng vào thay" (04 thế chỗ 05) Kịch bản production thật: oss-nvme-05 chết vì journal (node Unattached, record SSD Failed, không…