Logo

Personal Ops Runbook

Personal runbook covering infrastructure operations for Cloud, Kubernetes, OpenStack, and Ceph environments. Includes deployment and teardown procedures, node management, cluster monitoring setup, and incident response workflows compiled from day-to-day operational work. Intended strictly for personal reference — configurations and scripts are environment-specific and not guaranteed to work as-is elsewhere.

Identifying a Node Failure in a Lightbits Cluster — Xác định sự cố node trong Lightbits cluster

Mục lục


Phần mềm Lightbits cluster liên tục giám sát tình trạng và khả năng kết nối của các node trong cluster, đồng thời phản ứng lại các thay đổi về trạng thái node.

Nếu một node gặp sự cố, các volume có dữ liệu lưu trên node đó có thể bị ảnh hưởng. Với volume có replication factor bằng 3, một node lỗi có thể khiến protection state của volume chuyển sang Degraded. Nếu thêm một node nữa lỗi, trạng thái của volume có thể chuyển sang ReadOnly.

Với volume có replication factor bằng 2, chỉ một node lỗi cũng có thể khiến volume chuyển sang ReadOnly.

Trong trường hợp tất cả các node giữ replica của một volume đều lỗi, volume sẽ trở thành Inaccessible.

Kiểm tra protection state của volume

Bạn có thể xem protection state của volume bằng lệnh lbcli list volumes.

Sample Command

$ lbcli list volumes

Ở dạng lệnh dưới đây, JWT không được lưu trong file cấu hình của lbcli:

$ lbcli -J $JWT --project-name=<Project Name> list volumes

Sample Output

Name UUID Protection State State Size Replicas ACL
vol1 76c3eae8 FullyProtected Created 200 GiB 3 values:"acl1"
vol2 3f3c3ad2 Degraded Created 200 GiB 3 values:"acl2"
vol3 8700cba8 ReadOnly Created 200 GiB 2 values:"acl3"

Như bạn thấy trong output, vol2vol3 không ở protection state FullyProtected.

Xác định node bị lỗi bằng lbcli list nodes

Giờ bạn có thể dùng lệnh lbcli list nodes để xác định node nào đã bị lỗi. Trong output của lệnh này, bạn sẽ thấy một trong các trạng thái node sau:

Node state Mô tả
Activating Node đang được kích hoạt và hiện chưa thể phục vụ IO. Trạng thái này có thể xảy ra sau khi node được kết nối lại vào mạng, khi node vừa khởi động lại, hoặc khi phục hồi từ bất kỳ trạng thái lỗi nào khác. Sau khi kích hoạt xong, trạng thái node chuyển sang Active.
Active Node đang hoạt động và có thể phục vụ IO.
Deactivating Đã phát hiện sự cố node, và phần mềm Lightbits cluster đang thay đổi vai trò của các node khác trong cluster để giữ cho dữ liệu vẫn truy cập được.
Inactive Node không hoạt động.

Sample Command

$ lbcli list nodes

Lưu ý: Flag -J đặt sau lbcli cho biết JWT không được lưu trong file cấu hình của lbcli.

Sample Output

NAME UUID State NVME-Endpoint
server00-0 192af7c0-d39f-4872-b849-7eb3dc0f7b53 Active 10.23.26.13:4420
server01-0 1f4ef0ce-0634-47c7-9e5f-d4fd910ff376 Active 10.23.26.8:4420
server02-0 6d9b8337-18cd-4b14-bea1-f56aca213d68 Inactive 10.23.26.4:4420
server03-0 912736af-bbc5-45c5-ba22-901eea9f9fde Active 10.23.26.29:4420 server04-0 dc3ee1b5-0625-4a4c-b627-76fbd66db74c Active 10.23.26.7:4420
server05-0 e157c1a2-701b-403b-bb73-e0c1f4be0096 Active 10.23.26.5:4420

Nguồn: https://documentation.lightbitslabs.com/lightbits-private-cloud/identifying-a-node-failure-in-a-lightbits-cluster


Nguồn tham khảo

  1. Identifying a Node Failure in a Lightbits Cluster — https://documentation.lightbitslabs.com/lightbits-private-cloud/identifying-a-node-failure-in-a-lightbits-cluster

Ghi chú về nguồn

  • URL fetch thành công. Trang thuộc phiên bản 3.20.x, mục Lightbits Administration Guide.
  • Bản gốc chỉ có H1 và các heading #### Sample Command / Sample Output, không có heading ## nào. Để tạo mục lục có anchor link theo yêu cầu, bản dịch bổ sung hai heading ## phân tách theo đúng hai phần nội dung sẵn có, không đổi thứ tự hay nội dung.
  • Trong Sample Output cuối, bản gốc có lỗi trình bày: dòng của server03-0server04-0 bị dính vào cùng một dòng. Nội dung được giữ nguyên 100% theo bản gốc.
  • Bản gốc dùng nhãn "Note"; được dịch thành > **Lưu ý:**.