Logo

Personal Ops Runbook

Personal runbook covering infrastructure operations for Cloud, Kubernetes, OpenStack, and Ceph environments. Includes deployment and teardown procedures, node management, cluster monitoring setup, and incident response workflows compiled from day-to-day operational work. Intended strictly for personal reference — configurations and scripts are environment-specific and not guaranteed to work as-is elsewhere.

Identifying a Failed SSD Drive — Xác định ổ SSD bị lỗi

Mục lục


Khi EC được bật, phần mềm Lightbits cho phép các IO tiếp tục chạy không gián đoạn trong trường hợp một SSD bị lỗi. Có ba giá trị trạng thái drive khi xử lý sự cố ổ đĩa.

Drive Status Mô tả
Healthy SSD đang hoạt động bình thường.
Rebuilding SSD đã bị lỗi và quá trình tái tạo dữ liệu đang diễn ra.
Failed Quá trình tái tạo dữ liệu đã hoàn tất. Bạn có thể tháo SSD lỗi và lắp SSD mới.

Bước 1 — Kiểm tra trạng thái các device

  1. Kiểm tra trạng thái các device bằng lệnh lbcli list nvme-devices để xem có SSD nào bị lỗi và đang trong quá trình EC rebuilding hay không.

Sample Command

$ lbcli list nvme-devices | egrep "Failed|Rebuilding"

Lưu ý: Flag -J đặt sau lbcli cho biết JWT không được lưu trong file cấu hình của lbcli.

Sample Output

Name Size Serial State Server UUID Node UUID Usage
nvme1n1 4T 7000SZ450RGN Rebuilding fc9849f7-7380-48d8-904b-48a89c4da7a0 fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb Data

Trong ví dụ này, output cho thấy một SSD đã bị lỗi và hiện đang trong quá trình tái tạo dữ liệu.

Lưu ý: Vì ví dụ này không dùng flag --node-uuid hay --server-uuid, output hiển thị tất cả các SSD bị lỗi trên toàn bộ cluster. Bạn có thể lọc theo node hoặc server cụ thể bằng các flag này. Khi quá trình tái tạo dữ liệu hoàn tất và trạng thái SSD chuyển thành Failed, SSD đó không còn được node nào quản lý và không còn gắn với node UUID nào.

Bước 2 — Theo dõi tiến trình rebuild

  1. Để theo dõi tiến trình rebuild của một SSD bị lỗi, dùng lệnh lbcli get node với flag --node-uuid cho Lightbits node đang quản lý SSD lỗi đó.

Sample Command

$ lbcli get node --uuid=fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb

Lưu ý: Flag -J đặt sau lbcli cho biết JWT không được lưu trong file cấu hình của lbcli.

Sample Output

UUID: fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb
clusterManagerMode: PassiveMode
ec: true
failureDomains: - rack08
hostname: rack08-server62
maxNvmeDevices: 12
name: server02-0
nvmeEndpoint: 10.17.51.7:4420
state: Active
inLocalRebuild: true
localRebuildProgress: 53
journalDeviceNotFound {}

Bước 3 — Kiểm tra lại trạng thái device

  1. Kiểm tra lại trạng thái các device bằng lệnh lbcli list nvme-devices để xem trạng thái của SSD lỗi đã chuyển từ Rebuilding sang Failed hay chưa. Nếu trạng thái đã thay đổi, quá trình rebuild đã hoàn tất.

Sample Command

$ lbcli list nvme-devices --node-uuid=fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb

Lưu ý: Flag -J đặt sau lbcli cho biết JWT không được lưu trong file cấu hình của lbcli.

Sample Output

Name Size Serial State Server UUID Node UUID Usage
nvme0n1 4T 700084450RGN Healthy fc9849f7-7380-48d8-904b-48a89c4da7a0 fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb Data
nvme1n1 4T 7000SZ450RGN Failed fc9849f7-7380-48d8-904b-48a89c4da7a0 --- Data
nvme2n1 4T 7000UM450RGN Healthy fc9849f7-7380-48d8-904b-48a89c4da7a0 fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb Data
nvme3n1 4T 7000V9450RGN Healthy fc9849f7-7380-48d8-904b-48a89c4da7a0 fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb Data
nvme4n1 4T 910005450RGN Healthy fc9849f7-7380-48d8-904b-48a89c4da7a0 fb9c7b76-22f2-4fcf-af1a-70933c1dd3fb Data

Để thay thế device bị lỗi, hãy làm theo các bước trong Adding an NVMe SSD to a Lightbits Storage Server.

Nguồn: https://documentation.lightbitslabs.com/lightbits-private-cloud/identifying-a-failed-ssd-drive


Nguồn tham khảo

  1. Identifying a Failed SSD Drive — https://documentation.lightbitslabs.com/lightbits-private-cloud/identifying-a-failed-ssd-drive

Ghi chú về nguồn

  • URL fetch thành công. Trang này hiển thị nhãn phiên bản 3.19.x (khác với phần lớn các trang khác đang ở 3.20.x), mục Lightbits Administration Guide.
  • Bản gốc chỉ có H1 và các heading #### Sample Command / Sample Output; toàn bộ nội dung là danh sách các bước 1–3. Để tạo mục lục có anchor link theo yêu cầu, bản dịch bổ sung heading ## phân tách đúng theo các bước có sẵn, không đổi thứ tự hay nội dung.
  • Bản gốc dùng nhãn "Note"; được dịch thành > **Lưu ý:**.