Logo

Personal Ops Runbook

Personal runbook covering infrastructure operations for Cloud, Kubernetes, OpenStack, and Ceph environments. Includes deployment and teardown procedures, node management, cluster monitoring setup, and incident response workflows compiled from day-to-day operational work. Intended strictly for personal reference — configurations and scripts are environment-specific and not guaranteed to work as-is elsewhere.

Auto Revive

Mục lục


Lightbits hỗ trợ auto revive cho service ở mức node. Nếu node-manager ngừng hoạt động hoặc các frontend process bị treo — hoặc khi phát hiện một kernel bug — server sẽ được reboot và các service Lightbits sẽ được khởi động lại.

Tính năng auto revive sẽ thử tối đa hai lần auto revive trong khoảng thời gian hai giờ. Số lần thử và khoảng thời gian này có thể được thay đổi bằng API update cluster config.

Để auto revive hoạt động đúng, cần sinh và lưu một số file cục bộ. Theo mặc định, các file này được đặt tại /var/cache/node-manager. Tuy nhiên, chúng có thể được đặt ở bất kỳ đường dẫn nào trên server bằng cách cập nhật file yaml của node-manager: nodeManagerAutoReviveDir: /var/cache/node-manager. Sau đó có thể restart service.

clusterconfig

AllowedNumRevives: Số lần thử revive các service trong một khoảng thời gian xác định (mặc định được đặt là 2; giá trị 0 sẽ tắt tính năng này).

RevivesWindowDuration: Khoảng thời gian dùng để theo dõi số lần thử auto revive (mặc định được đặt là hai giờ).

lbcli -J $JWT update cluster-config --parameter=AllowedNumRevives --value=3
lbcli -J $JWT update cluster-config --parameter=RevivesWindowDuration --value=3h

// disable auto revive
lbcli -J $JWT update cluster-config --parameter=AllowedNumRevives --value=0

Nguồn: https://documentation.lightbitslabs.com/lightbits-private-cloud/auto-revive


Nguồn tham khảo

  1. Auto Revive — https://documentation.lightbitslabs.com/lightbits-private-cloud/auto-revive

Ghi chú về nguồn

  • URL fetch thành công. Trang thuộc phiên bản 3.20.x, mục Lightbits Administration Guide.
  • Cấu trúc heading giữ nguyên 1:1: H1 Auto Revive và một mục ## clusterconfig.
  • Bản gốc có câu "these are are placed at..." (lặp từ "are"); bản dịch truyền đạt đúng ý mà không tái tạo lỗi gõ ở phần văn xuôi.
  • Comment // disable auto revive nằm trong code block nên được giữ nguyên như bản gốc.