watchdog でフリーズ時自動再起動するようにする

この手の tech 系の記事は AI のおかげで需要がなくなってきているかと思いますが、成功事例を載せておくのは変わらず価値があることかと思うので残しておきます。

 

環境

マザーボード : Supermicro X11SSV-Q (NCT6776)
OS : Rocky Linux 8.10

仮にカーネルがフリーズしたとしても再起動してくれるようにしましょう。

このマザーボードの場合はジャンパーピンで watchdog の設定(有効/無効等)ができます。有効になっているものとして進めます。

 

 

ドライバのロード

ドライバをロードします

このマザーボードの場合のドライバは 「w83627hf_wdt」 のようです。 early_disable=1 を指定すると、Watchdog が既に動作していれば、一旦停止してくれるようです。まず設定の際はこれが無難でしょう。

 

これで watchdog, watchdog0 が表示されるようになればOKです。

 

 

テスト

とりあえず1回実際に動かしてみましょう。

テスト用の systemd を作り稼働させてみます。

 

数回コマンドを実行してみます。60 から減り、 定期的に 60 に戻って再カウントすることが確認できればOK。

感覚的にはハード的に60秒経ったら再起動するように設定し、ソフト的に定期的にカウントを60に戻す、ということをします。OS側がフリーズしてソフト側がカウントをリセットできなくなったら再起動されるということですね。

 

次にカーネルを止めてみましょう。その前に

kdump を一時的に止めて watchdog のみ有効にして正確にテストできるようにします。

 

意図的にカーネルパニックを起こします。約60秒後に自動で再起動されれば成功です。

 

 

手動起動

テストに成功したら、本格運用に切り替えましょう。何かミスがあったら起動後60秒で再起動ループになってしまうので、手動起動の運用が無難だと思います。

起動スクリプトを作りましょう。

 

先ほどやったことをまとめただけですが…。

 

実行権限を付けて、あとは有効にしたいときに実行するだけです。

 

あとは実行するだけ。

 

 

自動起動化

手動起動は面倒、起動時に自動で実行したい場合。

まずは起動時に自動でドライバをロードするようにします。

 

次に systemd に登録します。

 

有効化。

 

一度再起動してみましょう。

 

再起動後、これで active と表示されればおしまい。

 

もしうまく設定されず再起動ループになってしまった場合は、ジャンパピンなり BIOS の設定なりで watchdog を無効にしてから調査しましょう。

コメント

タイトルとURLをコピーしました