概要

本日 18時10時頃から、コモレビが提供する配信以外の機能において接続が不安定になる事象が発生いたしました。
同日18時45分には、コモレビサービスについて当該事象は解消しております。
ご利用のユーザー様には、ご迷惑とご不便をおかけしたこと、心よりお詫び申し上げます。
なお、今回発生した事象につきましては、下記をご覧ください。

発生時間帯

2022年7月31日 18時10分〜18時45分

影響範囲

コモレビサービス（ https://app.cmrb.jp )の配信以外の機能全て

原因

無停止リリース作業において、 Kubernetes の Pods に対してローリングアップデートを実施しましたが、負荷による影響で Node のスケールアウト／インが裏側で自動で走り、接続が不安定になっておりました。

対応

18時10分　　　　監視ツールよりアクセスがしづらい事象を確認
18時10分　　　　調査開始
18時30分　　　　原因特定
18時30分　　　　Node を安定化させた後、Podsの数を戻す作業を実施
18時45分　　　　全ての Pods に異常がないことを確認
18時45分　　　　コモレビサービスの動作が問題ないことを確認

対策

• Node のスケールアウト／イン設定見直し
• Pod の再起動ポリシー見直し
• 無停止リリースの手順見直し
• アプリケーションのタイムアウト値を変更