2024年3月4日サービス障害のご報告

概要

2024年2月28日 8時50分から20時34分の間、コモレビが提供する配信メール機能において、メールの送信処理に遅延が発生し、一部のメールの送信が行われない不具合が発生いたしました。
その後2024年2月29日 19時55分に、Google Cloud Platform 上におけるメール配信プロセスの修正を行い、当該事象の原因は解消しております。
ご利用のユーザー様には、ご迷惑とご不便をおかけいたしましたことを心よりお詫び申し上げます。
また、事実関係の確認と対策の実施に時間を要したことで、ご報告が遅れたことにつきましても、重ねてお詫び申し上げます。
なお、今回発生した障害につきましては、下記をご覧ください。

発生時間帯

2024年2月28日 8時50分〜2024年2月28日 20時34分

影響範囲

コモレビサービス (https://app.cmrb.jp)の配信メール管理機能

原因

コモレビにおけるメール配信は、Google Cloud Platformの機能を利用しており、CloudTaskからCloudRunにメールを受け渡し、CloudRunがメールを送付することで行われています。
障害発生時、コモレビ全体での一定時間あたりのメールの予約数がCloudRunの受け入れ上限数を超過してしまったため、CloudTaskからCloudRunへのメールの受け渡し処理が失敗するケースが複数発生しました。
受け渡し処理が失敗したメールは、時間を置いて再度CloudRunへの受け渡し処理が実行されましたが、一部のメールにつきましては、受け渡し処理の回数がリトライ上限数を超えたため、受け渡しの処理が中止されました。
このような事象の発生により、メールの送付が遅延し、一部のメールについては配信が行われない結果となりました。

対応

2024年2月28日
08時50分　　　　障害発生
20時34分　　　　CloudRun上の全てのメールの処理が完了し、障害が収束

2024年2月29日
19時17分　　　　一部のテナントで正常にメールを送付できていないことを確認
19時17分　　　　調査開始
19時55分　　　　対策となる修正の適用を開始
20時37分　　　　障害によりメールの配信が行われなかった全てのお客様へ、お詫びのメールを送付
21時09分　　　　対策となる修正の適用が完了

2024年3月1日
11時47分　　　　配信メール機能におけるメールの処理が正常に行われていることを確認