Cloudflare
- Cloudflare で働いている人大変そう.
- 割りと落ちている気がする
- Downdetector
- Discord, アークナイツ, Vimeo, pixiv, npm, VRChat, GitLab
- Slack, Youtube, GitHubは無事
- LINE社はprivate registryにキャッシュがあって耐えているらしい
- The Cloudflare Blog
- post motem多すぎる Post Mortem - The Cloudflare Blog
- 今回の反省: Cloudflare outage on June 21, 2022
- 今回は自分たちのミスらしい
- flexibility, resilient 高めたいので Multi-Colo PoP というアーキテクチャにしてルーティングのレイヤを増やそうとしていた
- BGP
03:56 UTC。最初の拠点に変更を導入しました。どの拠点も古いアーキテクチャを使用しているため、この変更による影響はありません。
06:17: この変更は、最も忙しい拠点に展開されましたが、MCPアーキテクチャを使用している拠点には展開されませんでした。
06:27: ロールアウトが MCP 対応の拠点に到達し、変更が背骨に展開されました。このときから、この19の拠点がオフラインになり、事件が発生しました。
06:32: Cloudflareの内部インシデントが宣言されました。
06:51: 根本原因を確認するため、ルーターに初めて変更を加えました。
06:58: 根本的な原因を発見し、理解しました。問題のある変更を元に戻す作業を開始。
07:42: 最後の差し戻しが完了しました。これは、ネットワークエンジニアが互いの変更の上を歩き、前の戻した変更を戻したため、問題が散発的に再表示されたため、遅れました。
08:00: インシデントが終了しました。
! term REJECT-THE-REST { ... }
のせいでCloudflareのサーバーがoriginサーバーに到達できなくなったらしい