秒間30万リクエストを捌くオンプレ広告配信システムのKubernetes移行

マイクロアドでは、秒間30万リクエストを50ms以内に捌く広告配信基盤をオンプレミスで運用しており、現在インフラチームでKubernetes化に取り組んでいます。

K8s化にあたって、オンプレミス特有の制約やパフォーマンス要求から、次のような課題に直面しました。
・ネットワークの制約：既存ロードバランサの設定を維持したまま、ベアメタル環境と同等のL3DSR（Direct Server Return）を実現したい。
・負荷分散の課題：柔軟なラック配置を前提とした際、素朴なType LoadBalancerで払い出したVIP宛通信ではECMPによるトラフィック分散が難しい。
・サーバ性能差の問題：多様なスペックのサーバが混在する環境において、レスポンス時間のブレを抑えるためハードウェアをピンニングしたい。

本セッションでは、これらの課題をいかにして乗り越えたか、そのアーキテクチャ設計を紐解きます。オンプレFull L3環境（Routing on the Host）におけるK8s設計のノウハウをはじめ、高トラフィックを支えるチューニングや、eBPFの活用について詳解します。