『データの重力』に逆らわない。S3×BigQuery Omniで実現するデータ移動ゼロの論理統合基盤

AWSにある数PBのデータをGoogle CloudのAIで分析したい。
この要求に対し、高額なEgressコストと物理転送の壁が立ちはだかります。
ETLでデータをコピーし続けることは、鮮度劣化とガバナンス複雑化を招く負債の始まりに過ぎません。

本セッションでは、弊社がエンタープライズ案件で実践する、物理的なデータ移動を排除した論理統合アーキテクチャを解説します。
理想論ではなく、コストとレイテンシのトレードオフをハックした記録です。

具体的には以下の3点をDeep Diveします：

クロス・クラウド認証設計：AWS IAMとGoogle Service Accountをキーレスかつセキュアに連携するWorkload Identityの実装パターン。

遅延との戦い：コンピュート(BigQuery)とストレージ(S3)が分離した環境下での、ベンチマーク結果とパーティショニング戦略。

損益分岐点分析：転送すべきか、現地で計算すべきかを判断するための、コスト対効果の数理モデル提示。

マルチクラウドを真に"Scaling Together"するための現実的な設計図を共有します。