クラウドネイティブ × 持続可能なセルフサービス型データ分析ジョブプラットフォームの設計プラクティス Tweet

Track C 2021/11/04 15:20-16:00

リクルートにおけるデータ活用の多様化とデータによる意思決定を加速させるためには、それを支える汎用的なデータプラットフォームが必要です。これらを実現するために我々のチームではセルフサービス型のジョブプラットフォームを開発・運用しています。セルフサービス型ジョブプラットフォームとは、プラットフォーム開発者を介することなく、データサイエンティストやデータプランナーが自由にデータを処理するためのジョブを開発・運用できるようにするための社内向け PaaS です。本セッションでは基盤の安定性と開発効率・データ活用のアジリティを高める設計思想と GoogleCloud/Kubernetes/ApacheAirflow2 などを利用した実装詳細、運用知見をご紹介します。