データ基盤エンジニア Youtubeデータ取得バッチ基盤リファクタリングおよびdbt移行業務

ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わって頂きます。目的はStepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行し、バッチシステムからdbt部分の分離、既存運用負荷軽減・可読性向上です。業務内容はYoutubeの既存バッチの保守、StepFunction管理dbtの分離、既存バッチの処理フローの整理、新バッチ開発です。