データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。技術要素(★が特に重要) GoogleCloud ★CloudComposer2（及びAirflow2） ★CloudDataproc（ApacheSpark(scala)） CloudBuild CloudStorage BigQuery CloudMonitoring/CloudLogging AWS ★Kinesisfirehose ★SQS/SNS ★ECS ★Lambda ECR S3 CloudWatch その他 GithubActions Terraform

〜¥1,000,000 /月 分析基盤エンジニア リモート/在宅 東京都 流通・小売・EC

・データモデリング力とバッチ設計能力が高い方 ・Pythonを利用したデータ分析／開発経験 ・高度なSQL（CTE、副問い合わせ、Window関数の利用など）の知識 ・AWS、GCPいずれかのクラウドサービスの開発及び運用経験 ・Linux/ネットワークの基礎知識

下記GCPサービスの利用経験 ・BigQuery ・CloudComposer ・Cloudfunctions ・Cloudlogging ・データマネジメントに関する基本的な知識 ・データモデリングの経験、DWHの構築・運用に関する知識 ・大規模データ取り扱いに関する知識 ・CI/CDの構築・運用に関する知識 ・データ分析システムのパフォーマンス/コストチューニングの知識

1回