【Python/BigQuery】大手企業での大量データ分析@東京

【業務概要】 大規模サービスのデータを横断的に分析するビッグデータ分析基盤のデータエンジニアです。 担当していただくのは、40を超えるサービスから集めたデータを加工し、分析担当者やデータサイエンティストにとって使いやすいデータマートの設計、開発、運用です。 【業務内容】 ・プロダクト開発 ・分析担当者やデータサイエンティストの打ち合わせ、要件調整 ・新規マートの要件定義、設計、開発 ・結合試験、機能試験、非機能試験等の品質評価 ・集計ジョブの開発・運用 ・BigQuery, Oracle PL/SQL, bash, python, java 等を用いた集計ジョブの開発 ・バッチ処理のJP1/AJSにより定常実行、及び運用・保守 ・Oracle ExadataおよびGoogle BigQuery上でのSQL開発・技術調査および導入 ・クラウド新機能の調査と導入検討 ・既存システムからのマイグレーションプラン策定及び実行 ・プロダクト運用 ・利用者対応 ・障害対応フローの整備 ・障害時対応と再発防止の実施 【作業環境】 Windows/Mac選択可 【開発環境】 言語＿＿＿＿：Python ＤＢ＿＿＿＿：BigQuwry ＦＭ＿＿＿＿： 環境・ＯＳ＿： ツール＿＿＿：Git、JIRA、Jenkin その他＿＿＿： 【開発手法・工程】 要件定義｜ 基本設計｜ 詳細設計｜ 実装・単体｜ 結合試験｜ 総合試験｜ 受け入れ｜ 運用・保守｜ 【就業時間】10:00~19:00 【商流】エンド→当社 【精算方法】上下割 【面談回答】2営業日以内 【募集人数】１名

・3年以上のbashやpythonを用いたバッチ処理の開発・運用経験 ・3年以上の開発物に対するドキュメンテーション作成経験 ・3年以上のエンジニア3名以上のチームでの開発経験 ・2年以上のBigQuery、OracleでのOLTPではないデータ分析のSQL開発経験 ・データマネジメントの経験 ・Git、JIRA、Jenkins等の開発ツールの利用経験 ・単体/結合試験の品質評価の経験・新規データマートの要件定義、設計、開発ができる ・運用を見据えた設計、コーディング、コードレビューができる ・マート領域Ȁおいて全体のデータフローを理解してジョブの設計と運用ができる ・3ヶ月以内のSQL開発案件において、要件定義ができる ・関係者に対して積極的にコミュニケーションを取り、障害の報告や課題解決ができ る ・BQやGCP等の新技術の調査および未経験領域の理解と利用が可能 ・適切なドキュメンテーションを行い、チームで開発に必要な情報共有ができる ・N1以上 ・年齢不問

【スキル】 ・開発品質向上に向けたCI/CD パイプライン構築や、プロダクト運用設計 ・開発生産性の改善に向けたリファクタや、施策提案 ・Docker, Kubernatesを利用したインフラ構築 ・アーキテクトや、テックリードとしてプロダクト開発のリード ・機械学習を用いたデータ活用手法のプロダクト導入 ・既存プロダクトに対するアーキテクチャ刷新および移行 ・SQL可視化用のデータセットの作成やBIへの連携機能、データウェアハウスの開発 経験・システム全体のデータフローを理解し、ジョブの設計と運用ができる ・予測モデルのアプライアンスができる 【人物面】 ・関係者に対して積極的にコミュニケーションを取り、障害の報告や課題解決ができる ・適切なドキュメンテーションを行い、チームで開発に必要な情報共有ができる ・SQL (とバッチ処理) の作成と改善に積極的に取り組んで頂ける方

社内イベント 社内勉強会 書籍 ベテラン 休憩自由 自動販売機 私服OK コンビニ 音楽視聴OK 給湯室

1回

【営業コメント】 【現場直案件】@東京駅 グループの横断的なサービスを管轄している案件となります。 大規模なデーターを扱うことができ、一定の職域だけでなく広くスキルをつけることができる現場です。 【こんな人にオススメ】 大量データの分析基盤の開発に携わりたい方