【データエンジニア】大規模データパイプライン構築運用
115万円/月額想定年収:1380万円
虎ノ門ヒルズ
work_outline職務内容
・データエンジニア(Python/PySpark/データパイプライン)案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 - データ収集、加工、統合を行うパイプラインの設計・実装(バッチ/ストリーミング) - Python/PySparkを用いたデータ変換処理やETL処理の開発 - 大規模データ処理基盤(Spark、BigQuery、Snowflakeなど)の構築最適化 - データウェアハウスやデータレイクの設計運用 - DB設計、スキーマ定義、データモデル策定 - リアルタイムデータ処理および監視基盤の設計実装 - 機械学習・シミュレーションチームとのデータ連携最適化支援
done_all必須スキル
・PythonまたはPySparkを用いたデータ処理・ETL開発経験 ・バッチ/ストリーミングデータパイプラインの設計運用経験 ・SQL/NoSQLデータベースの設計、チューニング経験 ・クラウド環境(AWS、GCP、Azureなど)でのデータ基盤構築経験 ・Gitなどを利用したチーム開発経験
・Apache Spark、Kafka、Airflow、dbtなどの運用経験 ・BigQuery、Snowflake、RedshiftなどのクラウドDWH運用経験 ・データ品質管理・モニタリングの仕組み設計経験 ・リアルタイムデータ処理・分析基盤の構築経験 ・Omniverseやシミュレーション環境とのデータ連携経験 ・衛星データや時系列データの分析・可視化への興味
稼働時間
契約形態
商談回数
支払サイト
15日
support_agent担当エージェントの言葉
衛星データ、AI、3D技術を組み合わせ、現実の都市や環境を仮想空間に再現する 「デジタルツイン」事業を中核に据え、急成長を続けています。 デジタルツイン、AI、宇宙という、現代社会で最も注目されるフロンティアを横断する事業を展開しています。 単なるITサービスではなく、地球規模、さらには宇宙規模の課題解決（都市開発、災害対策、宇宙開発）に直結するプロジェクトに挑戦しています。 新しいアイディアや技術を積極的に導入し、 経験豊富なメンバーと成長が出来る環境でございます。 スキルアップされたい方、長期的に参画されたい方にオススメの案件です。 首都圏または遠方からリモートにてご参画いただけます。
情報提供元: レバテックフリーランス
4日前
SNSアカウントでログイン