現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。データ基盤要件定義データレイクに保存するデータの形式の洗い出し(CSV,JSON,画像ファイルetc…)データソースのインターフェイス特定(RESTAPI,FTPetc…)データ加⼯(ETL)要件ヒアリングデータレイク設計(HadoopFileSystem)DWH設計/テーブル定義(ApacheHive,Spark,HBaseetc…)データフロー設計(ApacheNiFi)バッチアプリケーション作成(Java,Shellスクリプト)インフラセキュリティ対応（SSL化対応、AD認証連携etc…)　　　環境 オンプレサーバー(現地作業等は無し、リモートから接続) OS:RHEL8HPEEzmeralDataFabric(Hadoop,Hive,Spark,NiFietc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPEEzmeralRuntime(≒Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク:HDFS,minio(≒S3),HBase DWH:HiveorSpark ワークフロー:NiFiorAirflow データ加⼯:Hive,Spark(シェルスクリプト/JavaorPython) BI:Tableau,Palantir(本募集スコープの作業範囲外) 体制 アジャイル開発(スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

〜¥700,000 /月 データエンジニア リモート/在宅 東京都 エネルギー・インフラ

3年以上のバックエンドまたはインフラ開発経験

データエンジニアとしての経験 データ基盤における要件定義・設計経験 データ基盤の開発・運用経験 データレイク、DWHの実装経験 データパイプラインの実装経験 PythonorJavaによるアプリケーション実装経験 Kubenetesの知見

1回