【基本リモート/AWS】IoTデータ基盤改修データエンジニア

単価: 月額 158 ～ 171 万円(税抜)

エリア: 東京都

職種: データベースエンジニアクラウドエンジニアその他データ分析・抽出系

スキル: TypeScript SQL MySQL PostgreSQL AWS Apache Spark

業界: ソフトウェア・情報処理エネルギー・電気・ガス・水道

都道府県

東京都

最寄駅

基本リモート

契約形態

業務委託

必須スキル

・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験（2年以上）・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験・pg_dump / pg_restore / パーティションテーブル設計経験・億行〜数十億行規模のデータ取り扱い経験・メダリオンアーキテクチャに基づくデータ基盤設計または運用経験・AWSデータ基盤サービスを用いたETL構築経験・本番サービスのデータ移行・スキーマ変更経験・日本語での技術折衝経験・既存設計書レビューおよび設計判断経験

自分のスキルで応募できるか相談する

歓迎スキル

・Apache Hudi の COW / MOR 運用経験・IoT / エネルギー系データ処理経験・Asteria Warp 等のEAIツール経験・AWS DMS / Schema Conversion Tool経験・AWS CDK(TypeScript)経験・ベトナムオフショアチームへの設計指示経験・データ品質検証自動化経験・大手SI案件またはエンタープライズ案件経験

業務内容

IoTプラットフォーム向けデータ基盤改修プロジェクトにて、メダリオンアーキテクチャをベースとした大規模データ基盤再構築を担当いただきます。データレイクからDWH、データマートまでの各レイヤーにおいて、ETL再設計や過去データ移行、DWHテーブル再設計などを推進します。 263億行規模のセンサーデータ移行では、 Aurora MySQLからAurora PostgreSQLへの移行設計およびパーティションアタッチ方式による段階移行を実施します。また、既存Lambda構成のGlue Job統合、Step Functionsを用いたオーケストレーション再設計、 EAIフロー統合、Silver層ETL改修なども担当いただきます。技術リードとして、既存ADRや設計書レビュー、PoC実装、移行手順設計、オフショアチームへの設計指示・レビューも実施いただく想定です。【技術スタック】・クラウド：AWS ・ETL：AWS Glue / Apache Spark / Apache Hudi ・データベース：Aurora PostgreSQL / Aurora MySQL ・ストレージ：S3 ・オーケストレーション：Step Functions / EventBridge / Glue Workflow ・IaC：AWS CDK(TypeScript) ・監視：CloudWatch / New Relic ・EAI：Asteria Warp ・ドキュメント：Markdown / Mermaid / ADR 【作業期間】 2026年6月〜2026年9月