ITエンジニアフリーランス支援サイト

クライアント先最寄駅

業務委託

・Azure上での開発 ・DWH、ETLシステムの運用や開発経験 ・ジョブ管理ツールの運用や開発経験（バッチ開発） ・N2Hデータレイクやデータウェアハウス運用・保守・構築

■概要 Azure Databricks DWHおよび周辺ETLの障害調査、問合せ対応。 日次・月次・年次・任意で連携されるIFファイル（csv, txtなど）を、Azure Data FactoryおよびDatabricks Notebook（Pyspark、SQL）にてDataフォーマット連携・加工処理を実施。 他のプログラムとして、旧DWHで実行されているPL/SQLを変換したストアドがSQL Databaseで実行される。 データの実態はData LakeにParquetファイルで保管されユーザーにUnityCatalogで提供される。