歓迎スキル- Apache Spark(PySpark含む)でのデータ処理経験 - AWS Analytics系サービスの利用経験 - Databricks利用経験 - データマネジメント経験 - DataOpsの概念への共感
業務内容『SaaS+Database』サービスを支えるビッグデータ(数十TBオーダー)基盤の構築・改善 以下のいずれか、もしくは複数を対応いただきます。 - Webデータクローリングのためのパイプライン新設や改善 - データのクレンジングやエンリッチメント処理 - データの品質改善を目的とした品質モニタリング環境の構築 - スケーラブルかつコスト効果の高いデータ基盤への改善 - 将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計