Spark×長期案件の案件・求人一覧 | エンジニアファクトリー

・Databricksでの開発経験・AWSやデータ分析関連案件に携わったご経験

・車載システム（自動車業界）での開発・実務経験がある方

・クラウドインフラの開発・保守経験・Terraformの利用経験・Gitの利用経験

・設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験・既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験・CI/CD、監視、テスト自動化などの DevOps の経験・プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験・他チームまたは外部パートナーとのシステム連携の経験

・クラウド環境の開発・保守経験・SQLの読み書きが可能・Pythonでの開発経験・Gitの使用経験

・SQL、Spark、Airflow、クラウドストレージ等のデータエンジニアリングツール経験・統計分析・データマイニング・機械学習に精通・データ分析・探索的調査の知識・LangChain、ベクタDB、HuggingFace、OpenAI API等のAIツール活用経験・Python／Node.js等によるAIサービスの統合・PyTorch／TensorFlowによるAI/MLモデル開発・MLflow／Weights & Biases等のMLOps知識・大規模データセット・データウェアハウスの取扱経験・SQLなどデータベース言語に精通・Python、R、PowerShell等のスクリプト言語習熟・Tableau／Power BI／Grafana等の可視化ツール利用・AWS／Azure／GCP等クラウド基盤・セキュリティ知識・Splunk等SIEMシステム利用経験・サイバーセキュリティの原則・脅威・脆弱性の理解

・pull request ベースでの Python 等のプログラム開発経験（5年以上）・データ基盤の設計/構築、または運用経験（3年以上）・SQL によるデータ分析やデータモデリングの経験（3年以上）・AWS もしくは GCPを利用したサービスの構築経験（3年以上）・dbt によるデータモデルやデータパイプラインの開発経験（1年以上）

・Azure上での開発・DWH、ETLシステムの運用や開発経験・ジョブ管理ツールの運用や開発経験（バッチ開発）・N2Hデータレイクやデータウェアハウス運用・保守・構築

・AWS環境における開発・運用経験(すべて経験している必要はありません。ただし、AWS実践経験はあればあるほど良いです。) - Redshift - EMR - S3 - EC2 - Lambda - IAM ※ガイドやドキュメントを見て数日で基本的な操作ができるようになるくらいのAWS環境の知識が必要・SQL(PostgreSQL),DDL 設計・実装 経験 - 1000行レベルのSQLを読み解けるレベル・UNIX/Linux 操作・運用経験