Spark×千葉県の案件・求人一覧 | エンジニアファクトリー

・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など）・GCP構築経験（BigQuery、IAM/ネットワーク設定）・BigQueryでの分析SQL経験（パーティショニング/クラスタリング）・AWS Glue（PySpark）でのETL開発・Terraformを用いたIaC実践

・設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験・既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験・CI/CD、監視、テスト自動化などの DevOps の経験・プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験・他チームまたは外部パートナーとのシステム連携の経験

・Pythonを利用した開発経験（目安：2年以上）・AWSを利用した開発・運用経験（目安：2年以上）・Webアプリケーションの開発経験（目安：5年以上）・複数人でチームを組みサービス開発をした経験・RDBMS / NoSQLの知識・設計の経験

・セマンティックに関する全体アーキテクチャ設計が可能・自身で手を動かしてプロトタイプの設計・実装が可能・下記技術要素に対する経験がある 1．データ収集・解析 ・クローラー ・パーサー 2．意味付け・表現 ・アノテーション／メタデータ付与 ・RDF化3．データ管理・検索 ・SPARKQL ・推論エンジン ・ETL ・上記技術に関するピンポイントな経験を求む※例えばGCPやAzureによるデータ分析・活用基盤、BI基盤構築の経験者などは対象外・統計・機械学習モデルを組み込んだプロダクションレベルのバックエンドシステム実装およびMLOps経験・pythonによるプロダクションレベルのスクリプトの実装経験・必要な時に英語の公式ドキュメントやOSS実装を読んで理解することに対して抵抗がないこと・人の書いた既存ソースコードを読み解いて理解することに対して抵抗がないこと・チーム開発の経験(gitなど)

・pull request ベースでの Python 等のプログラム開発経験（5年以上）・データ基盤の設計/構築、または運用経験（3年以上）・SQL によるデータ分析やデータモデリングの経験（3年以上）・AWS もしくは GCPを利用したサービスの構築経験（3年以上）・dbt によるデータモデルやデータパイプラインの開発経験（1年以上）

- SQLもしくはPythonでのデータ処理経験（3年以上）- パブリッククラウド利用経験（3年以上）- Apache Spark（PySpark含む）でのデータ処理経験

・システム開発経験3年以上・Pythonの実装経験1年以上・Sparkなどの分散処理システムの経験・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）・データ基盤の構築経験・アプリケーションの設計経験・AWSなどクラウド環境を利用したシステム開発の経験

GCP環境での開発経験/知見・Pythonを使用してのプログラミング経験

・システム開発経験3年以上・Pythonの実装経験1年以上・Sparkなどの分散処理システムの経験・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）・データ基盤の構築経験・アプリケーションの設計経験・AWSなどクラウド環境を利用したシステム開発の経験

・PythonやSQLやAthenaを用いたデータ活用支援計経験・下記の項目を1つ以上満たす方- DB、DWHを使ったデータ基盤の開発経験- データ処理パイプラインの開発経験- Apache Hadoop、Sparkなどの分散データ処理の開発経験・AWSやGCP、Azureなどのクラウドにおける開発経験・高いコミュニケーション力と柔軟性のある方