Spark×ソフトウェア・情報処理の案件・求人一覧 | エンジニアファクトリー

・Databricksでの開発経験・AWSやデータ分析関連案件に携わったご経験

・Pythonを用いたデータ処理、データ加工の経験・SQLを用いたデータ操作経験・クラウド環境（Azure／AWS／GCPいずれか）での業務経験・データ基盤やバッチ処理、ETL等の実務経験・関係者と調整しながら業務を進められるコミュニケーション力

・日英バイリンガル（ビジネスレベル以上）・Scala / Java / Pythonのいずれかの開発経験・Hadoop / Sparkの分散処理システムの知識・Azureの利用経験・SQL、Shell、CI/CDの実務経験

・システム開発／BSAとしての実務経験（6〜10年）・プロジェクト管理経験・データ／システム分析スキル（各種言語を用いた分析）・Oracle、MS SQL Server、MongoDBなどのDB知識・Hadoopエコシステム（Hive、HBase、Spark等）の理解・Linux、ネットワークの基礎知識・優れたコミュニケーション・問題解決能力

・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など）・GCP構築経験（BigQuery、IAM/ネットワーク設定）・BigQueryでの分析SQL経験（パーティショニング/クラスタリング）・AWS Glue（PySpark）でのETL開発・Terraformを用いたIaC実践

・クラウドインフラの開発・保守経験・Terraformの利用経験・Gitの利用経験

・クラウド環境の開発・保守経験・SQLの読み書きが可能・Pythonでの開発経験・Gitの使用経験

・セマンティックに関する全体アーキテクチャ設計が可能・自身で手を動かしてプロトタイプの設計・実装が可能・下記技術要素に対する経験がある 1．データ収集・解析 ・クローラー ・パーサー 2．意味付け・表現 ・アノテーション／メタデータ付与 ・RDF化3．データ管理・検索 ・SPARKQL ・推論エンジン ・ETL ・上記技術に関するピンポイントな経験を求む※例えばGCPやAzureによるデータ分析・活用基盤、BI基盤構築の経験者などは対象外・統計・機械学習モデルを組み込んだプロダクションレベルのバックエンドシステム実装およびMLOps経験・pythonによるプロダクションレベルのスクリプトの実装経験・必要な時に英語の公式ドキュメントやOSS実装を読んで理解することに対して抵抗がないこと・人の書いた既存ソースコードを読み解いて理解することに対して抵抗がないこと・チーム開発の経験(gitなど)

・Pull RequestベースでのPython等による開発経験（5年以上）・データ基盤の設計・構築・運用経験（3年以上）・SQLを用いたデータ分析やデータモデリング経験・AWSもしくはGCPを用いたサービスの構築経験（3年以上）・dbtを用いたデータモデル・パイプライン開発経験（1年以上）