Spark×リモート可の案件・求人一覧 | エンジニアファクトリー

・Pythonを用いたデータ処理、データ加工の経験・SQLを用いたデータ操作経験・クラウド環境（Azure／AWS／GCPいずれか）での業務経験・データ基盤やバッチ処理、ETL等の実務経験・関係者と調整しながら業務を進められるコミュニケーション力

・日英バイリンガル（ビジネスレベル以上）・Scala / Java / Pythonのいずれかの開発経験・Hadoop / Sparkの分散処理システムの知識・Azureの利用経験・SQL、Shell、CI/CDの実務経験

・システム開発／BSAとしての実務経験（6〜10年）・プロジェクト管理経験・データ／システム分析スキル（各種言語を用いた分析）・Oracle、MS SQL Server、MongoDBなどのDB知識・Hadoopエコシステム（Hive、HBase、Spark等）の理解・Linux、ネットワークの基礎知識・優れたコミュニケーション・問題解決能力

・クラウドインフラの開発・保守経験・Terraformの利用経験・Gitの利用経験

・クラウド環境の開発・保守経験・SQLの読み書きが可能・Pythonでの開発経験・Gitの使用経験

【共通】・データ利活用・可視化のための加工・編集、データマート設計、ダッシュボード検討の経験・DB設計および複雑なSQLの理解・経験【①データ収集・加工プログラム開発】・Pythonでの設計・開発経験・アウトプットを意識したDB・テーブル設計経験【②ダッシュボード開発】・PowerBIを用いたダッシュボード設計・開発経験

・Pull RequestベースでのPython等による開発経験（5年以上）・データ基盤の設計・構築・運用経験（3年以上）・SQLを用いたデータ分析やデータモデリング経験・AWSもしくはGCPを用いたサービスの構築経験（3年以上）・dbtを用いたデータモデル・パイプライン開発経験（1年以上）

- SQLもしくはPythonでのデータ処理経験（3年以上）- パブリッククラウド利用経験（3年以上）- Apache Spark（PySpark含む）でのデータ処理経験

・Data関連の案件で5年以上経験・Azure Cloudの経験・Pythonのプログラミング経験・ジョブ、データブリックスノートブックのパフォーマンス最適化・コミュニケーション（日本語:ネイティブ）

・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計・構築したことがある経験 - S3の基礎的な知識(ストレージクラス、ライフサイクル、イベント駆動など) - Lambda 利用経験・ プログラミング経験 - AWSと連携する機能を設計・実装・テストした経験 - Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可・ Linux操作 - 基本的なコマンド操作・ コミュニケーションスキル

・Data関連の案件で10年以上経験・Azure環境で Databricksにデータの分析、変換、モデリング、移行の経験 ・Azure Data lake storage, Databricks clusters・Databricks のアーキテクチャやコンポーネント (ノートブック、ジョブ) に関する深い理解・データ基盤（Databricks）・ジョブ、データブリックスノートブックのパフォーマンス最適化・Spark、SQL、データフレームに関する深い知識・Python, Pysparkのプログラミング経験

・アプリケーション開発経験3年以上・Python、PHP、Ruby、Golangのいずれかの開発経験 1年以上・SQLを使ったDBプログラミングの開発経験・AWS等のパブリッククラウドを利用したサービス開発・運用経験・Gitなどのソースコード管理ツールの使用経験

・新しい技術に興味があり、貪欲に技術を吸収できる人。技術的キーワードとしては下記の通り。 Python、Django、Falcon、React、Linux、Ansible、Git

・AWS上で動作するアプリケーションの開発/保守経験：2～3年┗AWSコンソール等を利用しシステムログ/アプリケーションログから課題発見・解決をした経験

AWS上で動作するアプリケーションの開発/保守経験：2～3年┗AWSコンソール等を利用しシステムログ/アプリケーションログから課題発見・解決をした経験

・SQL（Postgresの経験必須、独力でクエリをイチから書ける、解析できれば問題ないです。） ⇒snowflake・GreenPlum・Redshift(AWS)などの各種DWHでの開発経験あるとベターです。・Pythonもしくはruby、シェル(bash)のプログラミング経験。⇒ruby要員は少ないかと思いますので、python実装経験が豊富であり、ruby案件のご参画でも問題ない方。・AWSでの開発経験⇒EC2、EMR（spark、hive)、S3、Athena、RedShiftあたりの基本サービス知識のある方。・Linux基本操作が可能

・AWSの基礎的な知識/構築経験(AWS SAA相当の知識)・マネージドサービス中心に機能を設計・構築したことがある経験・S3の基礎的な知識(ストレージクラス、ライフサイクル、イベント駆動など)・Lambda 利用経験・プログラミング経験・AWSと連携する機能を設計・実装・テストした経験vPython, SQL、シェルスクリプトをメインで使用。別言語の経験でも可・Linux操作・基本的なコマンド操作

・AWS環境における開発・運用経験(すべて経験している必要はありません。ただし、AWS実践経験はあればあるほど良いです。) - Redshift - EMR - S3 - EC2 - Lambda - IAM ※ガイドやドキュメントを見て数日で基本的な操作ができるようになるくらいのAWS環境の知識が必要・SQL(PostgreSQL),DDL 設計・実装 経験 - 1000行レベルのSQLを読み解けるレベル・UNIX/Linux 操作・運用経験

・PythonやSQLやAthenaを用いたデータ活用支援計経験・下記の項目を1つ以上満たす方- DB、DWHを使ったデータ基盤の開発経験- データ処理パイプラインの開発経験- Apache Hadoop、Sparkなどの分散データ処理の開発経験・AWSやGCP、Azureなどのクラウドにおける開発経験