Sparkの案件・求人一覧 | エンジニアファクトリー

【リモート併用/Python】クラウド環境 データ基盤構築・運用支援（AI・分析対応） | 東京都の案件・求人

• リモート併用
• スタートアップ
• 急募
• 技術選定から関われる
• ベンチャー

必須スキル

・Pythonを用いたデータ処理、データ加工の経験・SQLを用いたデータ操作経験・クラウド環境（Azure／AWS／GCPいずれか）での業務経験・データ基盤やバッチ処理、ETL等の実務経験・関係者と調整しながら業務を進められるコミュニケーション力

【リモート併用/墨田区/Scala】生命保険業界　データエンジニア（バイリンガル） | 東京都の案件・求人

• リモート併用
• Sler案件
• 急募

必須スキル

・日英バイリンガル（ビジネスレベル以上）・Scala / Java / Pythonのいずれかの開発経験・Hadoop / Sparkの分散処理システムの知識・Azureの利用経験・SQL、Shell、CI/CDの実務経験

【リモート併用/データ分析】生命保険向けBSA・システム分析業務 | 東京都の案件・求人

• リモート併用
• Sler案件
• 急募
• 参画実績あり

必須スキル

・システム開発／BSAとしての実務経験（6〜10年）・プロジェクト管理経験・データ／システム分析スキル（各種言語を用いた分析）・Oracle、MS SQL Server、MongoDBなどのDB知識・Hadoopエコシステム（Hive、HBase、Spark等）の理解・Linux、ネットワークの基礎知識・優れたコミュニケーション・問題解決能力

【基本リモート/小川町/AWS・GCP】ハイブリッドクラウド基盤 データパイプライン開発 | 東京都の案件・求人

• フルリモート
• Sler案件
• 急募
• 技術選定から関われる

必須スキル

・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など）・GCP構築経験（BigQuery、IAM/ネットワーク設定）・BigQueryでの分析SQL経験（パーティショニング/クラスタリング）・AWS Glue（PySpark）でのETL開発・Terraformを用いたIaC実践

【千代田区/Python】金融機関向けDWH開発業務支援 | 東京都の案件・求人

• Sler案件
• 急募
• 参画実績あり

必須スキル

・Pythonの業務経験（2年以上）・SQLの業務経験（2年以上）・システム開発に関する設計・開発・テストの経験（3年以上）

【リモート併用/恵比寿/AWS】DWHシステムのエンハンス開発・保守 | 東京都の案件・求人

• リモート併用
• Sler案件
• 長期案件

必須スキル

・クラウドインフラの開発・保守経験・Terraformの利用経験・Gitの利用経験

【フルリモート/CI/CD】ヘルステック企業での患者向けコンテンツ配信基盤エンジニア | 東京都の案件・求人

• フルリモート
• 長期案件
• 自社開発

必須スキル

・設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験・既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験・CI/CD、監視、テスト自動化などの DevOps の経験・プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験・他チームまたは外部パートナーとのシステム連携の経験

【リモート併用/恵比寿/Python】クラウドDWHシステム保守・開発案件 | 東京都の案件・求人

• リモート併用
• Sler案件
• 長期案件

必須スキル

・クラウド環境の開発・保守経験・SQLの読み書きが可能・Pythonでの開発経験・Gitの使用経験

【フルリモート/Python/AWS】製薬業界向けサービスを展開する事業会社でのアプリケーションエンジニア募集 | 東京都の案件・求人

• フルリモート
• 自社開発

必須スキル

・Pythonを利用した開発経験（目安：2年以上）・AWSを利用した開発・運用経験（目安：2年以上）・Webアプリケーションの開発経験（目安：5年以上）・複数人でチームを組みサービス開発をした経験・RDBMS / NoSQLの知識・設計の経験

【Python・PowerBI/品川】データ利活用エンジニア／大手メーカーDX支援 | 東京都の案件・求人

• リモート併用

必須スキル

【共通】・データ利活用・可視化のための加工・編集、データマート設計、ダッシュボード検討の経験・DB設計および複雑なSQLの理解・経験【①データ収集・加工プログラム開発】・Pythonでの設計・開発経験・アウトプットを意識したDB・テーブル設計経験【②ダッシュボード開発】・PowerBIを用いたダッシュボード設計・開発経験

【フルリモート/アーキテクト】Web3.0ベースのデータスペース相互接続 | 東京都の案件・求人

• フルリモート

必須スキル

・セマンティックに関する全体アーキテクチャ設計が可能・自身で手を動かしてプロトタイプの設計・実装が可能・下記技術要素に対する経験がある 1．データ収集・解析 ・クローラー ・パーサー 2．意味付け・表現 ・アノテーション／メタデータ付与 ・RDF化3．データ管理・検索 ・SPARKQL ・推論エンジン ・ETL ・上記技術に関するピンポイントな経験を求む※例えばGCPやAzureによるデータ分析・活用基盤、BI基盤構築の経験者などは対象外・統計・機械学習モデルを組み込んだプロダクションレベルのバックエンドシステム実装およびMLOps経験・pythonによるプロダクションレベルのスクリプトの実装経験・必要な時に英語の公式ドキュメントやOSS実装を読んで理解することに対して抵抗がないこと・人の書いた既存ソースコードを読み解いて理解することに対して抵抗がないこと・チーム開発の経験(gitなど)

【二子玉川/SQL/Python】 AIプラットフォームの構築 | 東京都の案件・求人

• 自社開発

必須スキル

・データパイプライン・統合ソリューション設計/構築経験・SQL／NoSQL・データウェアハウス・データモデリング知識・データマイニング・機械学習アルゴリズム理解・Pythonでの機械学習モデル開発経験・Linuxコマンド／スクリプト操作経験・Hadoop、Hive等ビッグデータツール利用経験・要件に応じたツール設計・構築経験・データサイエンス基盤の構築・運用経験

【二子玉川/AI×セキュリティデータ】某大手EC企業のデータエンジニアポジション | 東京都の案件・求人

• 長期案件
• 自社開発

必須スキル

・SQL、Spark、Airflow、クラウドストレージ等のデータエンジニアリングツール経験・統計分析・データマイニング・機械学習に精通・データ分析・探索的調査の知識・LangChain、ベクタDB、HuggingFace、OpenAI API等のAIツール活用経験・Python／Node.js等によるAIサービスの統合・PyTorch／TensorFlowによるAI/MLモデル開発・MLflow／Weights & Biases等のMLOps知識・大規模データセット・データウェアハウスの取扱経験・SQLなどデータベース言語に精通・Python、R、PowerShell等のスクリプト言語習熟・Tableau／Power BI／Grafana等の可視化ツール利用・AWS／Azure／GCP等クラウド基盤・セキュリティ知識・Splunk等SIEMシステム利用経験・サイバーセキュリティの原則・脅威・脆弱性の理解

【リモート併用/大崎/Python/dbt】 モダンなデータ基盤構築・運用 | 東京都の案件・求人

• リモート併用
• 自社開発
• 参画実績あり

必須スキル

・Pull RequestベースでのPython等による開発経験（5年以上）・データ基盤の設計・構築・運用経験（3年以上）・SQLを用いたデータ分析やデータモデリング経験・AWSもしくはGCPを用いたサービスの構築経験（3年以上）・dbtを用いたデータモデル・パイプライン開発経験（1年以上）

【原則フルリモート・データ基盤の設計/構築・Python】 自社プロダクトにおけるデータエンジニア | 東京都の案件・求人

• フルリモート
• 長期案件

必須スキル

・pull request ベースでの Python 等のプログラム開発経験（5年以上）・データ基盤の設計/構築、または運用経験（3年以上）・SQL によるデータ分析やデータモデリングの経験（3年以上）・AWS もしくは GCPを利用したサービスの構築経験（3年以上）・dbt によるデータモデルやデータパイプラインの開発経験（1年以上）

【エンド直/フルリモート/フレックス有/Python/AWS】データエンジニア募集 | 東京都の案件・求人

• フルリモート
• リモート併用
• Sler案件
• スタートアップ

必須スキル

- SQLもしくはPythonでのデータ処理経験（3年以上）- パブリッククラウド利用経験（3年以上）- Apache Spark（PySpark含む）でのデータ処理経験

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） | 東京都の案件・求人

• リモート併用

必須スキル

・Data関連の案件で5年以上経験・Azure Cloudの経験・Pythonのプログラミング経験・ジョブ、データブリックスノートブックのパフォーマンス最適化・コミュニケーション（日本語:ネイティブ）

【Azure/DWH/ETL】障害調査、問合せ対応 | 東京都の案件・求人

• 長期案件

必須スキル

・Azure上での開発・DWH、ETLシステムの運用や開発経験・ジョブ管理ツールの運用や開発経験（バッチ開発）・N2Hデータレイクやデータウェアハウス運用・保守・構築

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック） | 東京都の案件・求人

• リモート併用

必須スキル

・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計・構築したことがある経験 - S3の基礎的な知識(ストレージクラス、ライフサイクル、イベント駆動など) - Lambda 利用経験・ プログラミング経験 - AWSと連携する機能を設計・実装・テストした経験 - Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可・ Linux操作 - 基本的なコマンド操作・ コミュニケーションスキル

【Java/Python/生成AI】生成AI/LLM専任チーム | 東京都の案件・求人

• 技術選定から関われる

必須スキル

以下のうち2つ以上の経験を持っていること・Backend: Go, Java,Pythonなど言語を用いたAPIの開発経験・Frontend: TypeScript, React.js, Next.js, Reduxなどを用いたフロントエンド開発経験・Data Platform: Data Platform: Dataflow/Spark/Kafka/Flinkなどの分散処理フレームワークを用いた開発経験や、AvroおよびProtocol Buffersで表現されるデータスキーマ、ファイルフォーマット（Parquet/ORCなど）に関する知識

【六本木/リモート併用】AzureDatabricks開発支援 | 東京都の案件・求人

• リモート併用

必須スキル

・Data関連の案件で10年以上経験・Azure環境で Databricksにデータの分析、変換、モデリング、移行の経験 ・Azure Data lake storage, Databricks clusters・Databricks のアーキテクチャやコンポーネント (ノートブック、ジョブ) に関する深い理解・データ基盤（Databricks）・ジョブ、データブリックスノートブックのパフォーマンス最適化・Spark、SQL、データフレームに関する深い知識・Python, Pysparkのプログラミング経験

【Java】新たなマーケティングに繋げるデータベースエンジニア案件 | 東京都の案件・求人

必須スキル

・Java(version 8)Rxjavaライブラリjava8ラムダ式spring-bootフレームワークgradleビルドツール・AWSEC2,S3,RDS,ElastiCache,EMR,DataPipeline,Redshift・Apache Spark・TreasureData・Tealium

エンド直/フルリモート【Python/SQL】データ基盤構築案件 | 東京都の案件・求人

• フルリモート

必須スキル

・システム開発経験3年以上・Pythonの実装経験1年以上・Sparkなどの分散処理システムの経験・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）・データ基盤の構築経験・アプリケーションの設計経験・AWSなどクラウド環境を利用したシステム開発の経験

（Python/Hadoop）ビックデータの基盤構築案件 | 東京都の案件・求人

必須スキル

・Hadoop or Sparkプロジェクト経験お持ちの方・Sparkを利用した開発経験お持ちの方

【Java】サーバサイドエンジニア案件 | 東京都の案件・求人

必須スキル

・Javaの開発業務経験 3年以上・Gitによるバージョン管理を用いた開発管理業務経験・Linux環境での開発業務経験

【Python/Java/Scalaなど】ディープラーニングエンジニア案件 | 東京都の案件・求人

必須スキル

■Linux(CentOS、Ubuntu)でのWebアプリケーション開発経験 ■PHP、Java、Scala、Pythonなどのプログラミング言語での開発、実務経験 ■大規模サービスの開発経験 ■基本的なデータ設計、SQL利用経験

【PHP/Ruby/Java/Goなど】急成長中企業のアプリケーションエンジニア案件（BtoB向け） | 東京都の案件・求人

必須スキル

・Laravel / CakePHPなどのフレームワークを用いたWeb サービス開発経験・大規模サービスの開発経験（負荷を考慮した設計経験）・RDBMSを用いたアプリケーションの開発経験

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件 | 東京都の案件・求人

必須スキル

・Linuxを用いたシステムの構築、運用経験 ・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのチューニング経験 ・プロダクト開発と連携したミドルウェア検証・導入 ・システムの監視設計、体制の整備・強化 ・パブリッククラウドでの運用、設計、構築の経験・Go言語での開発経験・アドテク開発経験・ソーシャルゲーム、金融系開発経験

ビッグデータ関連におけるシステム開発エンジニア募集案件 | 東京都の案件・求人

• リモート併用

必須スキル

・アプリケーション開発経験3年以上・Python、PHP、Ruby、Golangのいずれかの開発経験 1年以上・SQLを使ったDBプログラミングの開発経験・AWS等のパブリッククラウドを利用したサービス開発・運用経験・Gitなどのソースコード管理ツールの使用経験

【Java】データベースエンジニア案件 | 大阪府の案件・求人

必須スキル

・Java(version 8)Rxjavaライブラリjava8ラムダ式spring-bootフレームワークgradleビルドツール・AWSEC2,S3,RDS,ElastiCache,EMR,DataPipeline,Redshift・Apache Spark・TreasureData・Tealium

【Linux・Hadoop】分析基盤向けPoC支援案件 | 東京都の案件・求人

• Sler案件

必須スキル

・要件定義など上流工程の経験・Linuxサーバの設計、構築経験

【Python】新規/既存セキュリティサービス開発案件 | 東京都の案件・求人

必須スキル

・新しい技術に興味があり、貪欲に技術を吸収できる人。技術的キーワードとしては下記の通り。Python、Django、Falcon、React、Linux、Ansible、Git・特に、Pythonが得意な人。・プログラミングが好きな人。

Python/バッチ開発・運用案件 | 大阪府の案件・求人

• フルリモート

必須スキル

GCP環境での開発経験/知見・Pythonを使用してのプログラミング経験

【Python】新規/既存セキュリティサービス開発案件 | 東京都の案件・求人

• リモート併用

必須スキル

・新しい技術に興味があり、貪欲に技術を吸収できる人。技術的キーワードとしては下記の通り。 Python、Django、Falcon、React、Linux、Ansible、Git

【Hadoop】分析基盤の設計、構築支援案件 | 東京都の案件・求人

必須スキル

・Linuxサーバの設計、構築経験・Hadoopクラスタの設計、構築経験

Scala/　サーバーサイドエンジニア案件 | 東京都の案件・求人

必須スキル

・Linux / RDBMS / Java / Scala 等を利用した Web アプリケーションの開発経験・チーム内でコミュニケーションを行いながら、能動的に開発を進めてゆけるスキル・ビジネスの要件からアーキテクチャの提案、システムの設計、実装、テスト駆動開発などを行える以下のスキルから少なくとも2つ※ 業務経験でなくとも、OSS 活動などの個人での活動でも構いません。・Scala の利用経験もしくは関数型言語の利用経験・Web フレームワークやライブラリ等の作成経験もしくはカスタマイズ経験・アーキテクチャ設計もしくは技術選定経験・Hadoop エコシステム（MapReduce, Spark, Hive, Pig, Presto, Impala など）などを用いた大規模データ処理経験・Cassandra / Redis / memcached などの KVS 設計、運用経験・Redshift などの列指向 DB の設計、運用経験・経験した事のない技術へ自ら挑戦や深耕してゆく意欲

【PM/PMO】急成長中企業のエンジニアリングマネージャー案件 | 東京都の案件・求人

必須スキル

・複数プロジェクトのマネジメント経験・Webアプリケーション開発経験・プロジェクトリーダーまたはプロジェクトマネージャーの実務経験・チームメンバーの育成経験

【Java】IoT基盤構築案件 | 東京都の案件・求人

必須スキル

・WEB_Java、Rubyなどの設計開発スキル/アプリ基盤経験

エンド直/フルリモート【Python/SQL】データ基盤構築案件 | 大阪府の案件・求人

• フルリモート

必須スキル

・システム開発経験3年以上・Pythonの実装経験1年以上・Sparkなどの分散処理システムの経験・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）・データ基盤の構築経験・アプリケーションの設計経験・AWSなどクラウド環境を利用したシステム開発の経験

データ基盤整備案件 | 東京都の案件・求人

• リモート併用

必須スキル

・AWS上で動作するアプリケーションの開発/保守経験：2～3年┗AWSコンソール等を利用しシステムログ/アプリケーションログから課題発見・解決をした経験