Spark×ソフトウェア・情報処理のフリーランス求人・案件一覧

・Pythonの経験・SQLの経験・ビッグデータの取り扱い経験・Azureの経験（AWSでも検討可）

・Pythonの経験・SQLの経験・Azureの経験（Azure Synapse Analytics、Azure Blob Storage等）※AWSでも検討可・Databricksの知識

・課題検討事項から内容を把握して設計書へ落とし込みができる設計スキル・SQLの実装経験（サブクエリ、外部結合を利用したクエリを1から構築できる程度）・Glueの知識（ETL処理をGlueにて実現、GUIでのジョブ作成が可能）・またはGlue以外でSQLを主体としたETL処理の設計・実装経験がある方・AWS基本知識（S3やIAMロールなどAWSの基本的な操作や概念の理解）

・設計スキル・SQLの実装経験・Glueを用いたETL処理経験またはSQL主体のETL設計・実装経験・AWS基本知識（S3、IAMロール等）

・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験（2年以上）・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験・pg_dump / pg_restore / パーティションテーブル設計経験・億行〜数十億行規模のデータ取り扱い経験・メダリオンアーキテクチャに基づくデータ基盤設計または運用経験・AWSデータ基盤サービスを用いたETL構築経験・本番サービスのデータ移行・スキーマ変更経験・日本語での技術折衝経験・既存設計書レビューおよび設計判断経験

・AWS Athena（Presto SQL）の実務経験・AWS Glue（PySpark）の実務経験・AWS S3を用いたデータレイク設計経験・Athena/Glueを用いたETL・データ加工経験

・AWS ソリューションアーキテクトアソシエイトレベル・AWS環境の操作（コマンド、コードレベルでの設定）・Pythonでのデータ加工経験・PySparkの知見（Glue、EMR）

・設計スキル（課題検討事項から内容を把握し設計書作成ができること）・SQLの実装経験（サブクエリ、外部結合を用いたクエリ作成）・AWS Glueの知識またはETL設計・実装経験・AWS基本知識（S3、IAMなど）

・PythonまたはPySparkを用いたバッチ処理の設計および開発経験・生成AIを活用したアプリケーション開発経験・生成AIのプロンプト設計およびコスト最適化の経験・本番システムの構築または運用経験・クラウド環境での開発経験

・Databricksでの開発経験・AWSやデータ分析関連案件に携わったご経験

・Pythonを用いたデータ処理、データ加工の経験・SQLを用いたデータ操作経験・クラウド環境（Azure／AWS／GCPいずれか）での業務経験・データ基盤やバッチ処理、ETL等の実務経験・関係者と調整しながら業務を進められるコミュニケーション力

・日英バイリンガル（ビジネスレベル以上）・Scala / Java / Pythonのいずれかの開発経験・Hadoop / Sparkの分散処理システムの知識・Azureの利用経験・SQL、Shell、CI/CDの実務経験

・システム開発／BSAとしての実務経験（6〜10年）・プロジェクト管理経験・データ／システム分析スキル（各種言語を用いた分析）・Oracle、MS SQL Server、MongoDBなどのDB知識・Hadoopエコシステム（Hive、HBase、Spark等）の理解・Linux、ネットワークの基礎知識・優れたコミュニケーション・問題解決能力

・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など）・GCP構築経験（BigQuery、IAM/ネットワーク設定）・BigQueryでの分析SQL経験（パーティショニング/クラスタリング）・AWS Glue（PySpark）でのETL開発・Terraformを用いたIaC実践

・クラウドインフラの開発・保守経験・Terraformの利用経験・Gitの利用経験

・クラウド環境の開発・保守経験・SQLの読み書きが可能・Pythonでの開発経験・Gitの使用経験

・セマンティックに関する全体アーキテクチャ設計が可能・自身で手を動かしてプロトタイプの設計・実装が可能・下記技術要素に対する経験がある 1．データ収集・解析 ・クローラー ・パーサー 2．意味付け・表現 ・アノテーション／メタデータ付与 ・RDF化3．データ管理・検索 ・SPARKQL ・推論エンジン ・ETL ・上記技術に関するピンポイントな経験を求む※例えばGCPやAzureによるデータ分析・活用基盤、BI基盤構築の経験者などは対象外・統計・機械学習モデルを組み込んだプロダクションレベルのバックエンドシステム実装およびMLOps経験・pythonによるプロダクションレベルのスクリプトの実装経験・必要な時に英語の公式ドキュメントやOSS実装を読んで理解することに対して抵抗がないこと・人の書いた既存ソースコードを読み解いて理解することに対して抵抗がないこと・チーム開発の経験(gitなど)

・Pull RequestベースでのPython等による開発経験（5年以上）・データ基盤の設計・構築・運用経験（3年以上）・SQLを用いたデータ分析やデータモデリング経験・AWSもしくはGCPを用いたサービスの構築経験（3年以上）・dbtを用いたデータモデル・パイプライン開発経験（1年以上）