検索条件

  • 人気の求人
  • 単価
  • 職種
  • 業界
  • スキル
  • 都道府県
2025/04/14更新

【基本リモート/データエンジニア】ビッグデータの収集・整形・蓄積

単価

~月額 90万円

最寄駅

確認中

契約形態

業務委託

必須スキル

    ・Pythonを利用した開発経験 ・SQLを使ったDBプログラミングの開発経験 ・パブリッククラウドを利用したサービス開発・運用経験 ・Gitなどのソースコード管理ツールの使用経験

歓迎スキル

    ・AirflowやDigDag・Azkabanなどのワークフロー管理ツールの利用経験 ・Git、Ansible、Jenkins、Chef、MackerelなどのDevOps系の知識や経験 ・高負荷対策・パフォーマンスチューニングに関する知識や経験 ・PLやPMなどのプロジェクトやメンバーの管理、マネジメント経験 ・Docker、k8sなどのコンテナ環境での開発経験 ・DMPサービスなどのプロダクト開発経験 ・社内・受託問わず分析基盤の構築・運用経験 ・統計解析、機械学習、ディープラーニング等の手法を用いてビジネスに貢献した経験 ・機械学習のアルゴリズム・モデルに関する知見(課題に応じて適切な分析手法を選択できる)

業務内容

秒間25万リクエストを超える動画配信をはじめとした視聴に関するビッグデータの収集・整形・蓄積まで一貫して行なっていただきます。 【業務内容】 ビッグデータ基盤におけるデータの収集、データレイクからデータウェアハウス/データマートまでのワークフローの開発・運用をお任せします。 ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視しております。 データ基盤はGCP(Google Cloud Platform)を主軸とし、サブシステムにはAWS(Amazon Web Services)を部分的に採用した構成。日々進化するクラウドサービスをキャッチアップし最適な構成に随時進化し続けています。 今後もさらに安定してバージョンアップやスケーラビリティ・パフォーマンス改善を重ねるため、その開発の中核を担っていただくデータエンジニアを募集しております。 【案件例】 ・ビッグデータを処理するワークフロー・ELTの実装 ・急激なスパイクにも耐えうるインフラの運用・保守及び改善 ・システム自動化の推進やパフォーマンス改善 ・基盤としての運用改善(構成管理、CI/CDなど) 上記はほんの1例に過ぎずスケールの大きい様々な開発に携わっていただけます! 【開発環境】 ■主要開発技術:GCP(Google Cloud Platform)環境でのワークフロー開発 ■開発言語:Python, JavaScript, SQL ■クラウドプラットフォーム : Googleクラウド(BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun) ■データ収集 : Fastly ■データウェアハウス : BigQuery ■コミュニケーションツール:Slack ■開発手法:アジャイル(一部ウォーターフォール) ■開発支援ツール・環境:GitHub, GitHub Actions(CI/CD) ■構成管理 : Terraform ■エディタ/IDE:VSCode Vim(*お好みのエディタを使用していただいてOKです。) 【仕事の魅力】 ◎ビッグデータ・分析関連におけるクラウド・インフラアーキテクチャやミドルウェアの選定含め他社ではなかなか経験できない環境で技術的にチャレンジできる ◎国内で供給されているテレビからの大量な視聴データを捌く環境が身近にあり負荷分散・スケーリングを最適に行うためのノウハウを吸収できる ◎テレビ版アドテクノロジーといえるAdvance TVの領域の最先端の環境でテレビ業界にインパクトのある事業に携われる ◎チームとしては失敗を恐れずに新しい手法・技術を積極的に取り入れてアイデアを実現しグロースさせるスタンスですので、様々なご経験を積んでいただける環境がある

この案件を検討中の方は

人気案件は申込みが集中いたします。
お早めにご相談ください。

フリーランスエンジニアインタビュー

最近見た案件

その他データ分析・抽出系のおすすめ案件

ソフトウェア・情報処理のおすすめ案件

東京都のおすすめ案件

フリーランス向け 福利厚生サービス AIM CARE

弊社ではフリーランスの個人事業主の方も安心して働いていただけるよう、さまざまなプログラムをご用意。
収入面でのサポートをはじめ、保険や生活面のサポートなど、
フリーランスとして生活するにあたっての充実したサポートをご提供しています。

人気案件は申込みが集中いたします。お早めにご相談ください。