ITエンジニアフリーランス支援サイト

中野（東京都）

業務委託

①データアーキテクト/コンサルタント（データ基盤全体） ・レイクハウスアーキテクチャへの理解/知見/経験 ・DMBOKへの理解・知見 ・AWSサービス（データ分析系）への全般的な理解(AWS SAAが目安） ・抽象的な要望から要件を定義し、全体図を描ける要件定義能力（要件定義工程をリードした経験） ・リーダとして、検討タスクの管理ができる ・性能に抵抗感がない ②ユーザETL/データ分析有識者 ・データ分析案件の経験（tableauPrepなどのツールでデータ加工/分析を、ユーザとして分析業務を行った経験があり、ユーザにとって有効なツール選定ができる） ・ETL（データ操作）への理解 ・何らかのツール（システム）選定経験がある　または　やってみたい ・情報収集能力（ツール選定のための情報収集能力） ・性能に抵抗感がない ③検証担当者（作業者） ・暗黙知を含めた情報収集能力（明文化されたものだけでなく、行内有識者の暗黙知についてもヒアリングを通じて調査・収集ができる） ・SQL経験 ・tableauPrepのようなツールを用いた検証に抵抗感がない。新しいツールの利用に前向きに取り組める積極性 ・検証ケースの検討経験・素養（やったことがなくてもやることに抵抗感がない） ・性能に抵抗感がない ※ChatGPTも用いながら上記ができればOK

①データアーキテクト/コンサルタント（データ基盤全体） ・SnowFlake/DataBricksなどのSaaSの知見・理解 ・tableau製品の理解 ・RedShiftの理解 ・性能に関する理解/知見 ・開発計画経験（見積/スケジューリング） ②ユーザETL/データ分析有識者 ・ツール評価のための実機検証計画（PoC計画）経験またはやってみたい ・リーダまたはサブリーダとしてタスク管理ができる ・tableauPrepへの理解 ・AWS製品（特にGlueBrewer/S3/RedShift）への理解 ・Icebergファイルへの理解 ・性能に関する理解/知見 ③検証担当者（作業者） ・AWS製品（特にGlueBrewer/S3/RedShift）への理解 ・tableau製品への理解 ・データ分析経験 ・性能に関する理解/知見

現在、業務利用の増加に伴い性能問題が顕在化してきている。そのため、基盤構成・アーキテクチャを抜本的に見直す対応を検討する。 具体的には現状ストレージと分析のためのコンピュートをRedShiftで担っているが、RedShiftの製品的な限界があり、伸縮性のひくい環境となっている。 （ユーザ数の伸びに対応できない）したがって、S3（ストレージ）でParquet形式のデータをメダリオンアーキテクチャで管理・ETLパイプラインを実行し、Athenaなどのクエリツールとtableauで分析する環境の検討を行う。 そのグランドデザインから、各種ツールの選定（クエリツール（RedShiftスペクトラム,Athena）、BIツール（tableauPrep,GlueBlewer）、PoCまでを推進する。 【技術要素】 ＜製品＞ ・AWS（S3/ RedShiftSpectrum/ Athena/ GlueBrewer / Glue） ・Apatch Iceberg ・tableauPrep ・SnowFlake（知見あるとベター） ・Databricks（知見あるとベター） 【体制/役割】 大手SIerのリーダ配下に3名体制を想定。 ①データアーキテクト/コンサルタント（データ基盤全体） ・ビッグデータ基盤全体の再構築に向けたアーキテクチャのAsisTobeの整理（グランドデザイン） ②ユーザETL/データ分析有識者 ・tableauPrep以外のツールの選定・評価 ・RedSfhitSpectrum以外のツールの選定・評価 ③検証担当者（作業者） ・検討にかかる各種調査・資料作成 ・新アーキテクチャに向けた機能・性能検証