そのエクスポートが出発点です。
CSV、JSON、ParquetファイルをLakeに取り込みます。大規模なエクスポートを、他のビジネスデータと一緒に探索できるデータセットに変えましょう。
分散したデータをまとめ、データベースの制約を超えて分析し、ギガバイトからペタバイト規模へ拡張 — 1つの分析基盤で。
01分散したデータをまとめる
次の答えは、顧客テーブル、決済のエクスポート、数年分の注文の間に隠れているかもしれません。それらを合わせる場所を用意しましょう。
CSV、JSON、ParquetファイルをLakeに取り込みます。大規模なエクスポートを、他のビジネスデータと一緒に探索できるデータセットに変えましょう。
昨日の取引が明日の背景になります。比較、コホート、まだ尋ねていない問いのために、過去のデータを準備しておきましょう。
02データベースの制約を超えて分析
アプリケーションには対応すべき顧客がいます。データセットをLakeに取り込み、重いスキャン、結合、集計を別の場所で実行しましょう。
業務処理はアプリに残す。
分析処理はLake内のデータセット上で実行されます。
膨大な取引履歴やイベントデータセットを探索。スプレッドシートに収まる一部分の先へ。
期間比較、急増の調査、別データセットの結合。知りたい問いを中心に分析を組み立てられます。
Lakeに取り込んだデータで分析を実行し、分析クエリがアプリケーションの日常業務とリソースを奪い合わないようにします。
03GBからPBへ拡張
今日のエクスポートから始め、ソース、履歴、より大きな問いを追加しましょう。Lakeはギガバイトからペタバイト規模のデータセットへ成長できるよう設計されています。
次のステージはどれくらいの規模ですか?
エクスポート、顧客テーブル、今日答えたい問いから始める。
GBからPB規模への拡張を見据えた設計。
直近30日だけでなく、年単位で比較。長期的なパターンが現れる時間軸を確保しましょう。
新たなソースが業務に加わっても、既存のデータセットを土台に活用を広げられます。
データ量と問いが増えても、分析作業を1か所にまとめておけます。
最初のデータセットは始まりにすぎません。
早期アクセスのウェイトリストに登録。