Lakeの利用状況を観察。
繰り返されるスキャン、結合、集計を探す。
今後提供予定
重い処理は一度だけ。すべてのレポートを軽く。
FastBI Lakeでジョブをスケジュール。AIがLakeの利用状況を分析して中間テーブルを推奨し、繰り返すレポートがより少ないデータをスキャンして素早く答えを返せるようにします。
利用状況を次のテーブルに生かす最適化ワークフローの例
利用状況を観察
繰り返す計算を見つける。
複数のレポートが生の注文データを日付と顧客で集計しています。AIがLakeの利用状況からその繰り返し処理を特定します。
lake.orders → 日付 + 顧客で集計01繰り返す作業を見つける
クエリ履歴が次の改善を示します。
レポートが同じ生データを繰り返しスキャンする場合、AIは共通の計算を特定し、作成する価値のある中間テーブルを推奨できます。
テーブルを推奨。
有用な中間結果を、再利用可能なLakeテーブルに保存。
処理結果を再利用。
定期レポートから加工済みデータをクエリ。
02テーブルを最新に保つ
役立つテーブルには、適切なスケジュールが必要です。
ジョブでテーブルを作成、置換、追記。データの鮮度と、レポートの基盤となるデータの再構築費用のバランスを取ります。
作成
クエリから新しい中間データセットを作成。
置換
テーブルを再構築し、ソースデータを最新の状態で表示。
追記
適切な時間枠を処理するロジックで、新しい結果を追加します。
03節約効果を理解
スキャンを減らす。レポートの処理を軽くする。
小さな加工済みテーブルなら、クエリ費用やレポートの待ち時間を減らせます。その代わりに、そのテーブルの更新と保存に作業が必要です。
シンプルな例を見る
テーブルの事前作成は、いつ効果を発揮しますか？
各レポートが生データ100 GB、または中間テーブル1 GBをスキャンするとします。毎日の更新では、元の100 GBを1回スキャンします。
1 TB = 1,000 GBとして、公開済みのLake料金$5/TBを使ったスキャン費用の例です。ストレージとJobsの料金は含みません。実際の節約額や待ち時間はワークロードと更新戦略によって異なります。
毎回生データをクエリ$10.00/日のスキャン費用
2,000 GB スキャン済み
一度更新 + 集計をクエリ$0.60/日のスキャン費用
120 GB スキャン済み（更新を含む）
繰り返し処理を削減。
レポートごとに再計算せず、集計を再利用。
必要に合わせたデータの鮮度。
新しい回答が必要になるタイミングに合うスケジュールを選択。
コスト全体を測定。
効果を評価するときは、更新時のスキャンとテーブルの保存も含めてください。
Get notified about Jobs
早期アクセスのウェイトリストに登録。