このページでは、ストレージ バッチ オペレーションの概要、メリット、ユースケース、ジョブ構成、制限事項について説明します。
概要
ストレージ バッチ オペレーションは、数十億個の Cloud Storage オブジェクトに対してサーバーレスでオペレーションを実行する Cloud Storage 管理機能です。
ストレージ バッチ オペレーションを使用すると、Cloud Storage オブジェクトに対する大規模な API オペレーションを自動化できます。これにより、このようなオペレーションのスクリプトの作成とメンテナンスに必要な開発時間を短縮できます。信頼性の高い実行を実現するため、ストレージ バッチ オペレーションは、失敗したオペレーションの再試行を自動的に管理します。また、ストレージ バッチ オペレーションでは、詳細な進行状況のトラッキングにより、すべてのジョブのステータスと完了状況をモニタリングできます。ストレージの一括オペレーションは、 Storage Intelligence サブスクリプションを通じてのみ利用できる限定機能です。料金については、Storage Intelligence の料金をご覧ください。
利点
- スケーラビリティ: 1 つのストレージ バッチ オペレーション ジョブで数百万個のオブジェクトの変換を実行します。
- サーバーレス実行: サーバーレス環境でバッチジョブを実行し、インフラストラクチャを管理する必要がなくなります。
- 自動化: 複雑で反復的なタスクを自動化し、運用効率を高めます。
- 開発時間の短縮: 複雑なカスタム スクリプトの作成とメンテナンスが不要になります。
- パフォーマンス: 時間的制約のあるオペレーションを必要な時間内に完了します。バケットで複数のバッチジョブを同時に実行すると、3 時間以内に最大 10 億個のオブジェクトを処理できます。
ユースケース
Storage Insights で使用されるストレージ バッチ オペレーションは、次のユースケースで役立ちます。
セキュリティ管理:
- オブジェクトの書き換えメソッドを使用して、複数のオブジェクトに暗号鍵を設定します。
- オブジェクト保留を適用または削除して、オブジェクトの不変性を制御します。
コンプライアンス:
- オブジェクトの保持を使用して、規制遵守のためのデータ保持要件を満たします。
- ワイプアウトのコンプライアンス要件を満たすために、特定の期間のデータを削除します。
データ変換: オブジェクトのメタデータを一括更新します。
費用の最適化: Cloud Storage バケット内のオブジェクトを一括削除して、ストレージ費用を削減します。
ジョブ構成
ストレージ バッチ オペレーション ジョブを作成するには、次のジョブ構成を設定する必要があります。ジョブ構成は、さまざまな処理要件に合わせてジョブを定義する方法を制御するパラメータです。
ジョブ名: ストレージ バッチ オペレーション ジョブを一意に識別する名前。これは、ジョブの追跡、モニタリング、参照に使用されます。ジョブ名は英数字です（例:
job-01）。職務の説明（省略可）: 職務の目的の簡単な説明。これにより、ジョブの詳細を把握して記録できます。例:
Deletes all objects in a bucket。バケット名: 処理するオブジェクトが格納されているストレージ バケットの名前。これは、入力データを特定するために不可欠です。例:
my-bucket。ジョブに指定できるバケット名は 1 つだけです。オブジェクトの選択: 処理するオブジェクトを定義する選択条件。条件は、次のいずれかのオプションを使用して指定できます。
マニフェスト: マニフェストを作成し、ストレージ バッチ オペレーション ジョブの作成時にそのロケーションを指定します。マニフェストは、 Google Cloudにアップロードされる CSV ファイルです。このファイルには、処理するオブジェクトまたはオブジェクトのリストが 1 つ含まれています。マニフェストの各行には、オブジェクトの
bucketとnameを含める必要があります。必要に応じて、オブジェクトのgenerationを指定できます。generationを指定しない場合、オブジェクトの現在のバージョンが使用されます。ファイルには、次の形式のヘッダー行を含める必要があります。
bucket,name,generationマニフェストの例を次に示します。
bucket,name,generation bucket_1,object_1,generation_1 bucket_1,object_2,generation_2 bucket_1,object_3,generation_3
Storage Insights データセットを使用してマニフェストを作成することもできます。詳細については、Storage Insights データセットを使用してマニフェストを作成するをご覧ください。
オブジェクト接頭辞: バケット内のオブジェクトをフィルタする接頭辞のリストを指定します。これらの接頭辞を持つオブジェクトのみが処理されます。空の場合、バケット内のすべてのオブジェクトが処理されます。
ジョブタイプ: Storage バッチ オペレーションは、次のジョブタイプをサポートし、バッチ オペレーションごとに 1 つのジョブを実行します。
オブジェクトの削除: バケット内のオブジェクトを削除できます。これは、費用の最適化、データ ライフサイクル管理、データ削除ポリシーのコンプライアンス確保に不可欠です。
メタデータの更新: オブジェクト メタデータを変更できます。これには、カスタム メタデータ、ストレージ クラス、その他のオブジェクト プロパティの更新が含まれます。
オブジェクト保留の更新: オブジェクト保留を有効または無効にできます。オブジェクト保持は、オブジェクトの削除や変更を防止します。これは、コンプライアンスとデータ保持の目的にとって不可欠です。
オブジェクト暗号鍵の更新: 1 つ以上のオブジェクトの顧客管理の暗号鍵を管理できます。これには、オブジェクトの書き換えメソッドを使用して暗号鍵を適用または変更することも含まれます。
制限事項
ストレージのバッチ オペレーションには次の制限があります。
ストレージ バッチ オペレーション ジョブの最大存続期間は 14 日間です。作成から 14 日以内に完了しなかった進行中のジョブは、自動的にキャンセルされます。
同じバケットで 20 を超えるバッチ オペレーション ジョブを同時に実行することはおすすめしません。
ストレージのバッチ オペレーションは VPC Service Controls と互換性がありません。
ストレージのバッチ オペレーションは、次のバケットではサポートされていません。
リクエスト元による支払いが有効になっているバケット。
eur4リージョンまたはus-west8リージョンにあるバケット。