本页面简要介绍了存储批处理操作、其优势、用例、作业配置和限制。
概览
存储空间批量操作是一项 Cloud Storage 管理功能，可以无服务器方式对数十亿个 Cloud Storage 对象执行操作。
借助存储空间批量操作，您可以自动执行对 Cloud Storage 对象的大规模 API 操作，从而缩短为此类操作编写和维护脚本所需的开发时间。为了确保可靠执行，存储批处理操作会自动管理失败操作的重试。此外，存储批处理操作还提供详细的进度跟踪，以监控所有作业的状态和完成情况。存储空间批量操作是一项专属功能，仅通过 Storage Intelligence 订阅即可使用。如需了解价格信息，请参阅 Storage Intelligence 价格。
优势
- 可伸缩性：通过单个存储批量操作作业对数百万个对象执行转换。
- 无服务器执行：在无服务器环境中运行批处理作业，无需管理基础架构。
- 自动化：自动执行复杂且重复性的工作，提高运营效率。
- 缩短开发时间：避免编写和维护复杂的自定义脚本。
- 性能：在所需时间内完成紧急操作。在一个存储分区中并发运行多个批处理作业时，您最多可以在 3 小时内处理 10 亿个对象。
使用场景
将存储空间批量操作与存储空间分析搭配使用，对于以下用例非常有用：
安全管理：
- 使用重写对象方法在多个对象上设置加密密钥。
- 应用或移除对象保全，以控制对象不可变性。
合规性：
- 使用对象保留功能可满足法规合规性的数据保留要求。
- 删除特定时间范围内的数据，以满足清除数据合规性要求。
数据转换：对对象元数据执行批量更新。
成本优化：批量删除 Cloud Storage 存储分区中的对象，以降低存储费用。
作业配置
如需创建存储空间批量操作作业，您需要设置以下作业配置。作业配置是用于控制如何针对不同的处理要求定义作业的参数。
作业名称：用于标识存储批处理作业的唯一名称。此 ID 用于跟踪、监控和引用作业。作业名称为字母数字，例如
job-01。作业说明（可选）：对作业用途的简要说明。这有助于了解和记录作业详情。例如
Deletes all objects in a bucket。存储分区名称：包含要处理的对象的存储分区的名称。这对于定位输入数据至关重要。例如
my-bucket。您只能为作业指定一个存储分区名称。对象选择：用于定义要处理哪些对象的选择条件。您可以使用以下任一选项指定条件：
清单：在创建存储批量操作作业时，创建清单并指定其位置。清单是一个上传到 Google Cloud的 CSV 文件，其中包含要处理的一个对象或对象列表。清单中的每一行都必须包含对象的
bucket和name。您可以选择指定对象的generation。如果您未指定generation，则系统会使用对象的当前版本。该文件必须包含以下格式的标题行：
bucket,name,generation以下是清单示例：
bucket,name,generation bucket_1,object_1,generation_1 bucket_1,object_2,generation_2 bucket_1,object_3,generation_3
您还可以使用存储空间分析数据集创建清单。如需了解详情，请参阅使用存储空间分析数据集创建清单。
对象前缀：指定前缀列表以过滤存储分区中的对象。系统只会处理带有这些前缀的对象。如果为空，则会处理存储分区中的所有对象。
作业类型：存储空间批量操作支持以下作业类型，每个批量操作运行单个作业。
对象删除：您可以删除存储分区中的对象。这对于优化成本、管理数据生命周期和遵守数据删除政策至关重要。
元数据更新：您可以修改对象元数据。这包括更新自定义元数据、存储类别和其他对象属性。
对象保全更新：您可以启用或停用对象保全。对象保全可防止对象被删除或修改，这对于合规性和数据保留至关重要。
限制
存储批量操作存在以下限制：
存储空间批量操作作业的生命周期最长为 14 天。任何在创建后的 14 天内未完成的正在进行的作业都会自动取消。
我们建议不要在同一存储分区上运行超过 20 个并发批量操作作业。
存储空间批量操作与 VPC Service Controls 不兼容。
以下存储分区不支持存储批处理操作：
已启用请求者付款的存储分区。
位于
eur4或us-west8区域的存储分区。