Batchvorgänge für Speicher

Auf dieser Seite finden Sie einen Überblick über Batch-Vorgänge für die Speicherung, ihre Vorteile, Anwendungsfälle, Jobkonfigurationen und Einschränkungen.

Übersicht

Speicher-Batchvorgänge sind eine Cloud Storage-Verwaltungsfunktion, mit der Vorgänge auf Milliarden von Cloud Storage-Objekten serverlos ausgeführt werden.

Mit Batch-Speichervorgängen können Sie groß angelegte API-Vorgänge für Cloud Storage-Objekte automatisieren und so die Entwicklungszeit für das Schreiben und Verwalten von Scripts für solche Vorgänge verkürzen. Für eine zuverlässige Ausführung werden bei Batch-Vorgängen im Speicher fehlgeschlagene Vorgänge automatisch wiederholt. Darüber hinaus bieten Speicher-Batchvorgänge eine detaillierte Fortschrittsüberwachung, um den Status und den Abschluss aller Jobs zu verfolgen. Batch-Vorgänge für den Speicher sind eine exklusive Funktion, die nur mit dem Storage Intelligence-Abo verfügbar ist. Preisinformationen finden Sie unter Storage Intelligence-Preise.

Vorteile

  • Skalierbarkeit: Mit einem einzigen Job für Speicher-Batchvorgänge können Transformationen für Millionen von Objekten ausgeführt werden.
  • Serverlose Ausführung: Sie können Batchjobs in einer serverlosen Umgebung ausführen, sodass keine Infrastruktur verwaltet werden muss.
  • Automatisierung: Komplexe und sich wiederholende Aufgaben werden automatisiert, um die Betriebseffizienz zu verbessern.
  • Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Scripts schreiben und verwalten.
  • Leistung: Zeitkritische Vorgänge werden innerhalb der erforderlichen Zeit abgeschlossen. Wenn mehrere Batchjobs gleichzeitig in einem Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu eine Milliarde Objekte verarbeiten.

Anwendungsfälle

Batch-Speichervorgänge sind in Kombination mit Storage Insights für die folgenden Anwendungsfälle nützlich:

  • Sicherheitsmanagement:

    • Mit der Methode Objekt umschreiben können Sie Verschlüsselungsschlüssel für mehrere Objekte festlegen.
    • Sie können Objekt-Holds anwenden oder entfernen, um die Unveränderlichkeit von Objekten zu steuern.

  • Compliance:

    • Mit Objekt-Holds können Sie die Anforderungen an die Datenaufbewahrung für die rechtliche Compliance erfüllen.
    • Daten in bestimmten Zeiträumen löschen, um die Anforderungen an die Datenlöschung zu erfüllen.

  • Datentransformation: Bulk-Aktualisierungen von Objektmetadaten ausführen.

  • Kostenoptimierung: Objekte in Cloud Storage-Buckets können im Bulk-Verfahren gelöscht werden, um die Speicherkosten zu senken.

Jobkonfigurationen

Wenn Sie einen Job für Batch-Speichervorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen. Jobkonfigurationen sind Parameter, mit denen festgelegt wird, wie der Job für unterschiedliche Verarbeitungsanforderungen definiert wird.

  • Jobname: Ein eindeutiger Name, der den Job für Batch-Speichervorgänge identifiziert. Dieser wird zum Tracking, Überwachen und Verweisen auf den Job verwendet. Jobnamen sind alphanumerisch, z. B. job-01.

  • Jobbeschreibung (optional): Eine kurze Beschreibung des Zwecks der Stelle. So können Sie die Jobdetails besser nachvollziehen und dokumentieren. Beispiel: Deletes all objects in a bucket.

  • Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket Sie können für einen Job nur einen Bucket-Namen angeben.

  • Objektauswahl: Die Auswahlkriterien, die festlegen, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:

    • Manifest: Erstellen Sie ein Manifest und geben Sie seinen Speicherort an, wenn Sie den Job für Batch-Speichervorgänge erstellen. Das Manifest ist eine CSV-Datei, die auf Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss die bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie generation nicht angeben, wird die aktuelle Version des Objekts verwendet.

      Die Datei muss eine Kopfzeile im folgenden Format enthalten:

      bucket,name,generation

      Hier ein Beispiel für das Manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Sie können ein Manifest auch mit Storage Insights-Datasets erstellen. Weitere Informationen finden Sie unter Manifest mit Storage Insights-Datasets erstellen.

    • Objektpräfixe: Geben Sie eine Liste von Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn das Feld leer ist, werden alle Objekte im Bucket verarbeitet.

  • Jobtyp:Für Batch-Vorgänge für die Speicherung werden die folgenden Jobtypen unterstützt. Dabei wird pro Batch-Vorgang ein einzelner Job ausgeführt.

    • Objektlöschung: Sie können Objekte in einem Bucket löschen. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zur Datenlöschung.

    • Metadatenaktualisierungen: Sie können die Objektmetadaten ändern. Dazu gehören das Aktualisieren benutzerdefinierter Metadaten, der Speicherklasse und anderer Objekteigenschaften.

    • Aktualisierungen von Objekt-Holds: Sie können Objekt-Holds aktivieren oder deaktivieren. Mit Objekt-Holds wird verhindert, dass Objekte gelöscht oder geändert werden. Dies ist für die Einhaltung von Vorschriften und die Datenaufbewahrung unerlässlich.

    • Aktualisierungen von Objektverschlüsselungsschlüsseln: Sie können die vom Kunden verwalteten Verschlüsselungsschlüssel für ein oder mehrere Objekte verwalten. Dazu gehört auch das Anwenden oder Ändern von Verschlüsselungsschlüsseln mit der Methode Objekt umschreiben.

Beschränkungen

Für Batch-Vorgänge im Speicher gelten die folgenden Einschränkungen:

  • Jobs für Batch-Vorgänge im Speicher haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.

  • Wir empfehlen, nicht mehr als 20 Batchvorgänge gleichzeitig für denselben Bucket auszuführen.

  • Batch-Speichervorgänge sind nicht mit VPC Service Controls kompatibel.

  • Batchvorgänge für den Speicher werden für die folgenden Bucket-Typen nicht unterstützt:

    • Buckets, für die Anforderer bezahlt aktiviert ist.

    • Buckets in den Regionen eur4 oder us-west8

Nächste Schritte