Liste des modèles de règles système

Knowledge Catalog (anciennement Dataplex Universal Catalog) est compatible avec une gamme de modèles de règles que vous pouvez utiliser pour définir et automatiser les processus de qualité et de validation des données. L'implémentation de ces modèles est un élément clé de la gouvernance des données, car elle permet de s'assurer que les ensembles de données restent exacts et cohérents.

Pour identifier les modèles à utiliser, vous pouvez effectuer un profilage des données sur vos ressources afin d'identifier les problèmes de qualité potentiels. Une fois les vérifications de qualité requises identifiées, vous pouvez sélectionner les modèles appropriés sur cette page pour définir des règles pour vos ressources.

Cette page répertorie les modèles de règles système disponibles que vous pouvez utiliser dans n'importe quelle région.

Forme de la table

Nom Description
Comportement attendu d'égalité du nombre de colonnes Règle agrégée qui évalue si le nombre de colonnes dans la table est égal à une valeur spécifiée. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu de plage du nombre de colonnes Règle agrégée qui évalue si le nombre de colonnes dans la table se situe dans une plage spécifiée. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu d'existence de colonne Règle agrégée qui évalue si une colonne spécifique existe dans la table. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu d'actualisation Règle agrégée qui évalue si les dernières données d'une colonne sont plus récentes qu'un intervalle spécifié.
Comportement attendu d'actualisation groupée Règle agrégée qui évalue si les dernières données groupées d'une colonne sont plus récentes qu'un intervalle spécifié.
Comportement attendu de correspondance de schéma ordonné Règle agrégée qui évalue si les colonnes ordonnées de la table correspondent exactement à une liste ordonnée spécifiée.
Comportement attendu d'égalité du nombre de lignes Règle agrégée qui évalue si le nombre de lignes dans la table est égal à une valeur spécifiée.
Comportement attendu de plage du nombre de lignes Règle agrégée qui évalue si le nombre de lignes dans la table se situe dans une plage spécifiée.
Comportement attendu de confinement de schéma Règle agrégée qui évalue si l'ensemble des colonnes de la table contient toutes les colonnes d'un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu d'exclusion de schéma Règle agrégée qui évalue si les colonnes de la table ne figurent pas dans un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu de correspondance de schéma Règle agrégée qui évalue si les colonnes de la table correspondent exactement à un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu d'égalité agrégée de comparaison de tables Règle agrégée qui évalue si le résultat d'une expression agrégée est égal entre la table actuelle et une table de référence spécifiée.
Comportement attendu de plage agrégée de comparaison de tables Règle agrégée qui évalue si le résultat d'une expression agrégée sur la table actuelle s'écarte de la table de référence de plus d'une tolérance spécifiée.
Comportement attendu d'égalité du nombre de lignes de comparaison de tables Règle agrégée qui évalue si le nombre de lignes dans la table actuelle est égal au nombre de lignes dans une table de référence spécifiée, avec un filtrage de lignes facultatif avant le décompte.
Comportement attendu d'égalité du facteur du nombre de lignes de comparaison de tables Règle agrégée qui évalue si le nombre de lignes dans la table actuelle est égal à un facteur du nombre de lignes dans une table de référence spécifiée, avec un filtrage de lignes facultatif avant le décompte.

Valeurs manquantes, valeurs uniques et types

Nom Description
Comportement attendu de type de colonne Règle agrégée qui évalue si le type de données de la colonne correspond à un type spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu de liste de types de colonnes Règle agrégée qui évalue si le type de données de la colonne figure dans un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu de non-nullité Règle au niveau des lignes qui évalue si chaque valeur de colonne n'est pas nulle.
Comportement attendu de nullité Règle au niveau des lignes qui évalue si chaque valeur de colonne est nulle.
Comportement attendu de casse de chaîne Règle au niveau des lignes qui évalue si chaque chaîne de valeur de colonne correspond à une casse spécifiée.
Comportement attendu d'unicité Règle au niveau des lignes qui évalue si chaque valeur de colonne est unique.

Ensembles et plages

Nom Description
Comportement attendu de diminution Règle agrégée qui évalue si les valeurs d'une colonne diminuent. Les valeurs NULL sont ignorées. Renvoie la première ligne où le comportement attendu n'est pas respecté.
Comportement attendu d'augmentation Règle agrégée qui évalue si les valeurs d'une colonne augmentent. Les valeurs NULL sont ignorées. Renvoie la première ligne où le comportement attendu n'est pas respecté.
Comportement attendu de plage Règle au niveau des lignes qui évalue si chaque valeur de colonne se situe dans une plage spécifiée.
Comportement attendu d'ensemble de référence Règle au niveau des lignes qui évalue si chaque valeur de colonne est contenue dans un ensemble de référence spécifié.
Comportement attendu d'exclusion d'ensemble Règle au niveau des lignes qui évalue si chaque valeur de colonne n'est pas contenue dans un ensemble spécifié.
Comportement attendu d'ensemble Règle au niveau des lignes qui évalue si chaque valeur de colonne est contenue dans un ensemble spécifié.

Correspondance de chaînes

Nom Description
Comportement attendu d'exclusion de modèle Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond pas à un modèle SQL LIKE spécifié.
Comportement attendu de liste d'exclusion de modèles Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond à aucun des modèles SQL LIKE spécifiés.
Comportement attendu de modèle Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à un modèle SQL LIKE spécifié.
Comportement attendu de liste de modèles Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à au moins l'un des modèles SQL LIKE spécifiés.
Comportement attendu d'exclusion d'expression régulière Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond pas à une expression régulière spécifiée.
Comportement attendu de liste d'exclusion d'expressions régulières Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond à aucune des expressions régulières spécifiées.
Comportement attendu d'expression régulière Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à une expression régulière spécifiée.
Comportement attendu de liste d'expressions régulières Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à au moins l'une des expressions régulières spécifiées.
Comportement attendu d'égalité de longueur de chaîne Règle au niveau des lignes qui évalue si la longueur de chaque chaîne de valeur de colonne est égale à une valeur spécifiée.
Comportement attendu de plage de longueur de chaîne Règle au niveau des lignes qui évalue si la longueur de chaque chaîne de valeur de colonne se situe dans une plage spécifiée.

Fonctions d'agrégation

Nom Description
Comportement attendu de confinement de valeurs distinctes Règle agrégée qui évalue si l'ensemble des valeurs de colonnes distinctes contient toutes les valeurs d'un ensemble spécifié.
Comportement attendu d'égalité du nombre de valeurs distinctes Règle agrégée qui évalue si le nombre de valeurs distinctes dans la colonne est égal à une valeur spécifiée.
Comportement attendu de plage du nombre de valeurs distinctes Règle agrégée qui évalue si le nombre de valeurs distinctes dans la colonne se situe dans une plage spécifiée.
Comportement attendu de correspondance de valeurs distinctes Règle agrégée qui évalue si l'ensemble des valeurs de colonnes distinctes correspond exactement à un ensemble spécifié.
Comportement attendu de proportion de valeurs distinctes Règle agrégée qui évalue si la proportion de valeurs distinctes dans la colonne (c'est-à-dire le nombre de valeurs distinctes / le nombre total de lignes) se situe dans une plage spécifiée.
Comportement attendu d'ensemble de valeurs distinctes Règle agrégée qui évalue si chaque valeur de colonne distincte est contenue dans un ensemble spécifié.
Comportement attendu de plage maximale Règle agrégée qui évalue si le maximum de la colonne se situe dans une plage spécifiée.
Comportement attendu de plage moyenne Règle agrégée qui évalue si la moyenne de la colonne se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le AVG() résultat de la fonction est non déterministe.
Comportement attendu de plage médiane Règle agrégée qui évalue si la médiane de la colonne se situe dans une plage spécifiée.
Comportement attendu de plage minimale Règle agrégée qui évalue si le minimum de la colonne se situe dans une plage spécifiée.
Comportement attendu de plage de mode Règle agrégée qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se situent dans une plage spécifiée. S'il existe plusieurs modes, chacun sera vérifié par rapport à la plage et tous les modes qui échouent seront renvoyés.
Comportement attendu d'ensemble de modes Règle agrégée qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se trouvent dans l'ensemble spécifié. Les valeurs NULL sont ignorées lors du calcul des modes. S'il existe plusieurs modes avec la même fréquence la plus élevée, chacun sera vérifié par rapport à l'ensemble et tous les modes qui échouent seront renvoyés dans un tableau.
Comportement attendu de plage de quantile Règle agrégée qui évalue si la valeur du quantile spécifié pour la colonne se situe dans une plage spécifiée.
Comportement attendu de plage d'écart type Règle agrégée qui évalue si l'écart type de la colonne se situe dans une plage spécifiée.
Comportement attendu de plage de somme Règle agrégée qui évalue si la somme de la colonne se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le SUM() résultat de la fonction est non déterministe.
Comportement attendu d'égalité du nombre de valeurs uniques de comparaison de tables Règle agrégée qui évalue si le nombre de valeurs uniques dans une colonne spécifiée est égal entre la table actuelle et une table de référence.

Plusieurs colonnes

Nom Description
Comportement attendu d'égalité de comparaison de colonnes Règle au niveau des lignes qui évalue si la valeur de la colonne A est égale à la valeur de la colonne B pour chaque ligne.
Comportement attendu de comparaison de colonnes supérieure Règle au niveau des lignes qui évalue si la valeur de la colonne A est supérieure à la valeur de la colonne B pour chaque ligne.
Comportement attendu d'ensemble de paires de colonnes Règle agrégée qui évalue si les valeurs appariées des colonnes A et B sont contenues dans un ensemble spécifié.
Comportement attendu d'égalité de somme de plusieurs colonnes Règle agrégée qui évalue si la somme de toutes les lignes d'une liste de colonnes spécifiée est égale à une valeur spécifiée. Si un type à virgule flottante est renvoyé, le SUM() résultat de la fonction est non déterministe.
Comportement attendu d'unicité de plusieurs colonnes Règle au niveau des lignes qui évalue si la combinaison de valeurs dans une liste de colonnes spécifiée est unique pour chaque ligne (par exemple, une clé primaire à plusieurs colonnes).
Comportement attendu d'unicité de colonne d'enregistrement Règle au niveau des lignes qui évalue si les valeurs d'une liste de colonnes spécifiée sont uniques dans chaque enregistrement (ligne). Notez que les enregistrements peuvent être dupliqués.

Fonctions de distribution

Nom Description
Comportement attendu d'exhaustivité de la partie de date Règle agrégée qui évalue si une table contient des données pour chaque intervalle (par exemple, chaque jour) dans une plage de dates.
Comportement attendu de valeurs d'écart type Règle au niveau des lignes qui évalue si chaque valeur de colonne se situe dans un nombre spécifié d'écarts types par rapport à la moyenne de la colonne.

Conditions génériques

Nom Description
Comportement attendu de condition de ligne Règle au niveau des lignes qui évalue si chaque ligne d'une table respecte la condition spécifiée.
Assertion SQL Règle agrégée qui évalue le nombre de lignes renvoyées pour l'instruction fournie. Si des lignes sont renvoyées, cette règle échoue.
Comportement attendu de condition de table Règle agrégée qui évalue si l'expression fournie est vraie pour une table.

Étape suivante