Origem de lote do Cloud Storage

Esta página oferece orientações sobre como configurar o plug-in de origem em lote do Cloud Storage no Cloud Data Fusion.

O plug-in de origem de lote do Cloud Storage permite ler dados de buckets do Cloud Storage e levá-los ao Cloud Data Fusion para processamento e transformação. Ele permite carregar dados de vários formatos de arquivo, incluindo:

  • Estruturado: CSV, Avro, Parquet, ORC
  • Semiestruturados: JSON, XML
  • Outros: texto, binário

Antes de começar

O Cloud Data Fusion geralmente tem duas contas de serviço:

Antes de usar o plug-in de origem em lote do Cloud Storage, conceda as seguintes funções ou permissões a cada conta de serviço.

Agente de serviço da API Cloud Data Fusion

Essa conta de serviço já tem todas as permissões necessárias, e você não precisa adicionar outras.

Conta de serviço do Compute Engine

No projeto Google Cloud , conceda os seguintes papéis ou permissões do IAM à conta de serviço do Compute Engine:

  • Leitor de bucket legado do Storage (roles/storage.legacyBucketReader). Esse papel predefinido contém a permissão storage.buckets.get necessária.

  • Leitor de objetos do Storage (roles/storage.legacyBucketReader): esse papel predefinido contém as seguintes permissões necessárias:

    • storage.objects.get
    • storage.objects.list

Configurar o plug-in

  1. Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se a opção Pipeline de dados – lote está selecionada (não Tempo real).
  3. No menu Origem, clique em GCS. O nó do Cloud Storage aparece no pipeline.
  4. Para configurar a origem, acesse o nó do Cloud Storage e clique em Propriedades.

  5. Insira as seguintes propriedades. Para uma lista completa, consulte Propriedades.

    1. Insira um rótulo para o nó do Cloud Storage, por exemplo, Cloud Storage tables.

    2. Insira os detalhes da conexão. É possível configurar uma nova conexão única ou uma conexão existente e reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao Cloud Storage, siga estas etapas:

      1. Mantenha a opção Usar conexão desativada.
      2. No campo ID do projeto, deixe o valor como detecção automática.

      3. No campo Tipo de conta de serviço, deixe o valor como Caminho do arquivo e o Caminho do arquivo da conta de serviço como detecção automática.

      Conexão reutilizável

      Para reutilizar uma conexão existente, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Clique no nome da conexão, por exemplo, Padrão do Cloud Storage.

      4. Opcional: se uma conexão não existir e você quiser criar uma nova conexão reutilizável, clique em Adicionar conexão e consulte as etapas na guia Nova conexão desta página.

    3. No campo Nome da referência, insira um nome para usar na linhagem, por exemplo, data-fusion-gcs-campaign.

    4. No campo Caminho, insira o caminho a ser lido, por exemplo, gs://BUCKET_PATH.

    5. No campo Formato, selecione um dos seguintes formatos de arquivo para os dados que estão sendo lidos:

      • avro
      • blob: o formato blob exige um esquema que contenha um campo chamado "body" do tipo bytes.
      • csv
      • delimitado
      • json
      • Parquet
      • text: o formato de texto exige um esquema que contenha um campo chamado "body" do tipo string.
      • tsv
      • O nome de qualquer plug-in de formato implantado no seu ambiente

    6. Opcional: para testar a conectividade, clique em Gerar esquema.

    7. Opcional: no campo Tamanho da amostra, insira o número máximo de linhas a ser verificado para o tipo de dados selecionado, por exemplo, 1000.

    8. Opcional: no campo Substituir, insira os nomes das colunas e os respectivos tipos de dados a serem ignorados.

    9. Opcional: insira Propriedades avançadas, como um tamanho mínimo de divisão ou um filtro de caminho de expressão regular (consulte Propriedades).

    10. Opcional: no campo Nome do bucket temporário, insira um nome para o bucket do Cloud Storage.

  6. Opcional: clique em Validar e corrija os erros encontrados.

  7. Clique em Fechar. As propriedades são salvas, e você pode continuar criando seu pipeline de dados no Cloud Data Fusion Studio.

Propriedades

Propriedade Macro ativada Propriedade obrigatória Descrição
Rótulo Não Sim O nome do nó no pipeline de dados.
Usar conexão Não Não Procure uma conexão reutilizável com a origem. Para mais informações sobre como adicionar, importar e editar as conexões que aparecem quando você navega por elas, consulte Gerenciar conexões.
Conexão Sim Sim Se a opção Usar conexão estiver ativada, o nome da conexão reutilizável selecionada vai aparecer nesse campo.
ID do projeto Sim Não Usado apenas quando a opção Usar conexão está desativada. Um identificador globalmente exclusivo para o projeto.
O padrão é auto-detect.
Tipo de conta de serviço Sim Não Selecione uma das seguintes opções:
  • Caminho do arquivo: o caminho em que a conta de serviço está localizada.
  • JSON: conteúdo JSON da conta de serviço.
Caminho do arquivo da conta de serviço Sim Não Usado apenas quando o valor do tipo de conta de serviço é Caminho do arquivo. O caminho no sistema de arquivos local da chave da conta de serviço usada para autorização. Se os jobs forem executados em clusters do Dataproc, defina o valor como detecção automática. Se os jobs forem executados em outros tipos de clusters, o arquivo precisa estar presente em todos os nós do cluster.
O padrão é auto-detect.
JSON da conta de serviço Sim Não Usado apenas quando o valor do tipo de conta de serviço é JSON. O conteúdo do arquivo JSON da conta de serviço.
Nome de referência Não Sim Nome que identifica exclusivamente essa origem para outros serviços, como linhagem e anotação de metadados.
Caminho Sim Sim Caminho para os arquivos a serem lidos. Se um diretório for especificado, encerre o caminho com uma barra invertida (/). Por exemplo, gs://bucket/path/to/directory/. Para corresponder a um padrão de nome de arquivo, use um asterisco (*) como curinga. Se nenhum arquivo for encontrado ou correspondido, o pipeline vai falhar.
Formato Não Sim Formato dos dados a serem lidos. O formato precisa ser um dos seguintes:
  • avro
  • blob: o formato blob exige um esquema que contenha um campo chamado "body" do tipo bytes.
  • csv
  • delimitado
  • json
  • Parquet
  • text: o formato de texto exige um esquema que contenha um campo chamado "body" do tipo string.
  • tsv
  • O nome de qualquer plug-in de formato implantado no ambiente
  • Se o formato for uma macro, só os formatos pré-empacotados poderão ser usados.
Tamanho da amostra Sim Não O número máximo de linhas que são investigadas para a detecção automática do tipo de dados. O padrão é 1000.
Substituir Sim Não Uma lista de colunas com os dados correspondentes em que a detecção automática do tipo de dados é ignorada.
Delimitador Sim Não Delimitador a ser usado quando o formato é delimitado. Essa propriedade é ignorada para outros formatos.
Ativar valores cotados Sim Não Define se o conteúdo entre aspas será tratado como um valor. Essa propriedade é usada apenas para os formatos csv, tsv ou delimitado. Por exemplo, se essa propriedade for definida como "true", a saída a seguir vai gerar dois campos: 1, "a, b, c". O primeiro campo tem 1 como valor. A segunda tem a, b, c. Os caracteres de aspas são cortados. O delimitador de nova linha não pode estar entre aspas.
O plug-in pressupõe que as aspas estejam corretamente inseridas, por exemplo, "a, b, c". Não fechar uma citação ("a,b,c,) causa um erro.
O valor padrão é Falso.
Usar a primeira linha como cabeçalho Sim Não Define se a primeira linha de cada arquivo será usada como cabeçalho da coluna. Os formatos aceitos são texto, csv, tsv e delimitado.
O padrão é Falso.
Tamanho mínimo da divisão Sim Não Tamanho mínimo, em bytes, para cada partição de entrada. Partições menores aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga.
Se o valor Formato for blob, não será possível dividir os dados.
Tamanho máximo da divisão Sim Não Tamanho máximo, em bytes, para cada partição de entrada. Partições menores aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga.
Se o valor Formato for blob, não será possível dividir os dados.
O padrão é 128 MB.
Filtro de caminho de regex Sim Não Expressão regular que os caminhos de arquivo precisam corresponder para serem incluídos na entrada. O caminho completo é comparado, não apenas o nome do arquivo. Se nenhum arquivo for fornecido, a filtragem de arquivos não será feita. Para mais informações sobre a sintaxe de expressões regulares, consulte Padrão.
Campo de caminho Sim Não Campo de saída para colocar o caminho do arquivo de onde o registro foi lido. Se não for especificado, o caminho não será incluído nos registros de saída. Se especificado, o campo precisa existir no esquema de saída como uma string.
Somente o nome do arquivo do caminho Sim Não Se uma propriedade campo de caminho estiver definida, use apenas o nome do arquivo, e não o URI do caminho.
O padrão é Falso.
Ler arquivos de forma recursiva Sim Não Define se os arquivos serão lidos de forma recursiva no caminho.
O padrão é Falso.
Permitir entrada vazia Sim Não Define se é permitido um caminho de entrada que não contém dados. Quando definido como False, o plug-in vai gerar um erro quando não houver dados para leitura. Quando definido como True, nenhum erro é gerado e nenhum registro é lido.
O padrão é Falso.
Arquivo de dados criptografado Sim Não Se os arquivos estão criptografados. Para mais informações, consulte Criptografia de arquivos de dados.
O padrão é Falso.
Sufixo do arquivo de metadados de criptografia Sim Não O sufixo do nome de arquivo do arquivo de metadados de criptografia.O padrão de
é metadata.
Propriedades do sistema de arquivos Sim Não Propriedades adicionais para usar com o InputFormat ao ler os dados.
Codificação de arquivos Sim Não A codificação de caracteres dos arquivos a serem lidos.
O padrão é UTF-8.
Esquema de saída Sim Não Se uma propriedade campo de caminho estiver definida, ela precisará estar presente no esquema como uma string.

Criptografia de arquivos de dados

Esta seção descreve a propriedade Criptografia de arquivos de dados. Se você definir como true, os arquivos serão descriptografados usando a AEAD de streaming fornecida pela biblioteca do Tink. Cada arquivo de dados precisa ser acompanhado de um arquivo de metadados que contenha as informações da criptografia. Por exemplo, um arquivo de dados criptografado em gs://BUCKET/PATH_TO_DIRECTORY/file1.csv.enc precisa ter um arquivo de metadados em gs://BUCKET/ PATH_TO_DIRECTORY/file1.csv.enc.metadata. O arquivo de metadados contém um objeto JSON com as seguintes propriedades:

Propriedade Descrição
kms O URI do Cloud Key Management Service usado para criptografar a chave de criptografia de dados.
aad Os dados autenticados adicionais codificados em Base64 usados na criptografia.
key set Um objeto JSON que representa as informações do conjunto de chaves serializadas da biblioteca Tink.

Exemplo

    /* Counting example */
    {

      "kms": "gcp-kms://projects/my-key-project/locations/us-west1/keyRings/my-key-ring/cryptoKeys/mykey",

      "aad": "73iT4SUJBM24umXecCCf3A==",

      "keyset": {

          "keysetInfo": {

              "primaryKeyId": 602257784,

              "keyInfo": [{

                  "typeUrl": "type.googleapis.com/google.crypto.tink.AesGcmHkdfStreamingKey",

                  "outputPrefixType": "RAW",

                  "keyId": 602257784,

                  "status": "ENABLED"

              }]

          },

          "encryptedKeyset": "CiQAz5HH+nUA0Zuqnz4LCnBEVTHS72s/zwjpcnAMIPGpW6kxLggSrAEAcJKHmXeg8kfJ3GD4GuFeWDZzgGn3tfolk6Yf5d7rxKxDEChIMWJWGhWlDHbBW5B9HqWfKx2nQWSC+zjM8FLefVtPYrdJ8n6Eg8ksAnSyXmhN5LoIj6az3XBugtXvCCotQHrBuyoDY+j5ZH9J4tm/bzrLEjCdWAc+oAlhsUAV77jZhowJr6EBiyVuRVfcwLwiscWkQ9J7jjHc7ih9HKfnqAZmQ6iWP36OMrEn"

      }

    }

Notas de lançamento

A seguir