Análise de Dados e Consultas

Google BigQuery

Descrição

O componente Google BigQuery permite conectar sistemas ao BigQuery, possibilitando a ingestão de dados, a execução de consultas e a exportação de resultados para outros sistemas.

O componente Google BigQuery funciona exclusivamente como producer, o que significa que ele não permite a execução de consultas no BigQuery, apenas a inserção de dados.

Exemplo

O fluxo abaixo recebe dados via requisição POST, processa-os e envia para o Google BigQuery, com conversões de formato JSON durante o processo. Veja os steps:

O fluxo começa com uma requisição REST POST.
Os dados recebidos são convertidos de JSON (marshal) para um formato interno utilizando a biblioteca Jackson.
Os dados são enviados para o Google BigQuery, na tabela employees do dataset poc_bigquery, no projeto registry-ipaas-testing.
A chave da conta de serviço key.json é usada para autenticar a requisição.
Os dados são convertidos novamente (unmarshal) para o formato JSON utilizando a biblioteca Jackson, após o processamento.

O componente Google BigQuery recebe como entrada um "List" ou "Map", o que torna necessário o uso do EIP "unmarshal" para realizar a conversão dos dados para o formato adequado.

Script

Diagrama

- from:
    uri: rest:post:/demo
    steps:
      - unmarshal:
          json:
            library: Jackson
      - to:
          uri: google-bigquery://registry-ipaas-testing:poc_bigquery:employees
          parameters:
            serviceAccountKey: key.json
      - marshal:
          json:
            library: Jackson

Google BigQuery SQL Standard

Descrição

O componente Google BigQuery SQL Standard permite conectar sistemas ao BigQuery, possibilitando a ingestão de dados, a execução de consultas e a exportação de resultados para outros sistemas.

A implementação atual suporta apenas instruções DML padrão do SQL. O BigQuery Data Manipulation Language (DML) permite atualizar, inserir e excluir dados das tabelas no BigQuery. O componente não permite o uso do SELECT.

Exemplo

No exemplo abaixo, o fluxo exclui dados de uma tabela no Google BigQuery quando uma requisição GET é recebida. Veja os steps:

O fluxo começa com uma requisição REST GET.
Uma consulta SQL DELETE é executada no Google BigQuery para excluir todos os registros da tabela employees.
A chave da conta de serviço key.json é usada para autenticar a operação no Google BigQuery.
Os dados são convertidos para o formato JSON utilizando a biblioteca Jackson, após a execução da consulta SQL.

Script

Diagrama

- from:
          uri: rest:get:/demo
          steps:
          - to:
              uri: google-bigquery-sql://registry-ipaas-testing:delete from poc_bigquery.employees where true
              parameters:
                serviceAccountKey: key.json
          - marshal:
              json:
                library: Jackson

Thanks for your feedback!

EDIT

Share your suggestions with us!
Click here and then [+ Submit idea]