Análisis de Datos y Consultas

Google BigQuery

Descripción

El componente Google BigQuery permite conectar sistemas a BigQuery, posibilitando la ingestión de datos, la ejecución de consultas y la exportación de resultados a otros sistemas.

El componente funciona exclusivamente como producer, lo que significa que no permite ejecutar consultas en BigQuery, solo insertar datos.

Ejemplo

El flujo a continuación recibe datos vía solicitud POST, los procesa y los envía a Google BigQuery, con conversiones de formato JSON durante el proceso. Vea los steps:

El flujo comienza con una solicitud REST POST.
Los datos recibidos se convierten de JSON (marshal) a un formato interno utilizando la biblioteca Jackson.
Los datos se envían a Google BigQuery, en la tabla employees del dataset poc_bigquery, en el proyecto registry-ipaas-testing.
La clave de la cuenta de servicio key.json se utiliza para autenticar la solicitud.
Los datos se convierten nuevamente (unmarshal) al formato JSON utilizando la biblioteca Jackson, después del procesamiento.

El componente Google BigQuery recibe como entrada un "List" o "Map", lo que hace necesario el uso del EIP "unmarshal" para convertir los datos al formato adecuado.

Script

Diagrama

- from:
    uri: rest:post:/demo
    steps:
      - unmarshal:
          json:
            library: Jackson
      - to:
          uri: google-bigquery://registry-ipaas-testing:poc_bigquery:employees
          parameters:
            serviceAccountKey: key.json
      - marshal:
          json:
            library: Jackson

Google BigQuery SQL Standard

Descripción

El componente Google BigQuery SQL Standard permite conectar sistemas a BigQuery, posibilitando la ingestión de datos, la ejecución de consultas y la exportación de resultados a otros sistemas.

La implementación actual solo admite instrucciones DML estándar de SQL. El BigQuery Data Manipulation Language (DML) le permite actualizar, insertar y eliminar datos de las tablas en BigQuery. El componente no permite el uso de SELECT.

Ejemplo

En el siguiente ejemplo, el flujo elimina datos de una tabla en Google BigQuery cuando se recibe una solicitud GET. Vea los steps:

El flujo comienza con una solicitud REST GET.
Se ejecuta una consulta SQL DELETE en Google BigQuery para eliminar todos los registros de la tabla employees.
La clave de la cuenta de servicio key.json se utiliza para autenticar la operación en Google BigQuery.
Los datos se convierten al formato JSON utilizando la biblioteca Jackson, después de ejecutar la consulta SQL.

Script

Diagrama

- from:
          uri: rest:get:/demo
          steps:
          - to:
              uri: google-bigquery-sql://registry-ipaas-testing:delete from poc_bigquery.employees where true
              parameters:
                serviceAccountKey: key.json
          - marshal:
              json:
                library: Jackson

Thanks for your feedback!

EDIT

Share your suggestions with us!
Click here and then [+ Submit idea]