BigQuery es un almacén donde se pueden almacenar y consultar toneladas de datos acumulados de múltiples fuentes. Por lo tanto, en la mayoría de los casos, BigQuery actúa como un destino para sus datos, a donde usted importa la información. Al mismo tiempo, se convierte en una fuente de datos cuando necesita exportar datos desde BigQuery, por ejemplo, para compartir una parte de un conjunto de datos con las partes interesadas o utilizar información específica para un informe. Por lo tanto, hemos creado este tutorial para responder a las preguntas más comunes sobre la exportación de datos de BigQuery, como “¿Cómo se pueden exportar datos?“, “¿Qué formatos están disponibles?“, “¿Se puede automatizar la exportación de datos?“, etc. Siga leyendo para conocer los detalles y descubrir formas prácticas de exportar datos de BigQuery.
¿Cuáles son las opciones para exportar datos desde BigQuery?
Básicamente, hay tres formas de extraer los datos de BigQuery:
- Exportación manual. Permite exportar tablas de BigQuery a Cloud Console y extraer resultados de consultas a CSV, JSON y Google Sheets.
- Exportación automatizada mediante una solución de terceros. Esto le permite exportar tablas y consultas a diferentes destinos como Excel o Google Sheets, e incluso automatizar este flujo de datos. Los destinos y las funciones para la exportación de datos de BigQuery dependen de la herramienta que elija. Por ejemplo, con Coupler.io, puede programar exportaciones de datos de BigQuery a Google Sheets, Excel y otros proyectos de BigQuery.
- Exportación programática de datos. Siempre puede utilizar una biblioteca de cliente para permitir la exportación programática de datos de BigQuery a su destino. Sin embargo, se requieren conocimientos de codificación.
¿Cuál es el mejor para usted? Depende de sus necesidades. Sin embargo, el enfoque más práctico para exportar datos de BigQuery es el que permite automatizar el flujo de datos.
Método de exportación de datos BigQuery para automatizar informes y análisis
Decidimos empezar con la introducción de la forma automatizada de exportar datos desde BigQuery utilizando Coupler.io.
Coupler.io es una plataforma de automatización y análisis de datos. Proporciona una solución ETL para automatizar las exportaciones de datos de BigQuery con una frecuencia personalizada, como cada hora o incluso cada 15 minutos. El destino de los datos exportados está basado en la nube: Google Sheets, Microsoft Excel o BigQuery. Sí, puede transferir datos de BigQuery a BigQuery (otro proyecto o conjunto de datos).
Este método es bastante beneficioso si desea mantener actualizado el conjunto de datos exportados sin tener que exportarlos manualmente todo el tiempo. Veamos cómo funciona en la práctica.
Exportar una tabla BigQuery a una hoja de cálculo
En el proyecto llamado test-project-310805, tenemos un conjunto de datos llamado Test y una tabla llamada Xero data.
Para exportar esta tabla BigQuery a Google Sheets, tenemos que hacer lo siguiente:
- Regístrate en Coupler.io, haz clic en Add new importer y selecciona la aplicación de source (Bigquery) y la aplicación de destination (Google Sheets). A continuación, tendrás que configurar la conexión con las aplicaciones seleccionadas.
Aplicación fuente – BigQuery
- Conéctate a la cuenta de Google BigQuery. Para ello, deberá seleccionar un archivo de claves de Google Cloud almacenado en su dispositivo y hacer clic en Save.
Aquí tienes instrucciones detalladas sobre cómo obtener un archivo llave de Google Cloud.
- Introduzca la consulta SQL para exportar una tabla o un rango de datos específico fuera de BigQuery. Por ejemplo, para exportar una tabla completa, la cadena de consulta SQL debe tener este aspecto:
SELECT * FROM `{proyecto}.{conjunto de datos}.{tabla}``.En nuestro ejemplo, la consulta SQL tiene el siguiente aspecto:
SELECT * FROM `test-project-310805.Test.Xero data`
Haga clic en Proceed para ir a la configuración de destino.
Aplicación de destino – Google Sheets
- Conecta tu cuenta de Google. A continuación, elija una hoja de cálculo en su Google Drive y una hoja donde cargar los datos de BigQuery. También puedes configurar parámetros opcionales, como el rango de celdas donde importar tu rango de datos, el modo de importación y la última columna actualizada.
Ya está. Puedes hacer clic en Save and run para exportar tus datos de BigQuery de inmediato. Los entusiastas de los datos, sin embargo, están ansiosos por saber qué se esconde tras el botón Proceed ? ¡Descubrámoslo!
Nota: Coupler.io también admite BigQuery como destino para múltiples fuentes compatibles. Consulta las integraciones de BigQuery disponibles.
Horario
Coupler.io le permite establecer una exportación programada de BigQuery, es decir, automatizar las exportaciones de sus datos BQ con una frecuencia personalizada, como cada hora o cada día. Para ello, debes activar la opción Actualización automática de datos y configurarla:
- Elegir intervalo
- Elija los días de la semana
- Elegir preferencias horarias
- Elegir zona horaria
Finalmente, debe hacer clic en Save and run para exportar los datos de BigQuery a una hoja de cálculo. Este es el resultado:
De forma similar, puede conectar BigQuery a Excel cambiando la aplicación de destino y el libro de trabajo. Veamos cómo funciona en el siguiente ejemplo.
Exportación de los resultados de la consulta BigQuery a un libro de trabajo
La funcionalidad nativa permite exportar los resultados de las consultas de BigQuery a Google Drive como CSV, JSON o Google Sheets. También puede descargar consultas a un dispositivo local como CSV o JSON. Sin embargo, necesitamos extraer la siguiente consulta SQL a un archivo Excel.
SELECT * FROM `test-project-310805.Test.Xero data` WHERE subtotal > 300 AND type = "ACCREC"
Coupler.io puede realizar fácilmente este trabajo de exportación de datos BigQuery. El flujo es el mismo que hemos descrito en la sección anterior. Sin embargo, solo tienes que elegir Excel como aplicación de destino, conectarte a tu cuenta Microsoft y seleccionar un libro de trabajo almacenado en OneDrive.
Y no olvides copiar y pegar tu consulta SQL en un campo respectivo al configurar la fuente.
En unos instantes, después de hacer clic en Save and run, reciba los resultados de la consulta en su libro de Excel.
Con la herramienta ETL de Coupler.io, no sólo puede automatizar la exportación de datos desde BigQuery, sino también copiar de BigQuery tablasa otros conjuntos de datos o proyectos.
¿Para qué se puede utilizar la exportación programada de BigQuery?
La capacidad de exportar datos desde BigQuery de forma programada es beneficiosa para diferentes necesidades analíticas y de elaboración de informes. Puede crear un informe que se actualizará automáticamente con la frecuencia establecida, liberándole así del enrutamiento manual en la actualización de datos. O puede disponer de un cuadro de mandos que se actualice automáticamente y le permita mantener el pulso de su proyecto. Por ejemplo, el siguiente cuadro de mando sobre el rendimiento de las campañas publicitarias utiliza las exportaciones programadas de datos de BigQuery a Google Sheets, que está conectado a Looker.
Si quieres un cuadro de mando como este u otra solución analítica personalizada para tu empresa, echa un vistazo al servicio de consultoría de analítica de datos de Coupler.io. El equipo de expertos en datos puede resolver diferentes tareas relacionadas con la gestión de automatización de datos, visualización y muchas más.
Límite de exportación manual de BigQuery y tipos de datos
Ahora, hablemos de la exportación manual de datos de BigQuery. Cada tabla en BigQuery tiene el botón Exportar, que parece ser clave para sacar datos de BigQuery.
Sin embargo, sólo permite exportar la tabla a GCS – Google Cloud Storage. Otra limitación es que los únicos formatos disponibles son CSV, JSON, Avro y Parquet.
También puedes exportar los resultados de las consultas de BigQuery en diferentes formatos a Google Drive o a tu dispositivo local:
- Exporta como archivo CSV a Google Drive o descárgalo en tu dispositivo.
- Exporta como archivo JSON a Google Drive o descárgalo en tu dispositivo.
- Exportar como archivo de Google Sheets a Google Drive.
- Guardar los resultados de la consulta como una tabla BigQuery.
- Copiar al portapapeles.
Nos centraremos en esto en la siguiente sección. Otros formatos, como Excel, o destinos no son compatibles con la funcionalidad nativa de exportación de datos de BigQuery. Además, hay un montón de otras limitaciones de exportación:
- Un solo archivo para exportar no puede tener más de 1 GB.
- No se admiten datos anidados y repetidos en formato CSV.
- La exportación en formato JSON convierte los símbolos ,<> , y & a su notación Unicode – por ejemplo, ventas&ingresos se convertirá en ventas\u0026ingresos.
- No es posible exportar datos de varias tablas a la vez.
La función nativa de exportación de datos de BigQuery es bastante superficial, por lo que tiene sentido utilizar Coupler.io u otros conectores de terceros que puedan ampliarla. No obstante, vamos a ver cómo exportar manualmente tablas o resultados de consultas de BigQuery.
Explicación de la exportación de BigQuery a CSV
Veamos dos casos de exportación de datos BigQuery a CSV:
- Exportar una tabla entera
- Exportar una consulta SQL
Exportación de resultados de consulta de BigQuery a CSV
- Ejecute su consulta SQL. En nuestro caso, tiene este aspecto:
SELECT * FROM `couplerio-demo.xero.facturaspagadas` WHERE subtotal > 300 AND type = "ACCREC"
- Haz clic en Save results => selecciona CSV y el destino asociado a su exportación: dispositivo local o Google Drive. Puedes guardar hasta 1GB como CSV en GDrive y solo 10MB localmente.
Sea cual sea la opción de exportación de datos de BigQuery que elijas, el archivo CSV con los resultados de tu consulta SQL se descargará inmediatamente en tu ordenador o en Google Drive asociado a tu cuenta de Google.
Exportar tabla BigQuery a CSV
Como hemos mencionado anteriormente, solo puedes exportar una tabla de BigQuery como CSV a Google Cloud Storage. Sin embargo, si necesitas exportarla a tu ordenador o a Google Drive, puedes hacerlo guardando los resultados de la consulta como hemos explicado anteriormente.
Todo lo que tienes que hacer es ejecutar una consulta SQL que te devuelva toda la tabla, por ejemplo, así:
SELECT * FROM `couplerio-demo.xero.facturas pagadas`.
A continuación, sólo tienes que guardar los resultados como un archivo CSV. Y ya está.
Exportación de datos de BigQuery: ¿cuál es la mejor manera?
Desde una perspectiva imparcial, tenemos que admitir que cada forma de exportar datos de BigQuery tiene sus ventajas e inconvenientes. Para exportaciones únicas, la funcionalidad nativa funciona bien. Basta con hacer un par de clics para obtener los resultados de la consulta o toda la tabla de BigQuery en Google Sheets, CSV o JSON.
Para las exportaciones recurrentes que son útiles para fines analíticos o de presentación de informes, es mejor conectar BigQuery a su destino. Coupler.io le permite elegir entre Google Sheets y Microsoft Excel para las exportaciones programadas de BigQuery. También permite conectar BigQuery a Tableau, Looker Studio y PowerBI. Al mismo tiempo, puedes consultar otras opciones de terceros si quieres automatizar el flujo de datos a otro lugar. Elige bien y ¡buena suerte con tus datos!