Guía de BigQuery para principiantes

Almacén de Datos Tradicional vs Almacén de Datos en la Nube

Un almacén de datos tradicional se despliega in situ, lo que suele requerir elevados costes iniciales, un equipo cualificado para gestionarlo y una planificación adecuada para satisfacer la creciente demanda, debido a la naturaleza rígida del escalado de recursos de los centros de datos tradicionales.

Por otro lado, una solución de almacén de datos en la nube es gestionada y alojada por un proveedor de servicios en la nube.

Ventajas de los almacenes de datos en la nube

Normalmente, un almacén de datos en la nube tiene varias ventajas sobre los almacenes de datos tradicionales:

• Están construidos para escalar y aprovechar la flexibilidad del entorno de la nube
• Han mejorado la velocidad y el rendimiento
• Los precios flexibles y un entorno en la nube permiten optimizar los costes (por ejemplo, reducir la escala en épocas de baja demanda)
• Pueden gestionarse total o parcialmente, lo que reduce los costes operativos.

Bases de datos orientadas a filas frente a bases de datos orientadas a columnas

Ejemplo de base de datos orientada a filas:

Ejemplo de base de datos orientada a columnas:

Las bases de datos orientadas a filas son adecuadas para cargas de trabajo con búsquedas completas de filas, inserción de nuevos registros y manipulación. Por el contrario, esto las hace poco adecuadas para cargas de trabajo analíticas. Por ejemplo, consultar unas pocas columnas de una tabla con decenas de columnas supondría leer una gran cantidad de datos innecesarios (esto es habitual en cargas de trabajo analíticas, como la previsión de productos, los análisis ad hoc, etc.).

Las bases de datos orientadas a filas suelen ser adecuadas para el procesamiento de transacciones en línea (OLTP), y las orientadas a columnas para el procesamiento analítico en línea (OLAP).

OLTP vs OLAP

• OLTP es un tipo de sistema de base de datos utilizado en aplicaciones orientadas a transacciones. "En línea" significa que se espera que dichos sistemas respondan a las solicitudes de los usuarios y las procesen en tiempo real (es decir, que procesen transacciones).
• El término contrasta con el procesamiento analítico en línea (OLAP), que en cambio se centra en el análisis de datos.

Resumen de la comparación:

¿Cómo funciona BigQuery?

Una de las características clave de BigQuery es la separación del motor de cálculo y el almacenamiento, de modo que ambos pueden escalarse por separado, según las necesidades y la demanda. Esto permite a los usuarios consultar terabytes de datos en segundos y petabytes en minutos.

Cuando BigQuery ejecuta una consulta, el motor de consulta distribuye el trabajo en paralelo, escaneando las tablas relevantes en el almacenamiento, fusionando los resultados y devolviendo el conjunto de datos final.

Cómo empezar con BigQuery

En esta sección, veremos cómo acceder a BigQuery y cómo utilizar el sandbox de BigQuery. Normalmente, un sandbox es un entorno de pruebas que está aislado y permite experimentar fácilmente. El sandbox de BigQuery te permite experimentar BigQuery sin proporcionar una tarjeta de crédito ni crear una cuenta de facturación para tu proyecto.

Se puede acceder a BigQuery a través de Google Cloud Console. Tendrás que iniciar sesión con una cuenta de correo electrónico Gsuite (o crear una). Una vez iniciada la sesión, debería aparecer una pantalla de bienvenida:

Puedes encontrar BigQuery en la barra de menú de la izquierda. Si haces clic en él, accederás a la siguiente pantalla:

Utilizar el sandbox de BigQuery

Para utilizar BigQuery sandbox, primero crea un proyecto, haciendo clic en 'Seleccionar proyecto'.

A continuación, haz clic en "Nuevo proyecto":

Tendrás que proporcionar un nombre de proyecto; para esta guía, utilizaremos datacamp-guide-project

Ahora se muestra un aviso de sandbox en la página de BigQuery, que indica que has activado correctamente el sandbox de BigQuery.

Con el sandbox de BigQuery ya activado, puedes utilizar tu nuevo proyecto para cargar datos y realizar consultas, así como consultar conjuntos de datos públicos de Google.

Crear un conjunto de datos y una tabla

Antes de crear una tabla, tienes que crear un conjunto de datos en tu nuevo proyecto. Un conjunto de datos es un contenedor de nivel superior utilizado para organizar y controlar el acceso a un conjunto de tablas y vistas. Para crear un conjunto de datos, haz clic en el icono "Acciones" del proyecto:

A efectos de esta guía, rellenaremos "ID del conjunto de datos" con "principal".

Puedes crear una tabla utilizando SQL. BigQuery utiliza GoogleSQL, que es compatible con ANSI.

create table datacamp-guide-project.main.users ( id INT64 not null, first_name STRING NOT NULL, middle_name STRING, -- can be null last_name STRING NOT NULL, active_account BOOL NOT NULL, ); 

También puedes utilizar la interfaz de la Consola BigQuery:

Nota: No es posible insertar datos estando en un entorno sandbox. Si quieres probar a insertar datos, tienes que activar la prueba gratuita. Las siguientes secciones se centran en la consulta de conjuntos de datos públicos proporcionados como parte de Google Cloud.

Consulta un conjunto de datos público mediante la consola BigQuery

Para consultar un conjunto de datos público sigue los pasos que se indican a continuación:

1. Haz clic en "Añadir" junto al Explorador.

2. A continuación, elige un conjunto de datos.

3. Busca "Google Trends" y elige Google Trends, después haz clic en el botón "Ver conjunto de datos".

4. bigquery-public-data aparecerá con una larga lista de conjuntos de datos. Inicia bigquery-public-data para que se "pegue" en el explorador

Un ejemplo práctico utilizando el conjunto de datos Google Trends

Aprovecharemos la tabla top_terms:

Haz clic en la tabla top_terms para abrirla, e inspecciona la tabla Detalles y Vista previa para saber más sobre los datos de top_terms.

Puedes consultar el conjunto de datos, como en el ejemplo siguiente, para obtener los términos que ocuparon la primera posición en las dos últimas semanas:

SELECT
    term
FROM bigquery-public-data.google_trends.top_terms WHERE -- Filter only for first rank rank = 1 -- Filter to the last 2 weeks. AND refresh_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 2 WEEK) GROUP BY term 

Resultados (variarán):

Próximos pasos

Ya estás preparado para empezar a utilizar BigQuery. Google Cloud ofrece una prueba gratuita de 300 $. BigQuery ofrece varias opciones de pago. Para consultar, tienes 1 TB gratis al mes, y más allá son 6,25 $ por TB. Puedes encontrar más información sobre precios en la página de precios.

Para quienes estén interesados en una comprensión completa de la ingeniería de datos, incluido el trabajo con almacenes de datos basados en la nube como BigQuery, DataCamp ofrece una Vía de Aprendizaje para Ingenieros de Datos que abarca desde lo más básico hasta temas avanzados.

También puedes consultar nuestra hoja de trucos para comparar AWS, Azure y Google Cloud Platform y conocer mejor las herramientas disponibles.