BigLake

Para crear un lakehouse de Iceberg con BigLake, primero almacena tus datos en Cloud Storage. Luego, define estos datos con tablas de BigLake para Apache Iceberg. El metastore de BigLake funciona como tu catálogo centralizado y sin servidores para estas tablas de Iceberg, lo que elimina la necesidad de administrar una infraestructura compleja. Esta configuración permite que cualquier motor compatible con Iceberg acceda a tus datos y los administre de manera coherente, lo que crea un entorno de lakehouse unificado, abierto y escalable con facilidad.

⁠Puedes usar Apache Iceberg para evolucionar conjuntos de datos de data lake, como transacciones o feeds de mercado. BigLake permite que BigQuery consulte las tablas de Iceberg junto con el almacenamiento nativo sin mover los datos. Puedes transferir transmisiones en tiempo real a BigQuery y combinarlas con datos históricos de Iceberg a través de BigLake para realizar un análisis inmediato y completo. Luego, BigQuery ML genera estadísticas en tiempo real, como la volatilidad del mercado y la detección de fraudes, así como modelos predictivos, como el riesgo crediticio y el comportamiento del cliente.

BigLake proporciona acceso seguro y coherente a una sola copia de los datos en Cloud Storage. Luego, Dataplex Universal Catalog cataloga automáticamente estos datos para que todos los usuarios y motores de datos puedan acceder a ellos. Esto garantiza definiciones de datos coherentes, un descubrimiento sencillo y una administración unificada, lo que elimina los silos y fomenta la colaboración en una única fuente de información.