Grandes bases de datos
Big data
Definición de big data
Para entender qué significa realmente "big data", resulta útil
conocer ciertos antecedentes históricos. A continuación,
ofrecemos la definición de Gartner, de aproximadamente
2001 (y que continúa siendo la definición de referencia): Big
data son datos que contienen una mayor variedad y que se
presentan en volúmenes crecientes y a una velocidad
superior. Esto se conoce como "las tres V".
Dicho de otro modo, el big data está formado por conjuntos
de datos de mayor tamaño y más complejos, especialmente
procedentes de nuevas fuentes de datos. Estos conjuntos de
datos son tan voluminosos que el software de procesamiento
de datos convencional sencillamente no puede
administrarlos. Sin embargo, estos volúmenes masivos de
datos pueden utilizarse para abordar problemas
empresariales que antes no hubiera sido posible solucionar.
1 / 10
Historia de big data
Si bien el concepto "big data" en sí mismo es relativamente nuevo, los orígenes de los grandes
conjuntos de datos se remontan a las décadas de 1960 y 1970, cuando el mundo de los datos
acababa de empezar con los primeros centros de datos y el desarrollo de las bases de datos
relacionales.
Alrededor de 2005, la gente empezó a darse cuenta de la cantidad de datos que generaban los
usuarios a través de Facebook, YouTube y otros servicios online. Ese mismo año, se desarrollaría
Hadoop, un marco de código abierto creado específicamente para almacenar y analizar grandes
conjuntos de datos. En esta época, también empezaría a adquirir popularidad NoSQL.
El desarrollo de marcos de código abierto, tales como Hadoop (y, más recientemente, Spark), sería
esencial para el crecimiento del big data, pues estos hacían que el big data fuera más fácil de usar y
más barato de almacenar. En los años transcurridos desde entonces, el volumen de big data se ha
disparado. Los usuarios continúan generando enormes cantidades de datos, pero ahora los humanos
no son los únicos que lo hacen.
Con la llegada de la Internet de las cosas (IoT), hay un mayor número de objetos y dispositivos
conectados a Internet que generan datos sobre patrones de uso de los clientes y el rendimiento de los
productos. El surgimiento del aprendizaje autónomo ha producido aún más datos.
Aunque el big data ha llegado lejos, su utilidad recién empieza. La computación en la nube ha
ampliado aún más las posibilidades del big data. La nube ofrece una escalabilidad realmente flexible,
donde los desarrolladores pueden simplemente agilizar clústeres ad hoc para probar un subconjunto
de datos.
2
Las "tres V" de big data
• La cantidad de datos importa. Con big data, tendrá que procesar grandes volúmenes de datos no
estructurados de baja densidad. Puede tratarse de datos de valor desconocido, como feeds de datos de
Twitter, flujos de clics de una página web o aplicación para móviles, o equipo con sensores. Para algunas
organizaciones, esto puede suponer decenas de terabytes de datos. Para otras, incluso cientos de
Volumen petabytes.
• La velocidad es el ritmo al que se reciben los datos y (posiblemente) al que se utilizan. Por lo general, la
mayor velocidad de los datos se transmite directamente a la memoria, en vez de escribirse en un disco.
Algunos productos inteligentes habilitados para Internet funcionan en tiempo real o prácticamente en
Velocidad tiempo real y requieren una evaluación y actuación en tiempo real.
• La variedad hace referencia a los diversos tipos de datos disponibles. Los tipos de datos convencionales
eran estructurados y podían organizarse claramente en una base de datos relacional. Con el auge del big
data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no
Variedad estructurados y semiestructurados, como el texto, audio o video, requieren un preprocesamiento
adicional para poder obtener significado y habilitar los metadatos.
3
El valor y la veracidad de big data
En los últimos años, han surgido otras "dos V": valor y veracidad.
Los datos poseen un valor intrínseco.
Sin embargo, no tienen ninguna utilidad hasta que dicho valor se descubre. Resulta
igualmente importante: ¿cuál es la veracidad de sus datos y cuánto puede confiar en
ellos?
Hoy en día, el big data se ha convertido en un activo crucial. Piense en algunas de las
mayores empresas tecnológicas del mundo. Gran parte del valor que ofrecen procede de
sus datos, que analizan constantemente para generar una mayor eficiencia y desarrollar
nuevos productos.
.
Avances tecnológicos recientes han reducido exponencialmente el costo del
almacenamiento y la computación de datos, haciendo que almacenar datos resulte más
fácil y barato que nunca. Actualmente, con un mayor volumen de big data más barato y
accesible, puede tomar decisiones empresariales más acertadas y precisas.
Identificar el valor del big data no pasa solo por analizarlo (que es ya una ventaja en sí
misma). Se trata de todo un proceso de descubrimiento que requiere que los analistas,
usuarios empresariales y ejecutivos se planteen las preguntas correctas, identifiquen
patrones, tomen decisiones informadas y predigan comportamientos.
4
Casos de uso de big data
Desarrollo de productos Empresas como Netflix y Procter & Gamble usan big data para prever
la demanda de los clientes. Construyen modelos predictivos para
nuevos productos y servicios, clasificando atributos clave de
productos anteriores y actuales, y modelando la relación entre
dichos atributos y el éxito comercial de las ofertas. Además, P&G
utiliza los datos y los análisis de grupos de interés, redes sociales,
mercados de prueba y avances de salida en tiendas para planificar,
producir y lanzar nuevos productos.
Mantenimiento predictivo Los factores capaces de predecir fallas mecánicas pueden estar
profundamente ocultos entre datos estructurados (año del equipo,
marca o modelo de una máquina) o entre datos no estructurados que
cubren millones de entradas de registros, datos de sensores,
mensajes de error y temperaturas de motor. Al analizar estos
indicadores de problemas potenciales antes de que estos se
produzcan, las organizaciones pueden implementar el
mantenimiento de una forma más rentable y optimizar el tiempo de
servicio de componentes y equipos.
Experiencia del cliente La carrera por los clientes ya partió. Disponer de una vista clara de la
experiencia del cliente es más posible que nunca. El big data le
permite recopilar datos de redes sociales, visitas a páginas web,
registros de llamadas y otras fuentes para mejorar la experiencia de
interacción, así como maximizar el valor ofrecido. Empiece a
preparar ofertas personalizadas, reducir las tasas de abandono de los
clientes y administrar las incidencias de manera proactiva.
5
Casos de uso de big data
Fraude y cumplimiento En lo que a seguridad se refiere, no se enfrenta a simples hackers
solitarios, sino a equipos completos de expertos. Los contextos de
seguridad y requisitos de conformidad están en constante evolución.
El big data le ayuda a identificar patrones en los datos que pueden
ser indicativos de fraude, al tiempo que concentra grandes
volúmenes de información para agilizar la generación de informes
normativos.
Aprendizaje autónomo El aprendizaje autónomo es un tema candente en la actualidad. Los
datos, concretamente big data, es uno de los motivos de que así sea.
Ahora, en lugar de programarse, las máquinas pueden aprender. Esto
es posible gracias a la disponibilidad de big data para crear modelos
de aprendizaje autónomo.
Eficiencia operativa Puede que la eficiencia operativa no sea la noticia más importante,
pero es el área en que big data tiene un mayor impacto. El big data le
permite analizar y evaluar la producción, la opinión de los clientes,
las devoluciones y otros factores para reducir las situaciones de falta
de stock y prever la demanda futura. El big data también puede
utilizarse para mejorar la toma de decisiones en función de la
demanda de mercado del momento.
Impulse la innovación Big data puede ayudarle a innovar mediante el estudio de las
interdependencias entre seres humanos, instituciones, entidades y
procesos, y, posteriormente, mediante la determinación de nuevas
maneras de usar dicha información. Utilice las perspectivas que le
ofrecen los datos para mejorar sus decisiones financieras y
consideraciones de planificación. Estudie las tendencias y lo que
desean los clientes para ofrecer nuevos productos y servicios.
Implemente políticas de precios dinámicas. Las posibilidades son
infinitas.
6
Desafíos de big data
Si bien es cierto que el big data promete mucho, también se enfrenta a desafíos.
En primer lugar, el big data se caracteriza por su gran tamaño. Aunque se han
desarrollado nuevas tecnologías para el almacenamiento de datos, el volumen de datos
duplica su tamaño cada dos años aproximadamente.
Las organizaciones continúan esforzándose por mantener el ritmo de crecimiento de sus
datos y por encontrar formas de almacenarlos eficazmente.
Pero no basta con almacenar los datos. Para ser de algún valor, los datos deben poder
utilizarse, y esto depende de su conservación. Disponer de datos limpios es decir, datos
relevantes para el cliente y organizados de tal modo que permitan un análisis significativo
requiere una gran cantidad de trabajo.
Los científicos de datos dedican entre un 50 y un 80 por ciento de su tiempo a seleccionar
y preparar los datos antes de que estos puedan utilizarse.
Por último, la tecnología de big data cambia a un ritmo rápido. Hace unos años, Apache
Hadoop era la tecnología más conocida utilizada para administrar big data. Más tarde, en
2014, entraría en juego Apache Spark. Hoy en día, el enfoque óptimo parece ser una
combinación de ambos marcos. Mantenerse al día en cuanto a tecnología de big data
supone un desafío constante.
7
Prácticas recomendadas de big data
Alinear big data con
La disponibilidad de conjuntos de datos más amplios le permite realizar
objetivos empresariales
nuevos hallazgos. A tal efecto, es importante basar las nuevas inversiones en
específicos
habilidades, organización o infraestructura con un marcado contexto
empresarial para garantizar la constancia en la financiación e inversión en
proyectos. Para determinar si se encuentra en el camino correcto, pregúntese
en qué medida el big data respalda y habilita sus principales prioridades
empresariales y de TI. Algunos ejemplos incluyen entender cómo filtrar los
registros web para comprender el comportamiento del comercio electrónico,
extraer la percepción de las redes sociales y de las interacciones de atención
al cliente, así como entender los métodos de correlación estadística y su
relevancia para los datos de clientes, productos, fabricación e ingeniería.
8
Mitigue la escasez de
habilidades con Uno de los mayores obstáculos para beneficiarse de su inversión en big data
estándares y gobierno es la escasez de habilidades. Puede mitigar el riesgo asegurándose de
incorporar a su programa de gobierno de TI tecnologías, consideraciones y
decisiones relativas a big data. Normalizar su enfoque le permitirá administrar
los costos y aprovechar los recursos. Las organizaciones que implementen
soluciones y estrategias de big data deben evaluar sus necesidades de
habilidades de forma temprana y frecuente, e identificar de manera proactiva
las posibles carencias de habilidades. Esto puede lograrse mediante la
capacitación regular o cruzada entre los recursos existentes, la contratación de
nuevos recursos y el uso de empresas de consultoría.
Optimizar la Utilice un enfoque basado en un centro de excelencia para compartir
transferencia de conocimientos, supervisar el control y administrar las comunicaciones de
conocimientos con un proyectos. Tanto si el big data es una inversión nueva o en expansión, los
centro de excelencia costos directos e indirectos pueden distribuirse en toda la empresa. Utilizar
este enfoque puede contribuir a incrementar las capacidades de big data y la
madurez del conjunto de la arquitectura de información de una forma más
sistemática y estructurada.
9
La principal ventaja Analizar el big data de forma aislada sin duda aporta valor. Sin embargo,
reside en alinear los puede obtener una perspectiva empresarial aún más valiosa relacionando e
datos estructurados y no integrando el big data de baja densidad con los datos estructurados que ya usa
estructurados actualmente.
Tanto si está recopilando big data de clientes, de productos, de equipos o
ambientales, el objetivo es añadir puntos de datos más relevantes a sus
resúmenes maestros y analíticos, lo que le permitirá obtener mejores
conclusiones. Por ejemplo, existe una diferencia en distinguir la percepción
de todos los clientes de la de solo sus mejores clientes. Por eso, muchos
consideran que big data constituye una extensión integral de sus capacidades
existentes de inteligencia empresarial, de su plataforma de almacenamiento
de datos y de su arquitectura de información.
10
Tenga en cuenta que los modelos y procesos analíticos de big data pueden ser
tanto humanos como automáticos. Las capacidades de análisis de big data
incluyen estadísticas, análisis especiales, semántica, detección interactiva y
visualización. Mediante el uso de modelos analíticos, puede relacionar
distintos tipos y fuentes de datos para realizar asociaciones y hallazgos
significativos.
Planificar el laboratorio El concepto "hallazgo" implica que los datos no siempre se obtienen
de hallazgos en pro del directamente. En ocasiones, ni siquiera sabemos qué estamos buscando. Eso
rendimiento es de esperar. La dirección y los equipos de TI deben respaldar esta "falta de
dirección" o "falta de claridad en los requisitos".
Al mismo tiempo, es importante que analistas y científicos de datos colaboren
estrechamente con la empresa para entender las principales necesidades y las
carencias de conocimientos de la empresa. Para incorporar el estudio
interactivo de los datos y la experimentación de algoritmos estadísticos,
necesita contar con áreas de trabajo de alto rendimiento. Asegúrese de que
los entornos de pruebas (sandbox) tienen el apoyo que necesitan y están
correctamente gobernados.
11
Alineación con el Los usuarios y procesos de big data requieren acceso a una amplia variedad de
modelo operativo en la recursos de experimentación reiterativa y ejecución de tareas de producción.
nube Una solución de big data incluye todos los ámbitos de los datos, incluidas
transacciones, datos principales, datos de referencia y datos resumidos. Los
entornos de pruebas (sandbox) analíticos deben crearse a pedido. La
administración de recursos es fundamental para garantizar el control de todo
el flujo de datos, incluido el procesamiento previo y posterior, la integración,
el resumen dentro de la base de datos y la creación de modelos analíticos.
Disponer de una estrategia bien definida de aprovisionamiento y seguridad
en la nube pública y privada es fundamental para respaldar estos requisitos
cambiantes.
12
Ventajas de big data y del análisis de
datos:
•El big data le permite obtener respuestas más completas, ya que
dispone de mayor cantidad de información.
•La disponibilidad de respuestas más completas significa una mayor
fiabilidad de los datos, lo que implica un enfoque completamente distinto
a la hora de abordar problemas.
13
Bibliografía
Oracle. (1 de 1 de 2020). Oracle. Obtenido de ¿Qué es big data?: https://www.oracle.com/mx/big-
data/what-is-big-data.html
14
