Big Data frente a datos tradicionales

Los macrodatos proporcionan a las empresas unas oportunidades inmensas, lo que incluye información más significativa sobre el comportamiento de los clientes, previsiones más precisas sobre la actividad del mercado y una mayor eficiencia en general.

Las personas y las empresas generan cada vez más datos cada año. Según un informe de IDC, el mundo creó solo 1,2 zettabytes (1,2 billones de gigabytes) de datos nuevos en 2010. En 2025, podría aumentar a 175 zettabytes (175 billones de gigabytes) o más¹.

A medida que las empresas aprovechan este recurso floreciente a través de análisis predictivos y minería de datos, el mercado de macrodatos también crece. Un estudio de Statista prevé que el mercado de macrodatos se duplicará entre 2018 y 2027, de un valor de 169 000 millones a 274 000 millones de dólares.

Pero ¿cuáles son las diferencias clave entre los macrodatos y los datos tradicionales? ¿Y qué implicaciones tienen en la tecnología actual de almacenamiento, procesamiento y análisis de datos? Aquí, explicaremos los diferentes fines para los que sirve cada tipo de datos y haremos hincapié en la importancia de una estrategia que planifique el éxito tanto con macrodatos como con datos tradicionales.

¿Qué son los datos tradicionales?

Los datos tradicionales están estructurados, las organizaciones de datos relacionales llevan décadas almacenando y procesando. Los datos tradicionales siguen representando la mayoría de los datos del mundo.

Las empresas pueden usar los datos tradicionales para realizar un seguimiento de las ventas o gestionar las relaciones con los clientes o los flujos de trabajo. Los datos tradicionales suelen ser más fáciles de manipular y pueden gestionarse con un software de procesamiento de datos convencional. Sin embargo, generalmente proporciona información menos sofisticada y beneficios más limitados que los macrodatos.

¿Qué son los macrodatos?

Los macrodatos pueden referirse a un conjunto de datos grande y complejo, así como a los métodos utilizados para procesar este tipo de datos. Los macrodatos tienen cuatro características principales, a menudo conocidas como “las cuatro V”:

• Volumen: Los macrodatos son... grandes. Si bien los macrodatos no solo se distinguen por su tamaño, también suelen tener un volumen muy alto.
• Variedad: Un conjunto de macrodatos normalmente contiene datos estructurados, semiestructurados y no estructurados.
• Velocidad: Los macrodatos se generan rápidamente y a menudo se procesan en tiempo real.
• Veracidad: Los macrodatos no son intrínsecamente de mejor calidad que los datos tradicionales, pero su veracidad (precisión) es extremadamente importante. Las anomalías, los sesgos y el ruido pueden afectar de manera significativa a la calidad de los macrodatos.

Las diferencias entre los macrodatos y los datos tradicionales

Se utilizan varias características para distinguir entre los macrodatos y los datos tradicionales. Estas incluyen:

• El tamaño de los datos
• Cómo se organizan los datos
• La arquitectura necesaria para gestionar los datos
• Las fuentes de las que se derivan los datos
• Los métodos utilizados para analizar los datos

Tamaño

Los conjuntos de datos tradicionales suelen medirse en gigabytes y terabytes. Como resultado, su tamaño puede permitir un almacenamiento centralizado, incluso en un servidor.

Los macrodatos se distinguen no solo por su tamaño, sino también por su volumen. Los macrodatos suelen medirse en petabytes, zettabytes o exabytes. El tamaño cada vez más grande de los conjuntos de macrodatos es uno de los principales impulsores de la demanda de soluciones de almacenamiento de datos más modernas, de gran capacidad y basadas en la nube.

Organización

Los datos tradicionales son normalmente datos estructurados que se organizan en registros, archivos y tablas. Los campos de los conjuntos de datos tradicionales son relacionales, por lo que es posible establecer su relación y manipular los datos en consecuencia. Las bases de datos tradicionales, como SQL, Oracle DB y MySQL , utilizan un esquema fijo estático y preconfigurado.

Los macrodatos utilizan un esquema dinámico. En el almacenamiento, los macrodatos son brutos y no estructurados. Cuando se accede a los macrodatos, el esquema dinámico se aplica a los datos brutos. Las bases de datos NoSQL o no relacionales modernas, como Cassandra y MongoDB, son ideales para los datos no estructurados, dada la forma en que almacenan los datos en archivos.

Arquitectura

Los datos tradicionales suelen gestionarse usando una arquitectura centralizada, que puede ser más rentable y segura para conjuntos de datos más pequeños y estructurados.

En general, un sistema centralizado consiste en uno o más nodos cliente (por ejemplo, ordenadores o dispositivos móviles) conectados a un nodo central (por ejemplo, un servidor). El servidor central controla la red y supervisa su seguridad.

Debido a su escala y complejidad, no es posible gestionar los macrodatos de manera centralizada. Requiere una arquitectura distribuida.

Los sistemas distribuidos enlazan múltiples servidores u ordenadores a través de una red, operando como nodos coiguales. La arquitectura puede escalarse horizontalmente (escalar horizontalmente hacia afuera) y seguirá funcionando incluso si falla un nodo individual. Los sistemas distribuidos pueden aprovechar el hardware básico para reducir los costes.

Fuentes

Los datos tradicionales suelen provenir de la planificación de recursos empresariales (ERP ), la gestión de las relaciones con los clientes (CRM), las transacciones en línea y otros datos a nivel empresarial.

Los macrodatos derivan de una gama más amplia de datos empresariales y no empresariales, que pueden incluir información obtenida de las redes sociales, datos de dispositivos y sensores y datos audiovisuales. Estos tipos de fuentes son dinámicas, evolucionan y crecen cada día.

Las fuentes de datos no estructurados también pueden incluir archivos de texto, vídeo, imagen y audio. No es posible aprovechar este tipo de datos usando las columnas y filas de las bases de datos tradicionales. Debido a que una cantidad cada vez mayor de datos no está estructurada y procede de múltiples fuentes, se necesitan métodos de análisis de macrodatos para extraer valor de ella.

Análisis

El análisis de datos tradicional se realiza de manera gradual: Se produce un evento, se generan datos y el análisis de estos datos tiene lugar después del evento. El análisis de datos tradicional puede ayudar a las empresas a entender el impacto de ciertas estrategias o cambios en una gama limitada de métricas durante un periodo específico.

El análisis de macrodatos puede realizarse en tiempo real. Debido a que los macrodatos se generan segundo a segundo, los análisis pueden producirse a medida que se recogen los datos. El análisis de macrodatos ofrece a las empresas una comprensión más dinámica y holística de sus necesidades y estrategias.

Por ejemplo, supongamos que una empresa ha invertido en un programa de formación para su personal y quiere medir su impacto.

Según un modelo tradicional de análisis de datos, la empresa podría plantearse determinar el impacto del programa de formación en un área concreta de sus operaciones, como las ventas. La empresa registra el volumen de ventas antes y después de la formación y excluye cualquier factor extraño. En teoría, puede ver cuánto han aumentado las ventas como resultado de la formación.

Con un modelo de análisis de macrodatos, la empresa puede dejar de lado las preguntas sobre cómo ha afectado el programa de formación a cualquier aspecto concreto de sus operaciones. En lugar de ello, al analizar una masa de datos recopilados en tiempo real en toda la empresa, puede identificar las áreas específicas que se han visto afectadas, como las ventas, el servicio de atención al cliente, las relaciones públicas, etc.

Big Data frente a datos tradicionales: Consideraciones importantes para el futuro

Los macrodatos y los datos tradicionales sirven para fines diferentes, pero relacionados. Si bien puede parecer que los macrodatos tienen mayores beneficios potenciales, no son adecuados (o necesarios) en todas las circunstancias. Macrodatos:

• Puede proporcionar un análisis más profundo de las tendencias del mercado y el comportamiento de los consumidores. El análisis de datos tradicional puede ser más estrecho y demasiado limitado para proporcionar la información significativa que los macrodatos pueden proporcionar.
• Proporciona información más rápidamente. Las organizaciones pueden aprender de los macrodatos en tiempo real. En el contexto de los análisis de macrodatos, esto puede proporcionar una ventaja competitiva.
• Es más eficiente. La naturaleza cada vez más digital de nuestra sociedad significa que las personas y las empresas generan grandes cantidades de datos cada día, e incluso cada minuto. Los macrodatos nos permiten aprovechar estos datos e interpretarlos de una manera significativa.
• Requiere una preparación avanzada. Para aprovechar estas ventajas, las organizaciones tienen que prepararse para los macrodatos a través de nuevos protocolos de seguridad, pasos de configuración y aumentos en la potencia de procesamiento disponible.

El auge de los macrodatos no significa que los datos tradicionales desaparezcan. Datos tradicionales:

• Puede ser más fácil de proteger, lo que puede hacer que sea preferible para conjuntos de datos muy sensibles, personales o confidenciales. Debido a que los datos tradicionales son más pequeños, no requieren una arquitectura distribuida y es menos probable que requieran un almacenamiento de terceros.
• Puede procesarse usando un software de procesamiento de datos convencional y una configuración normal del sistema. El procesamiento de los macrodatos suele requerir una configuración más alta, lo que puede aumentar el uso de los recursos y los costes innecesariamente cuando los métodos de datos tradicionales sean suficientes.
• Es más fácil de manipular e interpretar. Como los datos tradicionales son de naturaleza más sencilla y relacional, pueden procesarse usando funciones normales e incluso pueden ser accesibles para los no expertos.

En última instancia, no se trata de elegir entre macrodatos y datos tradicionales. A medida que cada vez más empresas generan grandes conjuntos de datos no estructurados, necesitarán las herramientas adecuadas. Entender cómo usar y soportar ambos modelos es una parte necesaria para actualizar su estrategia y estar preparado para un futuro de macrodatos.

Capítulos adicionales de la Guía de macrodatos

1. Datos estructurados frente a datos no estructurados
2. 5 maneras en que los macrodatos ayudan a las empresas a avanzar
3. La relación entre los macrodatos y el IoT