La diferencia entre el análisis de datos y el análisis de big data

First, what is data analysis:

El análisis de datos se refiere al proceso de análisis de una gran cantidad de datos recopilados con métodos de análisis estadístico apropiados, extrayendo información útil y formando conclusiones, pero estudiar y resumir los datos en detalle.

El análisis de datos incluye dos aspectos de "datos" y "análisis".Por un lado, incluye recopilar, procesar y organizar datos, y por otro lado, también incluye el análisis de datos, extraer información valiosa y formar conclusiones útiles para los negocios.

Los resultados del análisis de datos generalmente se presentan en forma de informes de análisis.Para los informes de análisis de datos, el análisis es el argumento, los datos son el argumento y ambos son indispensables.

La diferencia entre el análisis de datos y el análisis de big data:

1. Análisis de datos

El análisis de datos se refiere al proceso de análisis de una gran cantidad de datos recopilados con métodos de análisis estadístico apropiados, extrayendo información útil y formando conclusiones al mismo tiempo, es decir, el proceso de investigación detallada y resumen de datos.

El análisis de datos requiere dominio del conocimiento matemático y las herramientas analíticas.El conocimiento matemático incluye estadísticas, teoría de probabilidad y estadísticas matemáticas, análisis estadístico multivariado, series de tiempo y minería de datos;Las herramientas generalmente deben dominar Excel, SQL, R, Python, etc. Es necesario aprender y dominar los métodos básicos de procesamiento y análisis de datos, análisis de análisis de datos avanzados y métodos de minería de datos (como regresión lineal múltiple, red bayesiana, neural, árbol de decisión, Análisis de clúster, reglas de asociación, series de tiempo, máquina de soporte de vectores, aprendizaje de conjunto, etc.) y técnicas de visualización.

2. Análisis de big data

Big Data Analytics se refiere a colecciones de datos que no pueden ser capturadas, administradas y procesadas con herramientas de software convencionales dentro de un marco de tiempo asequible.Es un activo de información masivo, de alto crecimiento y diverso que requiere que un nuevo modelo de procesamiento tenga una mayor potencia de toma de decisiones, información y descubrimiento, y capacidades de optimización de procesos.

Algunas personas definen el análisis de big data como este: no usen el acceso directo del análisis de la encuesta de muestreo aleatorio, pero use el análisis y el procesamiento de todos los datos;No considere el estado de distribución de los datos, porque los datos de muestreo deben considerar si la distribución de la muestra está sesgada y si es consistente con lo general;y no necesita considerar las pruebas de hipótesis.Esta es también una diferencia entre el análisis de big data y el análisis general de datos.

La diferencia central entre el análisis de big data y el análisis de datos es que la escala de los datos procesados es diferente, lo que conduce a diferentes habilidades de los profesionales en las dos direcciones.En el estándar de competencia de talento CDA, los analistas de datos y los analistas de big data se definen desde cinco aspectos: base teórica, herramientas de software, métodos de análisis, análisis de negocios y visualización.