A diferença entre análise de dados e análise de big data

First, what is data analysis:

A análise de dados refere -se ao processo de análise de uma grande quantidade de dados coletados com métodos de análise estatística apropriados, extraindo informações úteis e formando conclusões, mas estudando e resumindo os dados em detalhes.

A análise de dados inclui dois aspectos de "dados" e "análise".Por um lado, inclui a coleta, o processamento e a organização de dados e, por outro lado, também inclui a análise de dados, extrair informações valiosas e formar conclusões úteis para os negócios.

Os resultados da análise de dados geralmente são apresentados na forma de relatórios de análise.Para relatórios de análise de dados, a análise é o argumento, os dados são o argumento e ambos são indispensáveis.

A diferença entre análise de dados e análise de big data:

1. Análise de dados

A análise de dados refere -se ao processo de análise de uma grande quantidade de dados coletados com métodos de análise estatística apropriados, extraindo informações úteis e formando conclusões ao mesmo tempo, ou seja, o processo de pesquisa detalhada e resumo dos dados.

A análise de dados requer domínio do conhecimento matemático e das ferramentas analíticas.O conhecimento matemático inclui estatística, teoria de probabilidade e estatística matemática, análise estatística multivariada, séries temporais e mineração de dados;As ferramentas geralmente devem dominar o Excel, SQL, R, Python, etc. É necessário aprender e dominar métodos básicos de processamento e análise de dados, análise de dados avançada e métodos de mineração de dados (como regressão linear múltipla, bayesiana, rede neural, árvore de decisão, análise de cluster, regras de associação, séries temporais, máquina vetorial de suporte, aprendizado de conjuntos, etc.) e técnicas de visualização.

2. Análise de big data

A análise de big data refere -se a coleções de dados que não podem ser capturados, gerenciados e processados com ferramentas de software convencionais dentro de um período de tempo acessível.É um ativo de informações enormes, de alto crescimento e diversificado que exige que um novo modelo de processamento tenha mais forte poder de tomada de decisão, insight e descoberta e recursos de otimização de processos.

Algumas pessoas definem análises de big data como esta: não usam o atalho da análise de pesquisa de amostragem aleatória, mas use a análise e processamento de todos os dados;Não considere o status de distribuição dos dados, porque os dados de amostragem precisam considerar se a distribuição da amostra é tendenciosa e se é consistente com o geral;e não precisa considerar testes de hipóteses.Isso também é uma diferença entre análise de big data e análise geral de dados.

A principal diferença entre análise de big data e análise de dados é que a escala de dados processados é diferente, o que leva a diferentes habilidades dos profissionais nas duas direções.No padrão de competência de talentos do CDA, analistas de dados e analistas de big data são definidos de cinco aspectos: base teórica, ferramentas de software, métodos de análise, análise de negócios e visualização.