Todos os dias produzimos uma quantidade enorme de dados.
Compras realizadas com cartão, pesquisas na internet, localização de smartphones, redes sociais, sensores, acessos a sites, equipamentos conectados, registros empresariais e inúmeras outras atividades geram informações continuamente.
Isoladamente, muitos desses dados podem parecer pouco relevantes. Mas quando conseguimos reunir, processar e analisar grandes volumes e diferentes tipos de dados, podemos encontrar padrões, relações e comportamentos que dificilmente seriam percebidos de outra maneira.
É nesse contexto que aparece o conceito de Big Data.
Neste artigo, vou explicar de maneira simples o que é Big Data, como ele pode ser utilizado nos negócios e por que correlações e insights são tão importantes nesse contexto.
O que é Big Data?
Big Data não significa simplesmente possuir uma planilha muito grande.
O conceito está relacionado a conjuntos de dados cuja dimensão, diversidade e complexidade tornam insuficientes muitas das ferramentas tradicionais de armazenamento e processamento.
Além do enorme volume, esses dados podem chegar rapidamente e possuir formatos completamente diferentes.
Podemos ter, por exemplo:
números + textos + transações + imagens + vídeos + registros de sensores + localização + interações digitais
A análise desses grandes conjuntos permite encontrar padrões, tendências e correlações que podem apoiar decisões empresariais.
Os Vs do Big Data
Uma maneira bastante conhecida de compreender Big Data é por meio dos chamados Vs.
Três deles aparecem tradicionalmente como ponto de partida:
Volume — enorme quantidade de dados.
Velocidade — rapidez com que os dados são produzidos, recebidos e precisam ser processados.
Variedade — diferentes formatos e origens dos dados.
Posteriormente, outros conceitos passaram a ser incorporados, como veracidade e valor.
E esse último é particularmente importante quando pensamos em negócios.
Ter bilhões de registros armazenados não representa necessariamente uma vantagem.
Precisamos conseguir transformar:
dados → informação → conhecimento → decisão
Big Data nos negócios
Imagine uma empresa com milhares ou milhões de clientes.
Ela pode possuir informações sobre:
o que compraram, quando compraram, quanto gastaram, quais produtos pesquisaram, quais páginas visitaram, onde estão e como interagiram com a empresa.
Quando essas informações são analisadas conjuntamente, começam a aparecer possibilidades interessantes.
A empresa pode identificar padrões de consumo, prever demanda, compreender melhor determinados segmentos de clientes, detectar comportamentos incomuns ou descobrir oportunidades que anteriormente estavam escondidas nos dados.
É por isso que Big Data está fortemente relacionado à tomada de decisão orientada por dados. Análises desse tipo podem apoiar decisões sobre clientes, operações, riscos, produtos e oportunidades de mercado.
O que são insights?
A palavra insight aparece constantemente quando falamos sobre dados.
Podemos entendê-la, neste contexto, como uma percepção relevante obtida a partir da análise.
Imagine que uma empresa simplesmente descubra:
“Vendemos 20.000 unidades no mês passado.”
Isso é uma informação.
Mas imagine que, ao cruzar diferentes variáveis, ela perceba que determinado produto apresenta aumento expressivo de vendas em determinadas condições ou entre determinados grupos de consumidores.
Agora começamos a encontrar algo que pode ajudar a empresa a tomar uma decisão.
Esse é um dos objetivos da análise de dados: transformar dados brutos em informações capazes de produzir conhecimento útil para o negócio.
Encontrando relações que não eram evidentes
Uma das possibilidades mais interessantes quando trabalhamos com grandes conjuntos de dados é procurar relações entre variáveis.
Imagine que tenhamos informações sobre:
temperatura, dia da semana, localização, perfil do consumidor e vendas de determinado produto.
Podemos analisar se algumas dessas variáveis apresentam associação com o comportamento das vendas.
Talvez encontremos algo que não havíamos imaginado inicialmente.
É justamente aí que entram as correlações.
O que é correlação?
De maneira simplificada, correlação é uma medida da relação entre variáveis.
Se duas variáveis tendem a aumentar juntas, podemos encontrar uma correlação positiva.
Se uma tende a aumentar enquanto a outra diminui, podemos encontrar uma correlação negativa.
E podemos também não encontrar uma relação relevante.
Em grandes conjuntos de dados, ferramentas analíticas podem ajudar a descobrir padrões e correlações que seriam difíceis de perceber manualmente.
Mas existe um cuidado fundamental.
Correlação não significa causalidade
Este talvez seja um dos conceitos mais importantes de todo o artigo:
encontrar uma correlação não significa automaticamente descobrir uma relação de causa e efeito.
Suponha que duas variáveis apresentem comportamento semelhante.
Isso não prova que:
A causa B.
Pode existir uma terceira variável influenciando ambas. A relação pode ser indireta ou até mesmo circunstancial.
E ter milhões de observações não elimina automaticamente esse problema. Pesquisas recentes chamam atenção justamente para o risco de interpretar relações correlacionais encontradas em grandes bases observacionais como se fossem relações causais.
Portanto, Big Data pode ajudar a encontrar onde devemos olhar, mas a interpretação continua sendo essencial.
Quanto mais dados, melhor?
Também não necessariamente.
Essa é outra ideia que precisa ser evitada:
“Se eu tiver muitos dados, necessariamente tomarei decisões melhores.”
Não funciona assim.
Dados podem apresentar:
erros, duplicações, vieses, ausência de contexto, problemas de medição ou baixa qualidade.
Por isso, um dos Vs acrescentados ao conceito de Big Data é justamente a veracidade.
Uma enorme quantidade de dados ruins pode simplesmente produzir uma enorme quantidade de análises ruins.
Dados estruturados e não estruturados
Outra característica interessante do Big Data é a possibilidade de trabalhar com diferentes tipos de informação.
Dados estruturados são aqueles que encontramos facilmente organizados em tabelas e bancos de dados.
Por exemplo:
| Cliente | Idade | Cidade | Valor da compra |
|---|---|---|---|
| A | 32 | São Paulo | R$ 150 |
| B | 47 | Rio de Janeiro | R$ 320 |
Mas empresas também produzem enormes quantidades de dados não estruturados, como textos, imagens, vídeos e outros conteúdos.
Big Data envolve justamente a capacidade de trabalhar com grandes volumes e diferentes formatos de dados, incluindo informações estruturadas, semiestruturadas e não estruturadas.
Big Data, inteligência artificial e Machine Learning
Hoje essa discussão se tornou ainda mais interessante devido ao crescimento da Inteligência Artificial e do Machine Learning.
Algoritmos podem analisar grandes conjuntos de dados procurando padrões e utilizar esses padrões para realizar classificações ou previsões.
Podemos então avançar de uma análise simplesmente descritiva:
O que aconteceu?
para perguntas como:
Por que aconteceu?
O que provavelmente acontecerá?
O que podemos fazer a respeito?
Essas perguntas correspondem, respectivamente, a diferentes níveis de análise: descritiva, diagnóstica, preditiva e prescritiva.
Big Data não substitui o gestor
Essa é uma questão que considero particularmente importante.
Big Data não elimina a necessidade de conhecimento do negócio.
Uma ferramenta pode encontrar uma associação estatística entre duas variáveis. Mas alguém precisa avaliar:
Isso faz sentido?
Existe uma explicação possível?
Os dados são confiáveis?
Estamos confundindo correlação com causalidade?
Essa informação pode realmente ajudar na decisão?
Portanto, tecnologia e estatística são fundamentais, mas precisam trabalhar juntamente com conhecimento, contexto e capacidade de interpretação.
Veja minha explicação sobre Big Data
No vídeo abaixo apresento de maneira simples a proposta do Big Data nos negócios, incluindo a ideia de procurar correlações nos dados e transformá-las em possíveis insights.
Dos dados à decisão
No final, talvez a maneira mais simples de compreender a proposta do Big Data seja esta:
coletar → armazenar → organizar → analisar → encontrar padrões → gerar insights → apoiar decisões
A tecnologia tornou possível armazenar e processar quantidades de informações que seriam impraticáveis algumas décadas atrás.
Mas o verdadeiro valor não está simplesmente em ter muitos dados.
Está em conseguir fazer boas perguntas, utilizar métodos adequados e transformar esses dados em conhecimento que possa melhorar decisões.
É justamente nesse ponto que Big Data deixa de ser apenas tecnologia e passa a fazer parte da estratégia dos negócios.