O que é Big Data?

Big data é um termo que descreve o grande volume de dados armazenados. No entanto, não é a quantidade de dados disponíveis que importa; mas sim o que se faz com eles. Big data pode ser analisado para obter as melhores decisões e ações estratégicas de negócios. Dois exemplos de Big Data: os dados do Youtube e do Facebook.

Por que usar Big Data?

Os desafios desta área incluem: análise, captura, curadoria de dados, pesquisa, compartilhamento, armazenamento, transferência, visualização e informações sobre privacidade dos dados.

Quanto maior a precisão dos dados, melhor a tomada de decisões, maior a eficiência operacional, a redução de risco e a redução de custos.

A análise adequada de tais dados permite encontrar novas correlações, como por exemplo: tendências de negócios no local, prevenção de doenças, combate à criminalidade e assim por diante.

Sistemas de gerenciamento de banco de dados relacional, estatísticas da área de trabalho e pacotes de visualização, muitas vezes têm dificuldade em lidar com grandes volumes de dados, pois isto requer o trabalho de software paralelo, rodando em dezenas, centenas ou até mesmo milhares de servidores (Cluster).

O que é considerado "Big Data" varia de acordo com as capacidades dos usuários e suas ferramentas. Assim, o que é considerado "grande" em um ano provavelmente se tornará usual nos anos posteriores.

Para algumas organizações, que têm acesso a centenas de gigabytes de dados pela primeira vez, isto pode desencadear uma necessidade de se reconsiderar as opções de gerenciamento de dados.

Diz-se que o Big Data se baseia em 5 V's : velocidade, volume, variedade, veracidade e valor.

Velocidade: Os dados são transmitidos numa velocidade sem precedentes e devem ser tratados em tempo hábil. Etiquetas RFID (Identificação por radiofrequência; é um método de identificação automática através de sinais de rádio), sensores e medições inteligentes estão impulsionando a necessidade de lidar com torrentes de dados praticamente em tempo real.

Volume: Organizações coletam dados de fontes variadas, incluindo transações financeiras, redes sociais e informações de sensores ou dados transmitidos de máquina para máquina. No passado, armazená-los teria sido um problema.

Variedade: Dados são gerados em inúmeros formatos — desde estruturados (numéricos, em banco de dados tradicionais) a não-estruturados (documentos de texto, e-mail, vídeo, fotos, áudio, cotações da bolsa e transações financeiras).

Veracidade: Dentre a massa de dados que circulam, é preciso estabelecer quais os dados que são verídicos e que ainda correspondem ao momento atual. Dados desatualizados podem ser considerados inverídicos não porque tenham sido gerados com segundas intenções, mas porque não correspondem mais à realidade e podem guiar as empresas à decisões equivocadas. O desafio posto pelo Big Data é, então, determinar a relevância dos dados disponíveis para as empresas, de forma que essas informações possam servir de guia para um planejamento com maior segurança.

Valor: O último V é o que torna Big Data relevante; tudo bem ter acesso a uma quantidade massiva de informação a cada segundo, mas isso não adianta nada se não puder gerar valor. É importante que empresas entrem no negócio do Big Data, mas é sempre importante lembrar dos custos e benefícios e tentar agregar valor ao que se está fazendo.

Tecnologias envolvidas no Big Data

- Sistemas de arquivos distribuídos: A abstração usada para armazenar dados em sistemas computacionais é o arquivo. Para que esses arquivos sejam acessados, modificados e que sejam criados outros arquivos é necessária uma estrutura que permita tais operações. Essa estrutura recebe o nome de sistema de arquivos. Um Sistema de Arquivos Distribuído (SAD), é um sistema de arquivos no qual os arquivos nele armazenados estão espalhados em hardwares diferentes, interconectados através de uma rede.

- Processamento paralelo massivo

- Computação em nuvem

- Grids de mineração de dados: é o processo de encontrar anomalias, padrões e correlações em grandes conjuntos de dados para prever resultados.

- Redes de alta velocidade

- Sistemas de armazenamento escalável: que pode crescer e diminuir conforme a demanda.

- Algoritmos específicos

- Inteligência artificial

Aplicações do Big Data

Bancos/crédito e seguradora: análise de mercado, prevenção de inadimplência, detecção de fraudes, identificação de novos nichos, análise de risco de crédito.

Segurança: detecção de comportamento físico ou digital que oferecem algum tipo de risco.

Saúde: diagnóstico preventivo, mapa de saúde baseado em dados históricos, análise de dados genéticos.

Óleo, gás e eletricidade: otimização dos recursos de produção, predição/detecção de falhas ou fraudes.

Varejo: aumento do faturamento pela otimização do produto com base no padrão de comportamento durante a compra, aumento da satisfação e fidelização dos clientes.

Produção: maior controle de qualidade, otimização da produção, diminuição do tempo/quantidade de estocagem.

Marketing: descoberta de nichos, análise de desempenho da marca/produto, identificação de tendências.

Educação: análise preventiva da evasão escolar, classificação de perfis de aprendizado.

Financeiro/econômico: identificar o valor ótimo de compra de ativos complexos com muitas variáveis de análise.

Logística: otimização dos fluxos de mercadoria e de estoques.

Recrutamento (RH): critérios para contratação, promoção ou demissão; melhor alocação de recursos.

Conclusão

É importante lembrar que o principal valor do Big Data não vem dos dados em sua forma bruta, mas do processamento e da análise desses dados, dos produtos e serviços que surgem dessa análise.

Fontes:

https://www.sas.com/pt_br/insights/big-data/what-is-big-data.html

https://www.profissionaisti.com.br/2015/03/o-que-e-big-data-e-como-funciona/

https://canaltech.com.br/big-data/Big-Data-os-cinco-Vs-que-todo-mundo-deveria-saber/