Big Data é um termo utilizado para tratar e definir grandes volumes de dados que precisam ser armazenados e processados.
A definição de Big Data mais aceita(e confiável) é a que foi proposta pelo Gartner em 2001:
“Big Data faz referência ao grande volume, variedade e velocidade de dados que demandam formas inovadoras e rentáveis de processamento da informação, para melhor percepção e tomada de decisão.”
Esta definição foi a base para a criação dos 3 Vs do Big Data, que utilizamos como base para classificar o momento no qual estamos ou não trabalhando com Big Data.
São eles:
- Volume
- Velocidade
- Variedade
Para entender melhor estes fundamentos, recomendo a leitura deste artigo.
Qual é a origem do Big Data?
A Definição do termo Big Data é relativamente recente, mas temos diversas aplicações de dados que podem se encaixar no uso do termo antes mesmo da definição dele.
O uso de grande volumes de dados remontam às décadas de 60 e 70, com a criação dos primeiros data centers e o desenvolvimento dos bancos de dados.
Nesta época surgiu o termo “Era da Informação” por Peter Druker, grande referencia na área da Administração, que tinha como interesse apontar a transformação de valores aonde o conhecimento ou informação era mais valorizado que o emprego em uma usina/indústria.
Uma das referencias mais antigas é de 1663, onde John Graunt fez a coleta de grande quantidade de informações, de diversas fontes, para estudo da Peste bubônica na Europa.
Em 1890 temos a criação dos primeiros equipamentos para coleta de grandes volumes de dados, com o Censo dos Estados Unidos.
Em 1965 foi criado, também pelos Estados Unidos um dos primeiros centros de dados, com informações de pagamentos de impostos e impressões digitais.
Na década de 80 surgiram os primeiros bancos de dados paralelos, aonde inicia-se a evolução da tecnologia para dar o próximo passo para o processamento de grandes volumes de dados em menor tempo.
No entanto, com a evolução da tecnologia, crescimento do número de dados e necessidade de uso e respostas cada vez mais rápidas, em 2005 o termo Big Data foi usado oficialmente em um artigo publicado pelo Roger Mougalas, da O’Reilly Media.
Podemos concluir que o termo BigData é um conceito de processamento de dados, mas que tem como base 3 grandes pilares: infraestrutura/tecnologia, pessoas e processos.
Portanto, estes não devem ser vistos separadamente, mas sempre em conjunto, pois para processar o grande volume de dados é necessário uma infraestrutura específica para este em que pessoas possam coletar e analisar os dados (DataMining) gerando valor aos negócios com processos que sejam rápidos e bem definidos (Machine Learning), fazendo uso de cálculos e métodos estatísticos.
Outra tecnologia que tem evoluído muito e aproveitando esta onda de grandes quantidades de dados é a Inteligência Artificial… mas este falaremos em outro momento.
Em 2004 o Google publicou um artigo que serviu como base para a evolução tecnológica do processamento em BigData no mundo todo.
Este artigo apresentou o modelo de programação MapReduce que permite processar grandes quantidades de dados em paralelo dividindo o processamento em vários computadores/cpu normalmente configurados e estruturados para trabalhar em cluster.
Foi com este artigo que o Yahoo, que já vinha buscando uma forma de melhorar o processamento de seus dados, conseguiu avançar com o desenvolvimento da tecnologia de processamento em cluster criando assim o Hadoop, em 2005.
Com a publicação desta tecnologia grandes empresas puderam contribuir para o avanço cada vez mais rápido do BigData. Estamos falando do Facebook, Google, IBM, Uber, Twitter, Cloudera e muitas outras empresas.
Já temos contato com o BigData?
A geração de dados é uma constante nos dias atuais, se não estamos gerando, estamos consumindo dados.
Cada vídeo, filme, série, site, artigo, curtida em foto, comentário ou postagem que fazemos, tudo pode gerar dados e, por incrível que possa parecer, até mesmo o fato de não estar interagindo com algum dispositivo ou sensor pode gerar dados, por exemplo.
Segue alguns casos de uso do BigData:
Desenvolvimento de produtos:
Diversas empresas estão criando soluções que atendam as necessidades dos usuários por meio da tecnologia.
Podemos citar alguns exemplos:
Uber
Netflix
Waze
Youtube
Tiktok
Twitter
Manutenção preditiva:
Os equipamentos geram diversos dados com seus sensores, com isto é possível fazer uso de Big Data para realizar manutenções em equipamentos e redes de equipamentos antes de apresentarem falhas, aumentando a confiabilidade dos serviços, garantias de entregas melhores e dowtimes baixíssimos.
Realizar manutenções preventivas nos equipamentos pode gerar economia para as empresas e maximizam o tempo e uso destes.
Experiência do cliente:
O uso do Big Data permite às empresas a saber como estão a satisfação dos seus clientes em tempo real, podendo agir mais rapidamente com a analise das redes sociais.
Estas ações agem de forma excelente como uma estratégia afim de salvar os seus produtos e manter os seus clientes.
Fraudes:
É possível, com o uso de Big Data, implementar rotinas de segurança para as companhias, que permitem identificar os padrões de comportamento de fraudadores, garantindo que a receita das empresas não sejam afetadas com o numero crescente de crimes virtuais.
Este é um dos modelos mais aplicados usando ciência de dados com Big Data.
Aprendizado de máquina:
Este é um dos assuntos mais comentados da atualidade, aonde com o uso de recursos de técnicas de Big Data, podemos ensinar as máquinas como devem se comportar ao invés de programar todas as ações, permitindo a tomada de decisão baseadas em fatos e dados de forma instantânea.
Um dos grandes desafios do Big Data é dar autonomia para as máquinas, com carros autônomos, foguetes não tripulados, gerenciamento de trafego responsivo, uso de recursos naturais de forma mais eficiente, lavouras mais produtivas e de poucas perdas e muitos outros casos de uso.
Observe que incrível o infográfico no link abaixo sobre o volume de dados gerados em 1 minuto em 2020:
Quais ferramentas posso estudar para trabalhar com Big Data?
Da mesma forma que temos um volume muito grande de dados temos uma coleção de ferramentas que fazem suporte à infraestrutura e ao processamento destes dados.
Veja este Landscape com algumas das ferramentas disponíveis, agrupadas por suas funções.
Como aprender mais sobre Big Data?
Existem diversas ferramentas para suprir as necessidades do ambiente de BigData e também diversos centros de ensino e escolas disponibilizando cursos e artigos para ajudar na formações de profissionais.
Algumas das empresas disponibilizam os cursos de forma gratuita, além de muitos vídeos no Youtube.
Sugiro começar por aprofundar no conhecimento do que seja Big Data, conhecer os campos de atuações e aplicações e escolher uma área para estudo e especialização segmentando e focando os estudos.
Segue algumas das recomendações para quem está iniciando em Big Data:
Esta é uma pequena contribuição dos meus conhecimentos. Espero ter ajudado, afinal, é sempre bom dar uma ajudinha…