BigQuery: empresas que o utilizam e os seus desafios

BigQuery: empresas que o utilizam e os seus desafios
Afonso Augusto Rios
Afonso Augusto Rios

Compartilhe

O Google BigQuery é um serviço de armazenamento e análise de dados em nuvem que fornece uma capacidade escalável para consultas SQL rápidas em grandes conjuntos de dados.

Por este fator, empresas de diferentes tamanhos e nichos vêm se aproveitando da grande capacidade de processamento que essa ferramenta possui.

A eficiência nesse processo permite que tenham insights rápidos e tomem decisões baseadas em dados.

Não por menos, diversas empresas dos mais variados setores usam o BigQuery para inovar seus processos e receber suporte para o grande volume de dados que produzem.

O objetivo deste artigo é, portanto, refletir sobre a importância de adicionar o Google BigQuery em seus estudos.

Por que devo focar meus estudos em BigQuery?

Uma das principais razões para você aprender o BigQuery é a necessidade de empresas se adequarem a um contexto de compartilhamento e geração de dados em larga escala.

Afinal de contas, esses dados, dos mais diversos tipos, precisam ser rapidamente processados (volume, variedade e velocidade), o que chamamos de Big Data.

Essas empresas enfrentam desafios como gestão dos dados, análise de grande volume de dados, lentidão na obtenção das métricas e geração de insights.

Para tudo isso, é necessário fazer treinamento técnico da equipe para implementar o Google BigQuery, integrá-lo com sistemas existentes e reduzir a barreira cultural quanto à adoção de novas tecnologias.

Pense que muitos desses desafios você pode enfrentar e se preparar para solucionar em seu trabalho e estudos fazendo um bom uso da ferramenta e dos conceitos que você vem aprendendo aqui com a gente.

Além disso, segundo a pesquisa do State of Data Brazil 2023, do Data Hackers em parceria com a Bain & Company sobre o panorama do mercado de trabalho em dados no Brasil, o Google BigQuery está no Top 3 bancos/fontes de dados mais utilizadas pelos profissionais que responderam o questionário.

Vamos dar uma olhada em algumas das empresas que utilizam a ferramenta e seus casos de sucesso?

Banner da Escola de Data Science: Matricula-se na escola de Data Science. Junte-se a uma comunidade de mais de 500 mil estudantes. Na Alura você tem acesso a todos os cursos em uma única assinatura; tem novos lançamentos a cada semana; desafios práticos. Clique e saiba mais!

Empresas e setores que utilizam o BigQuery

Fique por dentro de grandes empresas e setores que usam o BigQuery em seus processos de trabalho:

1. Spotify

Vamos começar com uma gigante dos streamings de música, o Spotify.

Para dar suporte aos milhões de usuários e centenas de terabytes coletados diariamente, o Spotify utiliza muitos dos recursos do Google Cloud Platform (GCP) para gerir o gigantesco volume de dados que possui.

Dentre um dos recursos do GCP está o Google BigQuery, que é responsável pela análise de dados para obter insights sobre o comportamento do público, as tendências do mercado para personalizar a experiência do cliente e recomendar músicas pelo gosto dos usuários.

Sabe aquele Descobertas da Semana e Daily Mix? Tem um pouco do BigQuery ali!

2. Walmart

A Walmart é uma multinacional de lojas de departamento e uma das maiores empresas dos Estados Unidos.

Para aprimorar as experiências dos mais de 200 milhões de clientes por meio de suas lojas e e-commerce a empresa reforçou a sua parceria com o Google Cloud e suas principais ferramentas.

Na empresa, o BigQuery auxilia na análise dos dados de vendas das milhares de lojas investigando o comportamento dos clientes, a fim de personalizar as suas experiências, otimizar os preços com base na demanda e sazonalidade e identificar novas oportunidades de mercado.

3. Airbnb

O Airbnb é uma empresa que opera, por meio das plataformas digitais, conectando viajantes, que buscam acomodações ou experiências de curto e longo prazo, com anfitriões com propriedades disponíveis no mundo inteiro.

Só com essa introdução podemos ter uma noção da variedade e volume dos dados gerados seja pelos anúncios, reservas, preços e perfis dos usuários.

Por consequência, o Airbnb utiliza o BigQuery para analisar dados de milhões de anúncios e hóspedes.

Tudo isso para fornecer a melhor experiência para os clientes, com sugestões de acomodações mais relevantes, identificar novas tendências e experiências e otimizar os preços dos serviços.

4. Home Depot

A Home Depot é a maior varejista de materiais de construção do mundo, fornecendo produtos de reforma, serviços e aluguel de equipamentos em mais de 2.300 lojas na América do Norte.

A empresa experimentou um crescimento significativo tanto em tráfego quanto em receita desde o início da Covid-19.

Junto a esse crescimento, surgiu o desafio de lançar uma estratégia de marketing usando o seu sistema legado (plataformas ou softwares que estão ultrapassados).

Foi necessário, então, partir para uma nova forma de trabalhar com os dados em constante crescimento.

Partindo dessa necessidade, o time responsável pelo projeto optou pela plataforma de dados do Google Cloud e suas ferramentas, dentre elas o BigQuery.

Por exemplo, o BQ Storage API do BigQuery permitiu o aproveitamento das camadas rápidas do armazenamento para criar, gerenciar, compartilhar e consultar os dados até em outras plataformas.

Além disso, o BigQuery aliado ao Dataflow integrou os dados próprios da empresa e de terceiros em uma arquitetura data lake de dados corporativos e analíticos.

Com essa arquitetura e os recursos de aprendizado de máquina do BigQuery (BigQuery ML) foi possível traçar os perfis completos de clientes, abrangendo toda a experiência de compra, tanto na loja quanto on-line.

5. Grupo Boticário

O Grupo Boticário (GB), gigante da indústria cosmética brasileira, com marcas como O Boticário, Eudora e Quem Disse Berenice?, vem utilizando o BigQuery como um pilar fundamental em sua jornada de transformação digital.

A empresa reconheceu o potencial da plataforma e vem estabelecendo uma forte cultura de dados em que as pessoas colaboradoras possam utilizar os dados não sensíveis do GB, por meio da plataforma analítica de dados da GCP, para tomar decisões e otimizar seus processos.

Segundo Caio Fernandes, Data Evangelist do Grupo Boticário, foi implementado um “Catálogo de Dados” que ajuda na descoberta dos dados disponíveis por meio de buscas nas tabelas do banco de dados BigQuery, retornando os principais metadados, como a descrição das tabelas e campos.

Então, na empresa, o BigQuery não só foi utilizado para ajudar na integração e estruturação dos dados pelo time de tecnologia (gb.tech), mas possibilitou o acesso de várias camadas e setores da empresa no processo utilizando os dados como recurso indispensável nas decisões e estratégias da empresa.

6. Suzano

A Suzano é a maior produtora de celulose de eucalipto e referência global em uso sustentável de recursos naturais, atendendo a mais de dois bilhões de pessoas no mundo a partir de 11 fábricas em operação no Brasil.

Com o desafio de unir os dados em uma única plataforma e democratizar o acesso aos dados para as pessoas colaboradoras, foi escolhida a migração para o GCP.

Focando no BigQuery, a Suzano utiliza essa ferramenta para receber os dados vindo do Cloud Storage, depois da atribuição de tipo, onde ficam disponíveis aos usuários. Isso tornou o processo da construção de relatórios mais breve e com a possibilidade de dispor dos dados em tempo real.

A empresa também investe na capacitação dos colaboradores em BigQuery, preparando-os para o uso das soluções da melhor maneira possível e para que a transformação digital continue gerando impacto.

A escolha da migração para o GCP também impactou positivamente os processos industriais e florestais da companhia, com a ingestão de dados na plataforma diariamente e, no setor de frete, o uso da API do BigQuery agilizou um processo que era extremamente manual.

"Trabalhar durante esse processo de migração foi uma jornada incrível. Com o BigQuery, podemos acessar dados de forma rápida e eficiente, o que facilitou muito a construção de relatórios em tempo real. A mudança para o GCP não só beneficiou nossos processos internos, mas também teve um impacto positivo em nossas operações industriais e florestais, tornando tudo mais ágil e eficaz."

7. Ferramentas de BI, ML e análises avançadas (parceiras do GCP)

Por fim, é muito importante mencionar as ferramentas de BI, ML e análises avançadas que fazem a integração entre o Google BigQuery e as plataformas, fornecendo recursos para análise de dados, obtenção de insights e decisões estratégicas por meio dos dados.

Ferramentas como PowerBI, Qlik, Microstrategy, Looker e Tableau são parceiras da GCP e, consequentemente, do BigQuery possibilitando a consulta dos dados de BigData.

É possível trabalhar com o modo de conexão direta, analisar os dados aproveitando-se da capacidade de computação do Google Cloud ou importação realizando consultas específicas dos dados.

Conclusão

As histórias de sucesso das empresas que utilizam o BigQuery que falamos por aqui demonstram como a capacidade de gerir e analisar eficientemente grandes volumes de dados é extremamente importante para o sucesso nos dias de hoje.

O BigQuery se destaca como uma ferramenta poderosa que permite: obter insights valiosos, agilizar a tomada de decisões, personalizar a experiência do cliente, otimizar operações e facilitar a democratização de acesso aos dados entre os colaboradores.

Nesse sentido, recomendo que você aproveite este e outros conteúdos sobre Google BigQuery na nossa formação de BigQuery, contando com o suporte do nosso time de especialistas que vai te ajudar a alavancar sua carreira e capacitar você no aproveitamento dos recursos dessa ferramenta e com isso aplicá-los aí no seu ambiente de trabalho e projetos de estudo.

Compartilhe também este artigo com suas amizades, colegas e pessoas que possam se interessar pelo assunto.

Créditos

Afonso Augusto Rios
Afonso Augusto Rios

Formado em Engenharia Elétrica, mas sempre com um pézinho na área da educação básica e tecnológica. Apaixonado por tecnologia, futebol e estudo de línguas, tenta trazer um pouco de ambos os mundos para seus estudos. Atuou como professor de Matemática em escolas públicas de Petrolina, através de um ONG na área de educação, e em projetos educacionais em diversos estados. Com conhecimento em Python e Data Visualization, vem se desenvolvendo na linguagem R, SQL e Power BI.

Veja outros artigos sobre Data Science