Primeiras aulas do curso
Olá, pessoal! Sejam muito bem-vindas e bem-vindos ao curso de Databricks: desenvolvendo um pipeline (esteira) completo de dados. Meu nome é João Manuel e eu serei o instrutor de vocês aqui na Alura.
Audiodescrição: Eu sou um homem branco, de cabelos castanhos e longos. Tenho uma barba preta e curta e estou usando uma camiseta preta. Atrás de mim há uma estante de livros, iluminada pelas cores magenta e azul.
Eu trabalho no mercado de dados há mais de cinco anos e passei por grandes instituições financeiras no Brasil, atuando como cientista de dados e engenheiro de dados. Hoje, atuo como cientista de dados sênior e desempenho papéis de engenharia de dados e ciência de dados. Além de ser instrutor na Alura, com trilhas de deployment (implantação) de Machine Learning (aprendizado de máquina) no Databricks, também faço doutorado na USP, com foco de pesquisa em visão computacional e inteligência artificial.
Aqui estão meu LinkedIn e meu e-mail pessoal. A carreira de dados pode ser desafiadora e complexa, e o que torna a jornada mais interessante são as pessoas e a oportunidade de trocarmos ideias, conversarmos e nos conectarmos. Por isso, deixo abertas minhas redes sociais para vocês enviarem mensagens e me adicionarem, assim como as redes sociais da Alura.
Um ponto importante: nós temos o fórum deste curso disponível na plataforma. Podemos interagir, criar sugestões e tirar dúvidas. Isso faz parte da jornada e é algo muito relevante.
Também contamos com o Discord. No canal do Discord, podemos conversar com outras pessoas, criar novas conexões, participar de projetos, compartilhar conhecimento e evoluir em nossa jornada de dados.
Neste curso, teremos um pipeline (fluxo de processamento) completo de engenharia de dados no ambiente do Databricks. Vamos trabalhar desde a ingestão inicial de dados brutos — provenientes de sistemas externos, sem tratamento, que chamamos de camada Bronze — até a ingestão final produtiva, orquestrada com Jobs no Databricks, utilizando PySpark. Realizaremos todo o tratamento dos dados para obter uma tabela final na camada Gold, produtiva e totalmente automatizada.
É importante ressaltar que contamos na Alura com o Luri, nossa IA generativa, que pode nos ajudar a evoluir nosso conhecimento. Sempre que surgir uma dúvida ou quando não entendermos algum ponto, podemos recorrer a essa ferramenta para obter suporte efetivo. Assim, conseguimos nos desafiar e evoluir na carreira de dados.
Por fim, teremos um projeto final totalmente hands-on (mão na massa). Este será um curso muito focado na prática, e esse projeto final será documentado no GitHub para usarmos como portfólio pessoal. Você poderá apresentá-lo em entrevistas técnicas, publicar um post em redes sociais, criar algum build (compilação) e postar na plataforma do Discord, no canal da Alura. Acreditamos que esse projeto final será muito interessante, e vamos trazer nossa experiência em engenharia de dados para mostrar como resolvemos um problema de negócios utilizando dados.
Eu espero que vocês tenham gostado, e será um prazer fazer parte dessa jornada com vocês no nosso curso. Até a próxima, pessoal!
Olá! Boas-vindas a mais uma aula.
Agora teremos o primeiro contato com nosso projeto de engenharia de dados. Vamos entender qual é o problema de negócio que queremos resolver, com uma abordagem prática, orientada à execução e próxima do contexto corporativo.
Neste cenário, trabalhamos na Alumax, especificamente na equipe de atendimento. Nossa equipe é responsável por receber todas as interações de clientes, que podem ocorrer por e-mail, ligação, WhatsApp e chat (bate-papo). Nosso trabalho será realizar a ingestão de todos esses dados e unificá-los no ambiente do Databricks. Por exemplo, prestamos suporte aos clientes e realizamos as respectivas tratativas; esse é o valor gerado e, com base nessas informações, responderemos algumas perguntas adiante. Por isso, é extremamente importante termos todo esse pipeline (fluxo) unificado e realizarmos a ingestão de dados no ambiente.
Como funcionará esse pipeline (fluxo) de ingestão? Ao simularmos um ambiente corporativo, os arquivos podem chegar por diversos conectores, a partir de diferentes plataformas, pois, em alguns casos, a plataforma que gerencia ligações não é a mesma que gerencia o WhatsApp. Como simularemos isso? Faremos os arquivos chegarem nos Volumes do ambiente do Databricks. Poderia ser em outro local, por um conector com Salesforce ou por um conector em um bucket (repositório de objetos) do S3; aqui, porém, trabalharemos com os Volumes. A partir desses arquivos, construiremos todas as camadas de ingestão.
Usaremos a arquitetura medalhão para construir as camadas bronze, silver (prata) e gold (ouro), de modo que a equipe de negócios consiga extrair insights (percepções) a partir dos indicadores de atendimento.
Trabalharemos com todo o ecossistema do Databricks; utilizaremos Python, PySpark e SQL em nossos notebooks (cadernos de código) para realizar consultas e construções. Construiremos jobs (tarefas), o que será fundamental, pois, a partir deles, utilizaremos as ferramentas do Databricks, como o Unity Catalog, para implementar a governança de dados. Por exemplo, ao criarmos a camada silver (prata) e a camada bronze, elas devem residir em ambientes distintos, em bancos de dados distintos, pois precisamos garantir a governança de dados e, em alguns casos, um controle de acesso mais rígido.
Utilizaremos Git e GitHub para hospedar e versionar todo o código, manter a documentação, realizar o orquestramento dos jobs (tarefas) e configurar agendamentos. Essas ferramentas terão papel fundamental em nosso projeto de ingestão de dados.
Há perguntas de negócio que poderemos responder ao longo do projeto. Como lidamos com dados de atendimento e os clientes podem interagir por diferentes plataformas, qual é o melhor canal de atendimento? Qual canal recebe as melhores avaliações dos clientes? Essa é uma pergunta interessante que tentaremos responder em nosso projeto.
Quais são os canais mais utilizados? Há alguma preferência? Algum grupo de clientes utiliza mais um canal do que outro? Qual canal apresenta o menor tempo de atendimento? Essas são algumas perguntas que nortearão nosso projeto e que buscaremos responder ao longo do tempo.
Utilizaremos todo o ecossistema que a plataforma Databricks oferece. A arquitetura de Lakehouse (arquitetura que integra recursos de data lake e data warehouse) é fundamental, pois podemos trabalhar em um sistema que recebe informações de múltiplas fontes. Essa arquitetura proporciona flexibilidade para realizar a ingestão e o consumo de dados operacionais.
Já teremos a parte de BI (Business Intelligence - inteligência de negócios) integrada, o que permitirá construir dashboards (painéis) e indicadores. A plataforma Databricks é colaborativa: conseguimos que várias pessoas utilizem o mesmo notebook (caderno de notas), o que agiliza o desenvolvimento de novos produtos de dados. Além disso, há recursos de IA, agentes e modelos de Machine Learning (aprendizado de máquina), com unificação e integração facilitadas. Usaremos amplamente a IA disponibilizada pela plataforma para nos auxiliar na construção do nosso pipeline (fluxo de dados).
No projeto, construiremos toda a arquitetura medalhão, iniciando pela camada bronze, que conterá os dados brutos. Isso é crucial porque, ao trabalharmos com sistemas diferentes, queremos garantir que a ingestão esteja o mais próxima possível do sistema de origem. Para trazer governança de dados, utilizaremos o Unity Catalog. Criaremos o banco de dados na camada bronze, que será nossa fonte de verdade, com os dados originais.
A partir disso, utilizaremos o Unity Catalog para criar os novos bancos de dados nas camadas subsequentes. Teremos a camada Silver (prata), na qual faremos agregações, possivelmente criaremos novas colunas e ajustaremos tipos de dados, quando necessário.
Por fim, teremos a camada Gold (ouro), onde aplicaremos as regras de negócio, realizaremos agregações finais e cruzaremos informações com outras tabelas. As tabelas dessa camada serão consumidas pelo time de negócios e pelos modelos de Machine Learning (aprendizado de máquina). Os dashboards (painéis) serão construídos com base nessas tabelas da camada Gold (ouro).
É fundamental termos em mente que nosso projeto utilizará a arquitetura da plataforma Databricks e o Unity Catalog para prover controle de metadados e governança dos dados. Isso nos permitirá dividir a arquitetura medalhão de forma alinhada à realidade: manter dados em ambientes diferentes, com níveis de acesso distintos. Assim, poderemos auditar para garantir que o dado na camada Gold (ouro) corresponda ao dado de origem ingerido na camada bronze. Na prática, a camada Gold (ouro) costuma ter acesso mais amplo, enquanto as camadas bronze e Silver (prata) possuem acessos mais restritos, geralmente disponíveis apenas ao time de tecnologia.
Utilizaremos o formato Delta Lake, que traz confiabilidade aos dados e recursos como Time Travel (viagem no tempo) e versionamento. Por isso, adotaremos toda essa arquitetura da plataforma Databricks.
Eu espero que vocês tenham gostado desta aula. Até a próxima!
Olá, sejam bem-vindos a mais uma aula.
Agora, vamos confirmar se a conexão da nossa conta do Databricks está funcionando com o GitHub. É fundamental que essa integração esteja ativa, porque no GitHub vamos organizar todos os nossos projetos.
No GitHub estarão nossos códigos em Spark e os nossos jobs de ETL, que vamos construir ao longo do projeto. Além disso, manteremos ali toda a parte de configuração do Databricks e, possivelmente, algum orquestramento.
Precisamos que essa conexão esteja funcional porque o GitHub será o local onde vamos hospedar e apresentar o nosso projeto de dados. Quando formos construir o nosso portfólio, é o GitHub que vamos mostrar. Não vamos exibir a nossa tela do Databricks; vamos apresentar a aplicação no GitHub.
Portanto, é muito importante garantir que essa conexão esteja funcionando bem, para que o GitHub apresente tudo o que fizemos no Databricks.
Como verificamos isso? Nós clicamos no canto superior direito, na conta do Databricks. Em seguida, vamos em Configurações.
Em Configurações, temos a seção de contas vinculadas. Se a integração com o Git estiver concluída com sucesso, ela aparecerá nessa lista. Caso contrário, podemos clicar em Adicionar credencial Git. Em seguida, escolhemos o provedor GitHub e vinculamos com nosso token (chave de acesso) pessoal. Se estivermos autenticados no GitHub no mesmo navegador, essa vinculação é muito simples: será exibido um pop-up (janela) e a conexão será concluída.
Por que isso é importante? Vamos enfatizar: o GitHub é onde vamos apresentar nosso projeto. Além do versionamento do nosso código, é o local onde documentaremos o que resolvemos, qual foi o problema de negócio, quais foram as perguntas de negócio que resolvemos e o que aprendemos ao longo do processo. O GitHub é uma ferramenta muito útil e faz parte essencial dos nossos projetos, tanto na área de engenharia e versionamento de dados quanto na apresentação do nosso portfólio de dados.
Desse modo, o GitHub terá um papel fundamental ao longo do nosso curso, apoiando a resolução do nosso estudo de caso de negócio. Garantam que a conexão esteja funcionando corretamente.
Então, eu espero que vocês tenham gostado desta aula e até a próxima.
O curso Databricks: pipelines de dados com PySpark e Delta Lake possui 156 minutos de vídeos, em um total de 52 atividades. Gostou? Conheça nossos outros cursos de Engenharias e Arquiteturas de Dados em Dados, ou leia nossos artigos de Dados.
Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:
Todos os cursos, trilhas e certificados para evoluir.
7 dias para cancelar com reembolso
Aprenda mais rápido com IA, idiomas e imersões.
7 dias para cancelar com reembolso
TUDO DO PLUS, MAIS:
Aceleração de carreira: mentoria, vagas e prática guiada.
7 dias para cancelar com reembolso
TUDO DO PRO, MAIS:
