Apresentando o projeto e a arquitetura
Olá.
Antes de iniciarmos a implementação do projeto, precisamos entender alguns conceitos e conhecer cada componente que fará parte da nossa arquitetura. Neste vídeo, entenderemos exatamente qual é o projeto e qual arquitetura utilizaremos.
Explicando o fluxo de eventos com Kafka e Spark
Imaginemos que uma pessoa cliente acaba de fazer uma compra em um e-commerce (comércio eletrônico). Ao concluir a compra, é gerado um evento com todas as informações: quem é a pessoa cliente, o ID da compra, o valor dessa compra e o horário em que a compra foi realizada. Em vez de enviar essas informações diretamente para cada sistema interessado, a aplicação — o sistema de compras — publicará esse evento em um broker (intermediador de mensagens).
A partir desse momento, o Kafka ficará responsável por receber esses eventos e disponibilizá-los para outras aplicações. Nosso Spark Structured Streaming consumirá continuamente esses eventos vindos do Kafka e, à medida que novos pedidos chegarem, os transformará em informações úteis para o negócio. Essas métricas, que representam informações para o negócio, podem alimentar dashboards (painéis), podem ir para um sistema de monitoramento ou até mesmo enriquecer outras aplicações.
Durante o curso, nós construiremos exatamente essa arquitetura. Em cada aula, implementaremos uma parte desse fluxo até chegarmos à solução completa em funcionamento.
Justificando o processamento em tempo real
Ao entendermos essa arquitetura, surge uma pergunta importante: por que precisamos processar em tempo real? Podemos considerar alguns casos. Imaginemos que fazemos uma compra suspeita com nosso cartão de crédito. Se esperamos horas para identificar que esse comportamento pode ser fraude, isso pode significar uma grande perda. Se temos, por exemplo, um sistema no qual monitoramos nossas aplicações. Um serviço simplesmente deixou de responder.
Quanto antes identificarmos esse problema, menor será o impacto para você, para as pessoas usuárias, para a sua empresa e para a imagem da sua empresa. Por isso, isso é de extrema importância.
Também podemos acompanhar as vendas no e-commerce (comércio eletrônico). Assim, conseguimos ver o desempenho de uma campanha específica em uma data especial ou identificar rapidamente uma queda na taxa de conversão. Por isso, é interessante que esses dados cheguem em tempo real para que possamos fazer essas análises.
Comparando processamento em batch e streaming
Existem dois tipos de processamento: processamento por lotes, em batch (lotes), e processamento em streaming (transmissão contínua).
Como ocorre o processamento por lotes? Geralmente, esperamos acumular uma quantidade maior de dados e os processamos em lote. É como quando queremos um relatório diário de vendas: esperamos acumular todas as vendas do dia e, de madrugada, executamos a automação e extraímos esse relatório. Esperamos os dados se acumularem e processamos tudo de uma vez.
No streaming (transmissão contínua), que é a arquitetura que queremos desenvolver agora, processamos em near real-time (quase em tempo real), muito próximo do tempo real. Nada é efetivamente em tempo real, mas fica muito próximo.
É importante lembrar que streaming (transmissão contínua) e batch (lotes) não se substituem necessariamente. Nas empresas, é comum utilizar ambos os enfoques. Dependendo das suas necessidades, alguns sistemas precisarão de streaming (transmissão contínua), enquanto outros não têm essa necessidade de tempo real e podem ser processados em batch (lotes). Cada um terá particularidades de custo, arquitetura e latência, servindo a cenários diferentes e, em geral, usamos ambos os tipos de processamento.
Definindo a abordagem e encerrando
Como nosso objetivo neste curso é acompanhar os pedidos praticamente em tempo real, vamos utilizar processamento em streaming (transmissão contínua).
Agradeço por me acompanhar neste vídeo e nos vemos no próximo.