Contextualizando requisitos e rastreabilidade
Olá.
Antes de começarmos a desenvolver nossa arquitetura no ecossistema da Esri, precisamos entender qual problema nossa solução vai resolver. Antes de escolher serviços e a cloud (nuvem), precisamos compreender os requisitos de negócio, como iremos atendê-los e o que precisamos resolver para o time de negócio. Isso é mais importante do que a ferramenta em si.
Durante este curso, vamos trabalhar com a Esri Shop, uma empresa de comércio eletrônico que cresceu significativamente e passou a receber diversos dados relacionados a pessoa cliente, pedido, categorias de pedido e dados de pagamento. Temos um cenário completo com alguns datasets (conjuntos de dados) diferentes. Poderia ser natural pensar que será apenas uma arquitetura medalhão, com movimentação de dados de um lado para o outro, e tudo certo. Talvez seja, mas é mais do que isso; é mais do que apenas decidir usar um Blob Storage (armazenamento de blobs) ou qualquer outro serviço. Precisamos entender nosso principal objetivo.
Nosso principal objetivo é entregar dados ao time de negócio de forma confiável e garantir que, quando ocorrer algum problema no processo, o time de negócio consiga identificar o que aconteceu. Entender quando algo sai do esperado também é essencial. Pensamos no caminho feliz, mas também precisamos considerar o caminho em que algo dá errado.
Para entender essa necessidade, partimos de um incidente. Imagine que a Esri Shop estava recebendo seu lote diário de dados e, durante esse processo, houve a necessidade de reprocessar um lote. Tínhamos processado os dados e foi necessário reprocessá-los. Após o reprocessamento, o time de negócio analisou os dados e percebeu que eles deixaram de corresponder ao que era esperado. A partir daí, surgem algumas perguntas naturais:
- Qual lote gerou esse dado?
- Esse dado foi duplicado no momento da reexecução?
- O arquivo recebido originalmente ainda está disponível ou não está mais, e nós perdemos a rastreabilidade?
Essas dúvidas evidenciam o problema de apenas movimentar os dados. Se pegarmos um dado e o levarmos ao ponto B, onde está a rastreabilidade? Como saber de onde veio o dado incorreto e por onde ele passou? Concluímos que precisamos construir uma plataforma que nos dê capacidade de rastrear e reprocessar informações de forma segura.
Explorando os datasets do projeto
Agora, vamos abrir a seção de datasets (conjuntos de dados). No projeto que vocês baixaram, há a pasta "datasets", e abrimos o dia 1 do 8. Observamos que não há um único arquivo; estamos lidando com diversos: categorias, clientes, itens de pedidos, pagamentos em JSON, pedidos em CSV e produtos em CSV.
Ao olhar para esse cenário, percebemos que, apenas pelos títulos, esses arquivos provavelmente têm conexão entre si. Se analisarmos pedidos, é provável que estejam ligados a clientes, pois é a pessoa cliente quem faz o pedido. Quando falamos de pagamentos, provavelmente também estão ligados a um pedido ou a uma pessoa cliente. Começamos, então, a perceber que existe um ponto de conexão entre esses diferentes datasets (conjuntos de dados) que os une.
Precisamos verificar se essas relações são válidas e se permanecem consistentes durante todo o nosso processamento.
Vamos abrir a tabela de pedidos. Nela, observamos as colunas pedido ID, cliente ID, data do pedido e status. Identificamos, de imediato, a conexão com a tabela de cliente, já que há um cliente ID referenciado.
Estabelecendo contrato de dados e regras
Em seguida, vamos voltar para a pasta raiz "Azure Shop Data Platform" e abrir, dentro de "docs", o arquivo contrato de dados. Esta é uma parte muito importante do projeto, pois define nossos requisitos.
Podemos ver as regras gerais:
- O formato CSV (valores separados por vírgula) deve ter cabeçalho obrigatório e separador por vírgula.
- O formato JSON (JavaScript Object Notation) deve conter um objeto por linha.
Também há regras por entidade. Na entidade cliente, por exemplo:
cliente ID deve ser uma string, é obrigatório e é único por lote.email é obrigatório e deve conter o sinal @. Se a string não contiver @, estará fora do que esperamos.CPF deve ter 11 dígitos. Sabemos que isso não cobre todas as validações possíveis, mas, para fins didáticos, consideraremos 11 dígitos.data de cadastro deve obedecer ao formato AAAA-MM-DD (ano-mês-dia).
Nas demais entidades, como produto, observamos que:
categoria é obrigatória.preço deve ser positivo.
Em pedidos, vemos que:
status é obrigatório e só aceita os valores aprovado, cancelado ou pendente.
Cada entidade possui requisitos e regras que geram uma validação de qualidade dos dados, algo essencial em todo o processo.
Adicionando colunas técnicas para rastreabilidade
Outro ponto importante é o conjunto de colunas técnicas, que nós adicionaremos para rastreabilidade:
data de referência: indica a partição e o recorte específico da carga.ID do lote: rastreia o lote de origem e o de destino.processamento: registra o horário em que processamos a carga.motivo da rejeição: documenta por que um registro foi rejeitado.
Essas colunas técnicas nos ajudam a rastrear casos em que os dados não atenderam aos requisitos ou quando ocorreu alguma falha durante o processamento. Com elas, conseguimos entender onde ocorreu o problema, qual foi o lote afetado, quando aconteceu, em que etapa do processamento e por que houve rejeição. Por exemplo: rejeição por regra de qualidade (um e-mail sem @) ou pela ausência de um campo obrigatório como pedido ID. Assim, criamos um processo de rastreabilidade que nos permite compreender melhor o que aconteceu durante o nosso pipeline (fluxo de processamento).
Planejando a arquitetura na azure
Percebam que, até aqui, nós não falamos sobre Azure Blob Storage (armazenamento de blobs do Azure) nem sobre Azure Data Factory (fábrica de dados do Azure). Não é que a plataforma não seja importante. Antes de partirmos para uma plataforma, é fundamental entendermos o que estamos entregando e quais são os requisitos. Só então conseguimos criar um pipeline com qualidade e, a partir daí, pensar em quais serviços dentro da Microsoft Azure atenderão a essas demandas.
Agora, sim, conseguimos começar a pensar na nossa arquitetura, e isso veremos no próximo vídeo. Eu te vejo lá!