Automação de processos com n8n: inteligência de dados para Marketing

Apresentando o curso e objetivos

Bem-vindo a mais um curso da Alura. Neste curso, vamos aprender a montar um processo de automação para a manipulação de dados, com o objetivo de criar um dashboard no Lucra Studio.

Para isso, nosso curso será sobre o N8n, e vamos desenvolver um fluxo, ou workflow, com toda a automação necessária para processar dados exportados. Esses dados estão em um arquivo CSV do Google Ads e em um arquivo JSON da Meta. Vamos tratar esses dados, padronizá-los conforme nossas necessidades e manipulá-los para gerar um relatório.

Explicando o processo de ETL e suas vantagens

Esse processo é conhecido como ETL (Extração, Transformação e Carga de Dados), permitindo que possamos gerar informações e tomar decisões baseadas em dados. Se trabalhamos com marketing no dia a dia, gerenciando campanhas e precisamos entender o que está acontecendo, organizar melhor as informações e gerar relatórios para a gerência ou equipe para acompanhamento, este é um processo que o N8n nos ajudará a realizar. Ele automatizará grande parte do trabalho, que é tedioso e pesado, de tratamento de dados.

Se atualmente temos todos os dados em uma planilha do Excel para montar um dashboard e precisamos tratá-los e manipulá-los manualmente, estamos sujeitos a erros e podemos deixar passar algo. Além do trabalho que isso implica, enviar esses dados para o N8n para que ele faça o processamento e deixe o Excel pronto para carregarmos em nossa ferramenta de análise, como Power BI, Looker Studio, Tableau, entre outras, nos livrará de um trabalho pesado. Teremos as regras bem explícitas sobre como realizar esse tratamento.

Revisando nós e ferramentas utilizadas

Vamos revisar alguns nós que já vimos antes. Usaremos bastante o nó de merge, ou seja, o nó de junção, para entender como juntamos a informação e quais são as opções para unir os dados. Vamos extrair informações de arquivos CSV e JSON, mas isso também pode ser feito para muitos outros tipos de arquivo. Utilizaremos o MailChimp como uma base, um CRM, para ter uma visão completa, desde a campanha até o momento em que o cliente está em nosso CRM, incluindo o histórico desse cliente a partir daí. Isso nos permitirá visualizar o funil como um todo ao montar um relatório.

Concluindo com a visão geral do pipeline

A ideia é ter esse pipeline no N8n, com o foco em como montar um pipeline de dados, organizar essas informações e tomar melhores decisões baseadas em dados uma vez que esse processo esteja concluído.

Introdução ao Curso e Objetivos

Neste curso, estamos de volta ao n8n para explorar como ele pode nos auxiliar na manipulação e transformação de dados, ajudando-nos a responder perguntas. Como já discutimos, muitas empresas desejam que lidemos com dados, tomemos decisões baseadas neles e tenhamos visualização dos resultados numéricos das iniciativas que realizamos. Tudo isso envolve o uso de ferramentas que geram informações e dados. O n8n nos ajudará a agregar diferentes fontes de informação e a ter uma visão aprimorada ao preparar os dados para a criação de um dashboard.

Simulação de Fontes de Dados

Durante o curso, simularemos duas fontes de dados distintas. Teremos acesso a uma pasta com dois arquivos. Um arquivo simulará uma exportação de dados do Google Ads, incluindo datas, nome da campanha, ad set, nome específico do anúncio, número de impressões, cliques, gastos em cada anúncio e campanha, número de leads, time source e time campaign. Esses são os dados que teremos no Google Ads.

Também teremos campanhas semelhantes ou irmãs rodando no Meta Ads, que exportará informações para nós, mas em um formato diferente. Enquanto no Google trabalhamos com um CSV, que já é tratado como planilha, no caso do Meta Ads, teremos um JSON, um formato distinto de transmissão de dados. Nele, os dados são organizados em um array, com cada chave representando uma linha daquela lista no CSV. Como vem de outra ferramenta, inclui informações como campaign ID, campaign name e objetivo, que diferem do que recebemos do Google Ads, pois são plataformas diferentes que exportam informações distintas.

Unificação e Análise de Campanhas

Nosso trabalho será entender como as campanhas que estão rodando nas duas plataformas podem ser unificadas e gerar um dashboard unificado sobre essas duas campanhas.

Estamos analisando como os leads que estão sendo capturados em nossa base do MailChimp, um público-alvo do nosso CRM, estão se comportando ao longo do tempo. A ideia é observar desde a campanha inicial, as campanhas que rodaram e trouxeram leads, até como esses leads são inseridos no nosso CRM. A partir daí, identificamos quais desses leads se tornam qualificados, quais já se converteram em clientes, no sentido de terem realizado compras, e como está a conversão por cada campanha que realizamos.

Agregação de Informações e Criação de Relatórios

Nosso objetivo é agrupar todas essas informações. Utilizaremos o MailChimp como CRM, o Meta Ads exportado em JSON e o Google Ads exportado em CSV. Vamos agregar tudo isso usando o n8n para juntar as informações e criar uma visualização, montando um relatório que nos permita ver todas as etapas e analisar as campanhas de diferentes plataformas em um único lugar, facilitando nossa tomada de decisão.

Desenvolvimento do Workflow

Esse será o projeto do curso. Para começar, vamos criar um novo workflow. Este workflow será focado no tratamento de dados e campanhas, e nosso gatilho será manual. No entanto, se houver uma maneira de conectar as fontes de informações de forma automática, será possível agendar a geração ou atualização do relatório a cada 15 dias, semanalmente ou até diariamente, conforme necessário.

No nosso caso, utilizaremos um gatilho manual, pois precisamos exportar manualmente as informações que estão no CSV ou no JSON. No entanto, a ideia é fornecer uma base que possa ser adaptada conforme as necessidades do dia a dia. É importante considerar qual será o gatilho mais adequado e, se houver um gatilho automático, como buscar as informações corretas nas ferramentas disponíveis para manipulação posterior.

Exportação e Integração de Dados

Com o workflow pronto, vamos começar a trabalhar com ele, exportando e trazendo para dentro desse workflow as informações que estão no Google Drive.

Conectando ao Google Drive

Para conectar nosso arquivo do Google Drive, vamos utilizar um nó diferente do que fizemos nos cursos anteriores, onde usamos o Google Sheets como fonte de informação. Desta vez, utilizaremos o Google Drive, pois queremos acessar um arquivo que está dentro de uma pasta específica. O Google Drive será a ferramenta que utilizaremos, pois é a que temos mais acesso e é simples de usar, estando disponível em nossa conta.

Se tivermos contas da Microsoft, podemos usar as ferramentas da Microsoft, como o Teams ou o OneDrive, onde os arquivos também podem ser armazenados. Caso tenhamos arquivos em plataformas de desenvolvimento, como o S3, que é um repositório de arquivos da Amazon, também poderíamos utilizá-las. Em qualquer lugar onde guardamos nossos arquivos, funcionará. No nosso caso, estamos usando o Google Drive, então utilizaremos o aplicativo do Google Drive para fazer a conexão e o download do arquivo.

Configurando o nó e conectando credenciais

Vamos deixar o nó configurado, pois ele apagou nosso gatilho. Vamos voltar com um gatilho manual, conectando-o ao Google Drive. Seria a mesma coisa se estivéssemos usando o OneDrive, que também possui a opção de download de arquivo. Funciona da mesma forma, pois é apenas o repositório onde os arquivos ficam guardados. Como não estamos trabalhando com uma planilha que tem seu aplicativo independente, mas sim com um arquivo que está solto em nossas pastas, precisamos buscá-lo pelo nome.

Faremos o download do arquivo e ele precisará de uma credencial. Vamos conectar nossa credencial do Google e deixar o sistema recarregar. O processo é o mesmo que passamos no Google Sheets, conectando facilmente à conta. O OneDrive faz o mesmo tipo de autenticação. Após conectar, identificamos qual é o arquivo pela URL. No nosso projeto, vamos pegar o arquivo CSV, especificamente o google_ads_csv_export. Vamos compartilhar e copiar o link.

https://drive.google.com/file/d/1kbYRSLIRtKTAhbf/view?usp=drive_link

Considerações sobre acesso e governança

Um ponto importante é que, como estamos conectados à nossa conta pessoal do Google Drive, onde o arquivo está armazenado, ele não precisa estar público. Não precisamos compartilhá-lo com ninguém, pois a conta que está acessando através do n8n é a nossa própria conta, então não haverá problemas. Podemos copiar o link, executar e ele trará o arquivo para nós. O nome do arquivo, sua extensão CSV, tipo de texto e tamanho são identificados corretamente.

Se estivermos usando uma conta no n8n que não tem acesso ao arquivo, ele não conseguirá acessá-lo, resultando em um bloqueio de não autorizado. Isso ocorre porque o arquivo não existe para a conta que o n8n está usando. Como mencionado anteriormente, por questões de governança, principalmente em equipes ou empresas, é recomendável ter uma conta separada no n8n para gerenciar o acesso aos arquivos. Assim, podemos subir os arquivos e dar acesso a eles na conta que estamos usando no n8n. No nosso caso, como é a mesma conta dos dois lados, não haverá problemas de acesso, mas isso pode ocorrer se tivermos contas separadas.

Transformando dados binários em texto

Pelo URL, conseguimos trazer o arquivo. Note que, desta vez, a ação de download trouxe apenas um item. Na tabela e no esquema, não aparece nada, pois é um tipo de saída diferente do que estávamos acostumados. Geralmente, na tabela ou no esquema, os dados e informações são exibidos. Por que não trouxe nada aqui? Porque o item é um dado binário. Como é um arquivo, no JSON também não aparece nada, pois é um binário. Isso significa que é um arquivo fechado com uma sequência de 0 e 1, um formato binário que o n8n, por padrão, não consegue acessar dentro deste nó de download do Google Drive.

This item only has binary data

Precisamos transformar essas informações de binário para um tipo texto. Embora ele indique que é um texto do tipo CSV, a forma como as informações foram baixadas ainda não é em texto. Ele apenas indica que, se quisermos transformar esse dado, ele é um texto do tipo CSV, mas este nó não consegue fazer essa transformação sozinho.

Extraindo e manipulando dados CSV

Precisamos pegar o arquivo que foi baixado e extrair seu conteúdo. Para isso, utilizamos um nó específico para extração de arquivos. Temos várias opções de formatos, e no nosso caso, o formato é CSV. O sistema solicita que informemos o arquivo binário, especificando onde ele está localizado. No nosso caso, o arquivo é chamado data, que é o nome padrão quando baixamos.

data

Ao executar, o sistema transforma o arquivo binário baixado em texto, apresentando o resultado de forma organizada, com 387 itens. Isso significa que o CSV, ou planilha, contém 387 linhas que foram lidas. Podemos visualizar todas as linhas individualmente, assim como as colunas de cada linha.

Se optarmos por mudar o nome do arquivo no campo de saída, podemos especificar um nome, como google_ads_csv. Ao executar, o nome do arquivo é alterado, e se tentarmos extrair novamente sem atualizar o nome no processo de extração, ocorrerá um erro, pois o nome do arquivo não será mais data, mas sim google_ads_csv. Precisamos garantir que o nome esteja correto para extrair o arquivo adequadamente.

Put Output File in Field
googleads_csv

Trabalhando com arquivos JSON

Dessa forma, conseguimos buscar o arquivo no Google Drive, extrair seus itens e trabalhar com eles. Além disso, queremos realizar o mesmo procedimento com um arquivo JSON, que contém dados do Meta Ads. Para isso, copiamos o link do arquivo JSON, duplicamos o nó existente e conectamos o novo nó. Alteramos o link e mantemos o nome padrão data. Após carregar, o arquivo JSON é trazido para o sistema.

https://drive.google.com/file/d/1paAVk-mcI

Em seguida, chamamos a função de extração para o arquivo JSON. Como não alteramos o nome, ele permanece o mesmo. Ao extrair, percebemos que apenas um item é trazido, o que não está correto, pois sabemos que o arquivo contém uma lista chamada data com múltiplos itens.

Extract from JSON

Extraindo e separando dados JSON

Dependendo do tipo e formato do arquivo, pode ser necessário manipulá-lo para obter as informações desejadas. No caso do JSON, ele contém dois campos: meta e data. O campo meta possui informações como account_id, account_name, moeda, data, entre outros. Já o campo data contém a lista de campanhas e anúncios do Meta Ads.

Precisamos realizar um passo adicional para extrair apenas as informações do campo data, separando cada item individualmente. Utilizamos o nó de split out, que permite separar os itens de uma lista em elementos individuais. Ao fazer isso, encontramos 374 itens. No Google, foram encontradas 380 linhas, enquanto no Meta, 374 linhas. Isso ocorre devido a campanhas diferentes, resultando em discrepâncias.

spl
data.data

Conclusão e próximos passos

Com os dois arquivos carregados, podemos começar a trabalhar neles, transformando, alinhando e limpando os dados para deixá-los no formato desejado, facilitando a análise posterior. O n8n será uma ferramenta valiosa nesse processo de transformação e organização dos dados.