[00:00] Nós fazemos parte da Alura Data, empresa de consultoria, e recebemos nessa semana, o Senhor Zé, dono da padaria. Então vamos lá, vamos relembrar os problemas que o Senhor Zé trouxe para nós.
[00:13] Ele tem uma grande quantidade de dados parados, grandes informações paradas no seu sistema e as vendas estão um pouco paradas, estagnadas. Ele quer melhorar as suas vendas, o seu negócio, utilizando os dados.
[00:28] Ele trouxe essas informações para nós, nós entendemos melhor quais são esses dados, temos os números das transações, os itens que são vendidos em cada transação, qual dia, em qual parte do dia, os horários e assim por diante.
[00:42] Aí, vamos entender melhor qual é a técnica que podemos aplicar quando estamos trabalhando com esse tipo de dados. Essa técnica é a regra de associação. Mas o que é regra de associação?
[00:55] A regra de associação se baseia em identificar relacionamentos presentes em grandes conjuntos de dados. Mas como assim? Temos as transações e os itens. Queremos identificar as relações entre esses itens, entre essas diferentes vendas na padaria do Senhor Zé.
[01:16] Então, o próprio exemplo são os dados do Senhor Zé e essa padaria. Vamos pensar um pouco melhor. Qual é a importância de aplicar a regra de associação? A primeira é poder identificar esse comportamento de compra dos clientes. Então, temos uma tendência a comprar mais café, por exemplo, na padaria dele? O pessoal que frequenta a padaria do Senhor Zé compra mais café?
[01:42] Ou podemos identificar outros tipos de comportamento, se o pessoal gosta mais de coisas doces, mais salgadas, e assim, começar a direcionar esses produtos dentro do negócio do Senhor Zé. Outra importância de se aplicar as regras de associação e as vantagens que essa aplicação nos traz é apoiar uma variedade de aplicações relacionadas ao negócio.
[02:03] Nós podemos, por exemplo, reorganizar toda a padaria, a disposição dos itens na padaria do Senhor Zé. Então, talvez um item ficar mais próximo de outro. "O café vende mais com o pão", então vamos deixar um próximo ao outro para a pessoa ver e já levar junto. Ou "Não vende tão bem pão com chá", então vamos deixar longe?
[02:25] Podemos criar combos de produtos. "Ah, esses produtos vendem melhor juntos". Criar promoções, assim por diante, tudo visando melhorar o negócio do Senhor Zé. E aí, como que funciona essa técnica de regra de associação? Como podemos criar esses relacionamentos? Até o momento, temos as transações e seus itens. O que fazemos com essa informação?
[02:47] Primeiro de tudo, é gerar o conjunto de itens frequentes. Então, vamos pegar essas transações, o número e todos os itens presentes nessas transações, e gerar em cada um desses itens, todos os conjuntos possíveis. Existe toda uma complexidade nessas transações, na relação entre esses itens. Identificados todos os conjuntos possíveis, vamos fazer uma contagem, verificar qual é esse item mais frequente, esse conjunto mais frequente, assim por diante.
[03:23] A partir do momento em que identificamos esse conjunto de itens frequentes, passamos para a geração das regras. Quer dizer que a compra desse conjunto pode levar a compra desse outro conjunto. Começar a criar essas regras, esse relacionamento entre os conjuntos presentes nas vendas.
[03:43] Agora que já entendemos como funcionam as regras de associação, então primeiro geramos o conjunto de itens frequentes e depois as regras, vamos ver quais métricas podemos utilizar para entender o que é um conjunto frequente e o que é uma regra realmente confiável. Será que não é só coincidência?
[04:00] A primeira métrica que apresento a você é o suporte. O suporte irá medir a fração das transações em que ocorrem um conjunto de itens. Ele vai pegar a frequência que aquele conjunto de itens aparece, a quantidade de vezes em que ele aparece, e dividir por toda a quantidade de transações. É como se fosse uma porcentagem da frequência que esse item ou conjunto de itens aparece em todas as nossas transações.
[04:27] Aí, como de fato ele é considerando um conjunto frequente? Ele será considerado frequente se estiver acima de um limiar, de um valor mínimo estipulado pelo usuário ou usuária. Por exemplo, vamos estipular que o mínimo de um conjunto ser frequente é igual a três. Se ele aparecer três vezes, ele é um conjunto ou item frequente.
[04:55] Aí você pergunta: qual a importância de se utilizar essa métrica? Primeiro, podemos verificar se as regras ocorrem por coincidência. Não é uma regra realmente confiável. Pode ser que a pessoa comprou aqueles itens por coincidência, não é realmente uma inferência que toda pessoa que comprar aquele item vai comprar o outro.
[05:17] Então, temos que ficar atentos a isso. Outra questão importante em utilizar o suporte para medir essa frequência de itens, é eliminar regras de baixo interesse para o negócio. Então, talvez um item que não tem nada a ver com a padaria do Senhor Zé venda muito, mas não tem nada a ver com padaria, é só um item que vende ao acaso ali.
[05:41] Por exemplo, é uma padaria. Às vezes ele vende bastante macarrão. Não é uma regra que tem muito interesse para o Senhor Zé. Aí, como podemos calcular? Entendemos o que é o suporte e o que ele mede, então como podemos de fato calcular? Vamos lá, vamos com calma que chegou na parte matemática.
[06:00] Então tudo começa aqui. O suporte do conjunto ou de um item X será igual a quantidade de vezes que esse conjunto aparece em todas as transações dividido pelo número de transações. Ok, isso é para um conjunto específico. Temos agora um suporte para uma regra. E aí como mede?
[06:29] O suporte da regra de X, dado um Y, ou seja, um conjunto de itens ou um item é comprado, pode ser que leve a comprar o conjunto Y ou item Y, vai ser igual a união desses dois conjuntos. Então, qual é a quantidade de vezes que os três itens, por exemplo, dois itens de X e um item de Y, aparecem juntos em todas as transações, essa quantidade de vezes, dividida pelo número de transações. Quantas transações temos?
[07:01] Aprendemos a calcular e entendemos um pouco do suporte. Mas temos outra métrica muito importante de se entender, que é a confiança. Ela é utilizada para as nossas regras. Enquanto o suporte mede tanto a frequência dos itens quanto a frequência da regra, a confiança vai medir a frequência em que os itens de um conjunto Y aparecem em transações que contenham o conjunto X.
[07:27] Então, ele vai medir a confiança dessa inferência. Então quer dizer que esse item em Y realmente vai aparecer em transações que tenham o conjunto X. Essa inferência está fazendo sentido, não é coincidência, como falamos anteriormente. Então, qual é a importância? Medir a confiabilidade de uma inferência feita por uma regra, ver se realmente está correta.
[07:51] Aí, como podemos calcular a confiança? A confiança dessa regra X dado Y, o conjunto de item ou itens X é comprado sendo que pode ser que a pessoa compre também um conjunto de itens Y, vai ser igual à união dos dois conjuntos, então, novamente, quantas vezes os itens dos conjuntos X e Y aparecem juntos em todas as transações, dividido pela quantidade de vezes que o conjunto X aparece nas transações.
[08:27] Então entendemos confiança e suporte. Vamos ver um exemplo? Perfeito, temos aqui. Vamos supor que temos cinco transações. Dentro dessas cinco transações, cinco vendas, temos que o conjunto {Café, Pão} tem uma alta frequência, é muito vendido. Então foi identificada essa regra. Café e pão, quer dizer que a pessoa que os compras, pode ser que também compre bolo.
[08:58] Vamos verificar qual é o suporte à confiança dessa regra, o quanto ela realmente é válida. O suporte da regra de X dado Y vai ser igual à quantidade de vezes que os nossos dois conjuntos aparecem juntos em todas as transações, então, quantas vezes café, pão e bolo aparecem juntos nas vendas. Vamos supor aqui duas vezes. Aí nós dividimos pela quantidade de transações que temos, aqui são cinco transações.
[09:33] Então, o suporte dessa regra é de 0.4, para 40% de todas as transações, essa regra é válida. Interessante. Vamos ver então como calcula a confiança dessa regra, dado conjunto X e dado conjunto Y. Temos aqui o café e o pão, sendo que pode ser que a pessoa compre o bolo também. Então, como vamos calcular a confiança?
[09:59] Quantas vezes café, pão e bolo apareceram juntos em todas as vendas, vamos supor que duas, dividido pela quantidade de vezes em que café e pão apareceram juntos. Somente café e pão, que é o conjunto X. Vamos supor que três vezes. "2/3 = 0.67", então, a confiança dessa regra é de 67%. Muito interessante.
[10:26] Agora, vamos para os pontos de atenção dessa regra, temos vantagens e desvantagens. Cuidado ao interpretar as associações. Como levantei para você, pode ser que aconteçam associações baseadas em pura coincidência, então devemos tomar cuidado, nos atender ao problema daquele negócio, nos atender às necessidades do negócio.
[10:49] Outro ponto de atenção é que a regra de associação indica uma forte concorrência, sendo que um item foi comprado, pode ser que ocorra de o outro também ser comprado, entre os itens antecedente e consequente, e não uma causalidade. Não quer dizer causa e efeito. Devemos também tomar muito cuidado com essa informação.
[11:12] Entendemos como funciona a regra de associação. Geramos os conjuntos de itens frequentes e depois geramos as regras. Vimos que pode ser que tenham alguns problemas, uma complexidade muito alta dentro da regra de associação. Será que não existem formas de otimizar, por exemplo, a geração de itens frequentes?