Multivariate Testing: testando mais de duas versões

Hoje em dia é muito comum ouvirmos sobre Teste A/B, que é uma forma de pesquisa na qual as pessoas usuárias são divididas em dois grupos e são ofertadas uma versão diferente do mesmo produto para cada uma. Esse tipo de teste torna possível avaliar qual versão funciona melhor e atinge maiores resultados.

Mas o que fazer nas situações em que temos mais de duas versões para testar? Nesses casos, temos o Multivariate Testing, ou Teste de Multivariáveis, que pode nos ajudar!

Neste artigo vamos conversar sobre:

• O que é Multivariate Testing e quando utilizá-lo;
• Como funciona sua aplicação;
• Qual a diferença entre Multivariate Testing e Teste A/B.

Vamos lá?

O que é Multivariate Testing?

Multivariate Testing, ou Teste de Multivariáveis, é um método de pesquisa que se baseia em testar mais de uma mudança feita ao mesmo tempo em uma página ou produto. Isso significa que o produto a ser testado teve mais de um elemento alterado. Esse teste possibilita a comparação entre a versão original e as alterações para saber qual combinação de elementos está funcionando melhor.

Para facilitar o entendimento, vamos tomar a seguinte situação como exemplo prático: uma empresa mudou o texto de um botão e aumentou o tamanho de uma imagem na página do seu site. Como houve duas alterações acontecendo ao mesmo tempo, ela pode utilizar o Multivariate Testing para testar as variações e ver qual está funcionando melhor. As possíveis combinações a serem estudadas são:

Botão antigo + Imagem pequena na página (Versão original)

Botão novo + Imagem grande na página

Botão antigo + Imagem grande na página

Botão novo + Imagem pequena na página

Com isso, juntamos todas as versões possíveis e estudamos o que está funcionando bem e o que não está. Esse processo é de extrema importância para verificarmos se as nossas mudanças de fato estão gerando grandes impactos nos resultados finais e quais elementos estão sendo mais efetivos para alcançar as metas de desempenho do site estabelecidas pela empresa.

Quando utilizar Multivariate Testing?

Caso houver mais de uma mudança na página, o que consequentemente resulta em mais de duas versões a serem estudadas, e você precisar testar qual combinação funciona melhor para atingir os objetivos da empresa, o Multivariate Testing pode ser uma ótima solução!

Não podemos apenas aplicar alterações em uma plataforma sem antes ter a certeza de que essa ação trará resultados positivos, pois uma mudança tem o potencial de alavancar uma empresa ou de gerar perdas.

Para evitar grandes riscos, o Multivariate Testing nos ajuda a analisar os pontos altos e baixos das mudanças sugeridas. Isso resulta em uma maior segurança no que estamos fazendo, porque, com esse processo, as decisões não são baseadas em "achismos'' e sim em dados concretos vindos diretamente das pessoas usuárias.

Como funciona a aplicação do Multivariate Testing?

A aplicação do teste pode ser feita de duas formas: utilizando o próprio tráfego do site, ou convidando as pessoas usuárias e pedindo a elas que façam alguma tarefa no protótipo da página.

Quando utilizamos o próprio público frequente do site, as versões das páginas a serem testadas ficam disponíveis e programamos o código da plataforma para que as pessoas, ao acessarem o link para entrar no site, sejam automaticamente direcionadas para uma dessas variações.

É como se dividíssemos as pessoas que entram no site em grupos e cada um tivesse contato com apenas uma versão. Deixamos isso acontecer por um período de tempo, ao final analisamos os resultados captados com o objetivo de observar o comportamento de cada público dentro das versões, e de utilizar as métricas (dados que nos indicam algo) para definir qual versão funciona melhor. Esse processo é bastante comum em situações em que o site já existe e possui um grande fluxo de pessoas passando por ele.

Uma curiosidade bem interessante é que, em casos quando utilizamos o próprio tráfego do site, as pessoas fazem parte da pesquisa sem nem mesmo saber que um Multivariate Testing está sendo aplicado! Essa é uma prática super comum no mercado, feita até mesmo por alguns aplicativos bem populares de streaming.

Nos casos em que convidamos as pessoas usuárias, o processo é semelhante, porém, antes de tudo, temos que dar instruções bem claras e pedir alguma tarefa que incentivará que a pessoa utilize a interface.

Qual a diferença entre Multivariate Testing e Teste A/B?

O Multivariate Testing e o Teste A/B são métodos de pesquisa muito parecidos, mas cada um tem uma finalidade. Ambos tem como objetivo testar as mudanças feitas em um produto, como sites e aplicativos, e observar por meio de dados e métricas se estão atingindo os objetivos traçados pela empresa com essas alterações.

A maior diferença entre esses métodos está na quantidade de versões testadas: o Teste A/B é um método para comparar apenas duas versões de um mesmo produto, geralmente temos essa quantidade de itens em situações quando apenas um único elemento foi alterado. O Multivariate Testing é usado em casos em que há mais de uma alteração, o que automaticamente gera uma quantidade maior do que duas versões do mesmo produto e é preciso testá-las juntas para entender qual funciona melhor.

No Teste A/B temos duas versões de um mesmo produto, e no Multivariate Testing temos mais de duas versões a serem estudadas.

Reflexão e dica sobre o Multivariate Testing

Apesar de ser um método muito eficiente para testar as versões de um mesmo produto, temos que considerar que quanto mais combinações a serem estudadas, maior é a necessidade de ter um grupo grande de pessoas participando da pesquisa.

Quando aplicamos o Teste A/B dividimos as pessoas em 02 grupos de números iguais. Ou seja, se há 100 pessoas participando, serão 02 divisões de 50 integrantes cada. Porém, no caso do Multivariate Testing, o número de grupos dependerá da quantidade de combinações a serem testadas. Considerando o mesmo grupo de 100 pessoas e supondo que há 04 versões para teste, teríamos 04 grupos de 25 pessoas cada. Bem menos do que no Teste A/B.

Por isso que, ao escolher o Multivariate Testing, assegure-se de que haverão pessoas participantes suficientes para montar grupos grandes e obter dados concretos em relação a cada combinação.

Revisando

Neste artigo, conversamos sobre:

• O Multivariate Testing, ou Teste de Multivariáveis, é um método de pesquisa que se baseia em testar mais de uma mudança feita ao mesmo tempo em uma página. Isso possibilita a comparação entre a versão original e as alterações para saber qual combinação de elementos está funcionando melhor.
• Pode ser utilizado caso houver mais de uma mudança na página e você precisar testar qual versão funciona melhor para atingir os objetivos da empresa.
• A aplicação do Multivariate Testing pode ser feita de duas formas: utilizando o próprio tráfego do site ou convidando as pessoas usuárias e pedindo que façam alguma tarefa no protótipo da página, sendo a primeira forma a mais utilizada hoje em dia.
• O Multivariate Testing e o Teste A/B são métodos de pesquisa muito parecidos, mas cada um possui uma finalidade.
• Ao escolher o Multivariate Testing, assegure-se de que haverão pessoas participantes suficientes para montar grupos grandes e obter dados concretos em relação a cada combinação.

Curtiu a nossa conversa? Aqui na Alura temos diversos conteúdos para você mergulhar no mundo da UX Design e da UX Research! Que tal dar uma espiada em alguns desses cursos, Alura+ e artigos? Vou deixar aqui algumas sugestões:

• UX Research: metodologias e imersão em pesquisa, com a instrutora Tuanny Dias;
• Artigo “O que é UX Research?”;
• Tree testing: como usá-lo para testar meu menu?.

Além de tudo isso, temos conteúdos abertos para a comunidade como os artigos aqui do blog, os vídeos disponíveis no canal no Youtube e os episódios do nosso podcast focado em design Layer Ponto Tech.

Até mais!!

---

Créditos

Conteúdo e escrita: Gabriela de Lima

Revisão Didática e Técnica: Ana Raquel Cruz e Luiz Lima