[00:00] Pra começarmos a falar de validação eu gostaria de entrar no assunto que é uma grande armadilha existente nessa área, são as métricas da vaidade. Como o Eric Ries escreve no livro Lean Startup, são métricas que às vezes nós medimos porque elas nos fazem se sentir bem.
[00:22] Por exemplo, quando criamos um site onde nós podemos ter um número de assinantes de e-mail, onde vamos mandar uma newsletter com algum conteúdo nosso, e de repente começamos a olhar quantos assinantes nós temos, "nossa, o número de assinantes está crescendo. Que coisa maravilhosa. O site está bombando", mas será que essa métrica é uma métrica válida para pra entendermos o comportamento do nosso público?
[00:51] Então, e se estamos mandando pra um tanto de assinante como um tanto de e-mail falso? E se tiver caído tudo na pasta de spam? E se tiver, por exemplo, o Gmail agora separa os e-mails importantes e os não tão importantes. E se estivermos caindo sempre no não tão importante? Ninguém está lendo. Qual é a vantagem de ter um grande número de assinantes?
[01:14] Outra coisa interessante é, por exemplo, o número de downloads. Nós disponibilizamos lá um aplicativo, um joguinho para Android, iOS, e nós avaliamos lá quantas pessoas já baixaram. "Poxa, 50 mil", "100 mil pessoas", mas quantas já desinstalaram o aplicativo? Quantas instalaram e largaram ali porque tem o telefone com muita memória, não está fazendo falta e o aplicativo está só largado ali?
[01:42] Nós ganhamos dinheiro com essas pessoas? Qual é o retorno que nós temos pelo fato de ter muitas pessoas com o aplicativo instalado? Essa é uma pergunta que nós precisamos nos fazer quando começamos a trabalhar com métricas do nosso produto. Vamos dar um exemplo, uma pergunta bem fácil: existe ganho direto?
[02:04] Quando olhamos para o número de downloads tem 200 mil, passou para 250 mil download, ótimo, mas o que nós estamos ganhando com isso? De repente nós temos que medir outra coisa, que tem uma relação mais direta com o benefício. E tem uma questão Interessante sobre métricas também que medir custa. Custa tempo, custa dinheiro. Então, existe um custo associado ao simples fato de criarmos uma métrica e acompanhar essa métrica.
[02:38] Então, essa métrica tem que dar um informação relevante para nós. Se for só para inflar o nosso ego, "ah, o número de assinantes aumentou", "nós temos muitas instalações”. Talvez não valha a pena nós seguirmos medindo isso. Uma dica muito legal sobre quando uma métrica é válida ou não, que ajuda a pensarmos um pouquinho, é fazer um pequeno exercício.
[03:03] Pega aquela métrica, vamos supor que é uma métrica X, que é 100. Nós medimos e deu 100. O que nós temos que nos perguntar? Que atitude eu tomo caso essa métrica ela vá para 2? E que atitude que eu tomo caso essa métrica vá de 100 para 1 milhão? Se a nossa maneira de agir não mudar, não faz sentido medir. Eu estou medindo, mas esse número, essa medição ela não está me ajudando a tomar nenhum tipo de decisão. Então, talvez nós não devêssemos nem estar medindo isso.
[03:37] Outro ponto interessante também sobre essas métricas é avaliar se quando tem essa variação, nós medimos em 100, 110, 120, vamos supor, número de acesso à nossa página, do nosso produto. Nós conseguimos interferir nesse número? Será que nós conseguimos fazer algo que faça esse número crescer ou diminuir? Porque às vezes nós temos uma grande variação por um fator externo, que nós não controlamos.
[04:06] É legal fazermos essas medições quando a gente conseguimos efetivamente fazer essa intervenção. E quando nós temos essas métricas de vaidade, como eu mencionei, o número de assinantes, total de downloads, uma coisa que pode acontecer também, um prejuízo, é que nós podemos ter um direcionamento errado das pessoas.
[04:25] Então, nós falamos muito de estabelecer uma visão do produto, de tentar alinhar todas as pessoas que trabalham naquele produto para uma mesma visão, para todo mundo trabalhar e empurrar o produto naquela direção. Preferencialmente na direção do sucesso do produto, sucesso de vendas. E quando criamos uma métrica errada, nós podemos fazer um redirecionamento, mesmo que sem querer, e fazer com que as pessoas trabalhem de uma forma contrária à visão do produto.
[04:56] Algumas métricas de vaidade, por exemplo, vamos pensar aqui, um supermercado faturou 48 milhões no último ano, mas teve um lucro líquido de 15 mil, porque ele compra o produto e vende o produto por um preço muito próximo ao preço de custo, ou porque ele tem uma estrutura que é muito custosa. Então, faturou muito dinheiro, tem uma clientela vasta, mas na hora que vamos olhar o que está entrando mesmo, o resultado, ele não é tão positivo.
[05:30] Se batemos o olho no faturamento, ele passa a ser uma métrica de vaidade, "nós estamos faturando muito", mas podemos faturar muito e ter prejuízo. Em algumas situações isso é aceitável, mas no geral, quando estamos iniciando um produto, nós podemos, de repente, financiar um pouquinho, tirar dinheiro do bolso para injetar, para bancar esse prejuízo, mas não é uma coisa sustentável a longo prazo.
[05:55] Outra coisa que pode acontecer é quando nós temos uma métrica que não reflete a missão, e a visão do produto. Então, imagina que nós temos uma consultoria de trânsito, e nos três primeiros meses, essa consultoria, que ela começa a trabalhar com trânsito na cidade, ela mostra que ela aumentou em 39%, 40% o número de multas que ela aplica. Eu aumentei aqui 39%, estou arrecadando dinheiro, mas se ela é uma consultoria de trânsito, o objetivo era melhorar a fluidez do trânsito.
[06:32] Talvez ao estar aplicando muitas multas ela esteja, na verdade, reforçando um comportamento ruim. Se o objetivo é aumentar o número de multas, eu quero mais é que o trânsito fique ruim, para eu poder aumentar. Quero mais gente estacionando em lugar proibido, invadindo contramão, etc. Uma visão dessa consultoria deveria ser: eu quero um trânsito mais fluido, eu quero medir o tempo, a velocidade média da via, o número de acidentes diminuindo, a métrica tem que ser de acordo com a visão.
[07:07] Então, é muito perigoso quando nós começamos a pegar essas métricas de vaidade, porque nós podemos acabar direcionando o nosso produto por um caminho não muito legal. As métricas, como falei, elas moldam o comportamento. As pessoas que trabalham, quando você tem essas metas estabelecidas, as pessoas que trabalham no produto elas vão sempre tentar buscar melhorar a métrica que foi definido para elas. Se for uma métrica mal definida, podemos pegar um caminho muito ruim.
[07:38] E nós começamos a ter também algum conflito entre equipes, porque se nós temos uma equipe que está monitorando uma determinada métrica e quer melhorar o produto, "vamos procurar aumentar o número de downloads", e a outra equipe quer melhorar o produto para pegar uma outra métrica que, de repente, são métricas que não são coerentes, essas equipes podem acabar entrando em conflito, e nós temos um grupo que está ali no mesmo barco, mas está cavando um buraco no barco. Está levando o produto para um caminho ruim.
[08:18] É isso, tem que tomar muito cuidado com as partes de métricas de vaidade, ficar muito atento ao que estamos está medindo. Pensar qual vai ser o critério de sucesso do nosso produto e selecionar bem o que vale a pena ou não acompanhar.