Por que testes fechados falham: notas de campo da janela de 14 dias

A maioria dos pedidos de acesso à produção não se perde no formulário. Ela se perde em algum ponto do meio da janela, quando o recuento escorrega por baixo do piso sem ninguém perceber até o Google devolver.

O requisito é fácil de enunciar: 12 testadores, inscritos, de forma contínua por 14 dias. Contas pessoais criadas depois de 13 de novembro de 2023 não podem distribuir um app até que essa rodada esteja completa e o pedido tenha sido revisado.

Os desenvolvedores ouvem isso como um problema de recrutamento, então todo o esforço vai para o primeiro dia. O chat do grupo, o servidor do Discord, os primos. O resto da janela vira um período de espera. É nessa leitura que os testes morrem. O requisito não são doze testers no primeiro dia. São doze testers em todos os dias da janela, inclusive nos dias em que ninguém está pensando no seu app.

Os três modos de um teste morrer

1. O recuento escorrega

As inscrições chegam todas no começo. Quase todo mundo que você vai ter diz sim nos primeiros dias, enquanto você ainda está pedindo. A perda vai no sentido contrário, devagar, ao longo de duas semanas: um tester se desinsere, desinstala na limpeza do celular, perde o interesse. Cada saída é pequena. O piso, não. Com onze você está abaixo do mínimo, e a rodada deixa de contar.

Os dias também não voltam. A orientação do Google é explícita: o período tem que ser consecutivo. Um tester que se desinscreve e volta a se inscrever depois começa uma sequência nova, não uma retomada. Uma queda que você deixa passar no sexto dia pode custar a janela inteira.

2. A instalação que nunca abre

O recuento não é o requisito inteiro. O Google lista engajamento insuficiente dos testadores como motivo declarado para devolver um app para testes contínuos, logo ao lado de ficar abaixo do mínimo. O número pode estar certo e o pedido volta mesmo assim.

Essa é a falha que melhor se esconde. Um link de inscrição coloca um nome na lista; ele não coloca uma sessão nas suas analíticas. Testadores que instalam e nunca abrem o app deixam o painel verde enquanto o sinal real se degrada embaixo. Nada fica vermelho.

Ele também te pega no formulário. O pedido pergunta o que os testers fizeram: se usaram todos os recursos disponíveis, se o uso deles batia com o comportamento em produção, que feedback você recebeu e como você o recolheu. Um teste sem atividade não tem resposta para essas perguntas, e uma resposta em branco não é neutra.

3. A conta já estava em problemas

Algumas rodadas se perdem antes de começar. Um pedido anterior de acesso à produção que foi recusado. Uma listagem da loja incompleta. Um problema de política nunca resolvido. Os quatorze dias correm, os relatórios chegam, o formulário sai, e o Google recusa por um motivo que não tem nada a ver com os seus testers. Confira a conta antes de começar o relógio, não depois que ela voltar.

Por que a obsessão por recrutar no começo está errada

A regra da inscrição contínua muda a conta. Os testadores não valem o mesmo em todos os dias da janela.

Perder o seu décimo segundo tester no dia doze custa mais do que ganhar cinco testers no dia zero. Os recrutas iniciais são baratos e abundantes: o link de inscrição aceita até 100 nomes, então o teto nunca foi o limitante. Os testers do fim da janela são os que sustentam a rodada.

Então o número a otimizar não é o pico de gente. É o mínimo no pior dia. Recrute com uma margem confortável acima do piso e depois gaste as duas semanas seguintes defendendo o piso.

Como a queda realmente aparece

Um teste que falha tem uma forma, e você vê isso no recuento diário:

• Dias 1 a 3. O recuento salta para o seu pico. Todo mundo que você convidou aparece. Isso parece sucesso e é a parte menos informativa do gráfico.
• Dias 4 a 9. O trecho quieto. Um ou dois testers se afastam, o recuento ainda está acima do piso, então nada parece errado. É aqui que as rodadas começam a ficar ruins, e é a parte que as pessoas deixam de conferir.
• Dias 10 a 14. Onde as rodadas são realmente perdidas. O recuento vem erodindo há uma semana, o desenvolvedor não abre o console há três dias, e uma única saída agora reinicia tudo.

A checagem diária é chata: abra o console e compare hoje com ontem. Vinte testers caindo para doze é uma posição pior que quatorze se mantendo estáveis.

Como é um teste saudável

Três coisas, em ordem:

1. A tendência. A direção diz como é a próxima semana. O total só diz onde você está hoje.
2. Se os testers estão abrindo o app. Inscrições são o requisito; sessões são para o que o requisito existe. Se você não vê atividade, você está rodando uma lista, não um teste.
3. A data em que você recomeçaria. Mantenha-a visível por todos os quatorze dias. Cada dia em que o recuento se mantém, essa data se afasta, e é o único placar que importa.

Quando o número cair, troque o tester no mesmo dia, de uma fonte em que você já confia. Uma queda que você conserta em vinte e quatro horas não custa nada. Uma queda que você conserta no dia treze custa duas semanas. Esperar para ver se eles voltam é a escolha cara.

O estágio que ninguém consegue forjar

Manter o recuento leva alguns minutos por dia. A parte difícil é a oferta: testadores verificados que continuam inscritos durante toda a janela, e não gente que instala no dia dois e some.

Essa é a parte que o Console Testers executa. Colocamos 30 testadores verificados na sua trilha e os mantenemos lá durante toda a janela e além, com os relatórios de teste gerados no final para o formulário de acesso à produção. O recuento não depende do seu chat do grupo ainda estar vivo no dia onze.

O resumo honesto

O recrutamento acontece no primeiro dia. O teste acontece nos outros treze dias, e são esses que nunca entram no calendário.

Atenção diária por quatorze dias te leva ao formulário. Uma recusa te manda de volta por mais quatorze dias antes de você poder preenchê-lo de novo.

Fontes

1. Ajuda do Google Play Console: requisitos de teste para novas contas pessoais de desenvolvedor, para o mínimo de testadores, a regra da inscrição contínua, o engajamento como motivo de testes contínuos, o formulário de pedido e o momento da revisão.