Dlaczego zamknięte testy zawodzą: Notatki z pola z 14-dniowego okna

Większość wniosków o dostęp do produkcji nie ginie na formularzu. Giną gdzieś w środku okna, gdy licznik po cichu schodzi pod próg i nikt tego nie zauważa, dopóki Google nie odeśle ich z powrotem.

Wymóg łatwo streścić: 12 testerów, zapisanych, nieprzerwanie przez 14 dni. Konta osobiste utworzone po 13 listopada 2023 roku nie mogą dystrybuować aplikacji, dopóki ten ciąg się nie zakończy i wniosek nie zostanie rozpatrzony.

Programiści słyszą to jako problem rekrutacji, więc cały wysiłek idzie w pierwszy dzień. Grupowy czat, serwer Discord, kuzyni. Reszta okna traktowana jest jako okres czekania. W tym ujęciu testy umierają. Wymóg nie brzmi: dwunastu testerów w pierwszy dzień. Brzmi: dwunastu testerów każdego dnia okna, łącznie z dniami, w których nikt nie myśli o Twojej aplikacji.

Trzy sposoby, w jakie test umiera

1. Licznik spada

Zapisy przychodzą z góry. Prawie każdy, kogo kiedykolwiek zdobędziesz, mówi tak w pierwszych kilku dniach, kiedy jeszcze prosisz. Odpływy idą w drugą stronę, powoli, przez dwa tygodnie: tester rezygnuje, odinstaluje aplikację przy porządkowaniu telefonu, traci zainteresowanie. Każde odejście jest małe. Próg nie. Przy jedenastu jesteś pod progiem, a seria przestaje się liczyć.

Dni też nie wracają. Wytyczne Google mówią wprost, że okres musi być kolejny: tester, który zrezygnuje i później zapisze się ponownie, zaczyna nową serię, a nie wznawia starą. Spadek, na który nie zareagujesz w szósty dzień, może kosztować całe okno.

2. Instalacja, która nigdy się nie otwiera

Liczba to nie cały wymóg. Google wymienia niewystarczające zaangażowanie testerów jako podany powód odesłania aplikacji do dalszych testów, tuż obok zejścia poniżej minimum. Liczba może być poprawna, a wniosek i tak wróci.

To awaria, która najlepiej się ukrywa. Link zapisu wpisuje nazwisko na listę; nie wpisuje sesji do Twojej analityki. Testerzy, którzy instalują i nigdy nie otwierają aplikacji, trzymają panel na zielonym, podczas gdy prawdziwy sygnał gnije pod spodem. Nic nie robi się czerwone.

Przyłapuje Cię też na formularzu. Wniosek pyta, co testerzy robili: czy korzystali ze wszystkich dostępnych funkcji, czy ich użycie odpowiadało zachowaniu produkcyjnemu, jaką otrzymałeś informację zwrotną i jak ją zbierałeś. Test bez aktywności nie ma odpowiedzi na te pytania, a pusta odpowiedź nie jest neutralna.

3. Konto już miało kłopoty

Niektóre serie przegrywają się, zanim się zaczną. Wcześniejszy wniosek o dostęp do produkcji, który został odrzucony. Niekompletny listing w sklepie. Problem z zasadami, nigdy nierozwiązany. Czternaście dni trwa, raporty spływają, wniosek wychodzi, a Google odmawia z powodu, który nie ma nic wspólnego z Twoimi testerami. Sprawdź konto, zanim uruchomisz zegar, a nie po tym, jak wniosek wróci.

Dlaczego wczesna rekrutacja to zła obsesja

Zasada ciągłego zapisu zmienia rachunek. Testerzy nie mają tej samej wartości każdego dnia okna.

Utrata dwunastego testera w dwunasty dzień kosztuje więcej niż zdobycie pięciu testerów w dzień zerowy. Wczesne rekrutacje są tanie i obfite: link zapisu przyjmuje do 100 nazwisk, więc sufit nigdy nie był ograniczeniem. Testerzy z końca okna to ci, którzy trzymają całość.

Więc liczbą, którą należy optymalizować, nie jest szczytowa liczba osób, tylko minimum w najgorszym dniu. Rekrutuj z wygodnym zapasem nad progiem, a potem spędź kolejne dwa tygodnie, broniąc tego progu.

Jak naprawdę wygląda odpływ

Nieudany test ma swój kształt i widać go w dziennym liczniku:

• Dni 1 do 3. Licznik skacze na szczyt. Wszyscy, których zaprosiłeś, się pojawiają. Wygląda to jak sukces i jest najmniej informacyjną częścią wykresu.
• Dni 4 do 9. Cichy odcinek. Jeden lub dwóch testerów odpływa, licznik wciąż jest nad progiem, więc nic nie wygląda źle. Tu serie zaczynają się psuć i to jest część, którą ludzie przestają sprawdzać.
• Dni 10 do 14. Tu serie faktycznie się przegrywają. Licznik eroduje od tygodnia, programista nie otworzył konsoli od trzech dni, a jedno odejście teraz zaczyna wszystko od nowa.

Dzienny przegląd jest nudny: otwórz konsolę i porównaj dziś z wczoraj. Dwudziestu testerów spadających ku dwunastu to gorsza pozycja niż czternastu trzymających płasko.

Jak wygląda zdrowy test

Trzy rzeczy, po kolei:

1. Trend. Kierunek mówi Ci, jak wygląda przyszły tydzień. Suma mówi Ci tylko, gdzie jesteś dzisiaj.
2. Czy testerzy otwierają aplikację. Zapisy są wymogiem; sesje są celem tego wymogu. Jeśli nie widzisz aktywności, prowadzisz listę, nie test.
3. Data, od której zacząłbyś od nowa. Miej ją na widoku przez wszystkie czternaście dni. W każdy dzień, w którym licznik się trzyma, data się odsuwa, i to jest jedyny licznik, który ma znaczenie.

Gdy liczba spada, wymień testera tego samego dnia, ze źródła, któremu już ufasz. Spadek, który naprawisz w dwadzieścia cztery godziny, nic Cię nie kosztuje. Spadek, który naprawisz w trzynasty dzień, kosztuje dwa tygodnie. Czekanie, aż zobaczymy, czy wrócą, jest drogim wyborem.

Etapu nie da się udawać

Utrzymywanie licznika zajmuje kilka minut dziennie. Trudna część to podaż: zweryfikowani testerzy, którzy zostają zapisani przez całe okno, a nie ludzie, którzy instalują drugiego dnia i znikają.

To jest część, którą prowadzi Console Testers. Umieszczamy na Twojej ścieżce 30 zweryfikowanych testerów i utrzymujemy ich tam przez całe okno i dalej, z raportami z testów generowanymi na koniec pod wniosek o dostęp do produkcji. Licznik nie zależy od tego, czy Twój grupowy czat wciąż żyje jedenastego dnia.

Uczciwy wniosek

Rekrutacja dzieje się w pierwszy dzień. Test dzieje się w pozostałe trzynaście dni, i to one nigdy nie trafiają do kalendarza.

Codzienna uwaga przez czternaście dni prowadzi Cię do formularza. Odrzucenie odsyła Cię na czternaście kolejnych dni, zanim znów będziesz mógł go wypełnić.

Źródła

1. Pomoc Google Play Console: wymagania testowania aplikacji dla nowych kont osobistych programistów, w sprawie minimalnej liczby testerów, zasady ciągłego zapisu, zaangażowania jako powodu dalszych testów, formularza wniosku oraz terminów rozpatrzenia.