Почему закрытые тесты проваливаются: полевые заметки из 14-дневного окна

Большинство заявок на доступ в продакшен теряется не на форме. Они теряются где-то в середине окна, когда счётчик незаметно опускается ниже порога, и этого никто не замечает, пока Google не вернёт заявку.

Требование сформулировать просто: 12 тестировщиков, подтвердивших участие, непрерывно в течение 14 дней. Личные аккаунты, созданные после 13 ноября 2023 года, не могут распространять приложение, пока эта серия не завершена и заявка не прошла проверку.

Разработчики слышат в этом проблему найма, поэтому весь вклад приходится на первый день. Групповой чат, сервер Discord, двоюродные братья. Остальное окно превращается в период ожидания. Именно в такой рамке тесты и умирают. Требование не в том, чтобы в первый день было двенадцать тестировщиков. Оно в том, чтобы двенадцать тестировщиков было в каждый день окна, включая те дни, когда о вашем приложении никто не думает.

Три способа, какими тест умирает

1. Счётчик проседает

Опт-ины приходят с перегрузкой на старте. Почти каждый, кто у вас когда-либо будет, говорит «да» в первые несколько дней, пока вы ещё просите. Отток идёт в обратную сторону, медленно, две недели: тестировщик отказывается от участия, удаляет приложение во время чистки телефона, теряет интерес. Каждый уход невелик. А порог нет. При одиннадцати вы уже ниже минимума, и серия перестаёт считаться.

Дни не возвращаются. В руководстве Google прямо сказано, что период должен быть непрерывным: тестировщик, отказавшийся от участия и вернувшийся позже, начинает новую серию, а не продолжает старую. Провал, который вы оставите без внимания на шестой день, может стоить всего окна.

2. Установка, которую никогда не открывают

Счётчик не всё требование. Google указывает недостаточную вовлечённость тестировщиков в качестве заявленной причины возврата приложения на дообработку, рядом с падением ниже минимума. Число может быть верным, а заявка всё равно вернётся.

Этот сбой лучше всего прячется. Ссылка на опт-ин записывает имя в список; она не записывает сессию в вашу аналитику. Тестировщики, которые установили приложение и никогда его не открывают, держат панель управления зелёной, пока настоящий сигнал под ней разрушается. Ничего не становится красным.

Он также догоняет вас на форме. Заявка спрашивает, что делали тестировщики: использовали ли они все доступные функции, совпадало ли их использование с поведением в продакшене, какие отзывы вы получили и как вы их собирали. У теста без активности нет ответа на эти вопросы, а пустой ответ не является нейтральным.

3. С аккаунтом уже были проблемы

Некоторые серии теряются до старта. Ранее отклонённый запрос на доступ в продакшен. Неполный листинг в магазине. Нерешённая проблема с политикой. Проходят четырнадцать дней, приходят отчёты, уходит форма, и Google отказывает по причине, которая не имеет отношения к вашим тестировщикам. Проверьте аккаунт до того, как запустите часы, а не после того, как заявка вернётся.

Почему ставка на быстрый набор ведёт не туда

Правило непрерывного опт-ина меняет всю арифметику. Тестировщики стоят не одинаково в каждый день окна.

Потерять двенадцатого тестировщика на двенадцатый день дороже, чем получить пять тестировщиков на нулевой день. Ранние наборы дешёвы и в изобилии: ссылка на опт-ин принимает до 100 имён, так что потолок никогда не был ограничением. Тестировщики из конца окна как раз и держат серию.

Поэтому оптимизировать нужно не пиковое число, а минимальный счёт в худший день. Наберите с комфортным запасом выше порога, а затем две недели защищайте порог.

Как на самом деле выглядит отток

У провалившегося теста есть форма, и её видно по ежедневному счётчику:

• Дни 1-3. Счётчик прыгает на пик. Все, кого вы пригласили, приходят. Это ощущается как успех и самая малоинформативная часть графика.
• Дни 4-9. Тихий отрезок. Один-два тестировщика отваливаются, счётчик всё ещё выше порога, так что ничего не выглядит неправильным. С этого момента серии начинают портиться, и это та часть, которую перестают проверять.
• Дни 10-14. Здесь серии и теряются. Счётчик разрушается уже неделю, разработчик не открывал панель управления три дня, и теперь один уход запускает всё заново.

Ежедневная проверка скучна: откройте панель управления и сравните сегодня с вчера. Двадцать тестировщиков, падающих к двенадцати, это положение хуже, чем четырнадцать, которые держатся ровно.

Как выглядит здоровый тест

Три вещи, по порядку:

1. Тренд. Направление говорит, каким будет следующая неделя. Итог говорит только о том, где вы находитесь сегодня.
2. Открывают ли тестировщики приложение. Опт-ины и есть требование; сессии ради чего это требование существует. Если вы не видите активности, вы ведёте список, а не тест.
3. Дата, с которой вы начнёте заново. Держите её на виду все четырнадцать дней. Каждый день, пока счёт держится, эта дата отодвигается, и это единственное табло, которое имеет значение.

Когда число проседает, замените тестировщика в тот же день, из источника, которому вы уже доверяете. Провал, который вы чините за двадцать четыре часа, ничего не стоит. Провал, который вы чините на тринадцатый день, стоит двух недель. Ждать, вернутся ли они, самый дорогой выбор.

Этап, который никто не может подделать

Поддержание счётчика занимает несколько минут в день. Тяжёлая часть в наличии: проверенные тестировщики, которые остаются в опт-ине всё окно, а не люди, установившие приложение на второй день и исчезнувшие.

Это как раз то, чем занимается Console Testers. Мы размещаем 30 проверенных тестировщиков на вашем треке и удерживаем их там всё окно и дольше, а в конце генерируем отчёты по тестированию для формы доступа в продакшен. Счёт не зависит от того, жив ли ваш групповой чат на одиннадцатый день.

Честный итог

Набор происходит в первый день. Тест происходит в остальные тринадцать дней, и именно они никогда не попадают в календарь.

Ежедневное внимание в течение четырнадцати дней доводит вас до формы. Отказ отправляет вас обратно ещё на четырнадцать, прежде чем вы сможете заполнить её снова.

Источники

1. Справка Google Play Console: требования к тестированию приложений для новых личных аккаунтов разработчика, о минимуме тестировщиков, правиле непрерывного опт-ина, вовлечённости как причине продолжения тестирования, форме заявки и сроках проверки.