クローズドテストが失敗する理由：14 日間のウィンドウからのフィールドノート
本番アクセス申請の多くは、フォームでは失われません。失われるのはウィンドウの中頃です。カウントが黙って下限を割り、Google から差し戻されるまで誰も気づきません。
要件は言いやすいです。12 人のテスターが、オプトインした状態で、14 日間連続。 2023 年 11 月 13 日以降に作られた個人アカウントは、その連続が完了し、申請が審査されるまでアプリを配布できません。
開発者はこれを募集の問題として受け取るので、努力はすべて初日に注がれます。グループチャット、Discord サーバー、いとことか。ウィンドウの残りは待ち時間として扱われます。その枠組みこそが、テストを死なせるところです。要件は初日に 12 人のテスターではありません。ウィンドウのすべての日に 12 人のテスターがいることです。誰もあなたのアプリを考えていない日も含めて。
テストが死ぬ 3 つの経路
1. カウントが落ちる
オプトインは前倒しで集中してきます。今後得られる人のほとんどは、まだ頼っている最初の数日間に「はい」と言います。流失はその逆向きに、ゆっくり 2 週間続きます。テスターがオプトアウトする、スマホの整理中にアンインストールする、興味を失う。それぞれの離脱は小さく、下限は小さくありません。11 人になると下限を割り、その連続は数えられなくなります。
日は戻りません。期間は連続でなければならないと Google のガイダンスは明言しています。オプトアウトしてから後で再びオプトインしたテスターは、継続ではなく新しい連続を始めるものです。6 日目に放置した落ち込みが、ウィンドウ全体を失わせることがあります。
2. 開かれないインストール
カウントだけが要件ではありません。Google はテスターのエンゲージメント不足を、最低数を割ったことと並べて、アプリを差し戻して継続テストさせる明示的な理由の一つに挙げています。数字が正しくても、申請は差し戻されます。
これが最も隠れる失敗です。オプトインリンクはリストに名前を載せますが、アナリティクスにセッションは載せません。インストールして一度もアプリを開かないテスターは、ダッシュボードを緑のままに保ち、その下で本物の信号が劣っていきます。何も赤くなりません。
そしてフォームでも襲いかかります。申請はテスターの行動を尋ねます。すべての利用可能な機能を使ったか、利用は本番環境の挙動と合っていたか、どんなフィードバックを受け、どう集めたか。活動のないテストには、これらの質問への答えがなく、白紙の答えは中立ではありません。
3. アカウントに元から問題があった
始まる前に失われる連続もあります。以前の本番アクセス申請が却下された。未完成のストアリスティング。解決されなかったポリシーの問題。14 日が過ぎ、レポートが集まり、フォームが送られ、Google はテスターとは無関係の理由で却下します。時計を回し始める前にアカウントを確認してください。差し戻されてからではありません。
前倒し募集にこだわっても意味がない理由
連続オプトインのルールは計算を変えます。テスターの価値は、ウィンドウの日によって同じではありません。
12 日目に 12 人目のテスターを失うコストは、0 日目に 5 人のテスターを得るコストより大きいます。初期の募集は安く豊富です。オプトインリンクは最大 100 名を受け付けるので、上限は制約ではなかったからです。ウィンドウ後半のテスターこそが、連続を支えているのです。
だから最適化すべき数字はピークの人数ではありません。最悪の日の最低カウントです。下限を十分に上回る余裕で募集し、そのあとの 2 週間は下限を守ることに費やしてください。
ドロップオフの実際の姿
失敗するテストには形があり、日次のカウントに現れます：
- 1 日目から 3 日目。 カウントはピークに跳ねます。招待した全員が現れます。成功に見えますが、グラフの中で最も情報を与えてくれない部分です。
- 4 日目から 9 日目。 静かな区間です。1 人や 2 人のテスターが離れ、カウントはまだ下限の上なので、何も問題ないように見えます。連続が崩れ始めるのはここからで、しかも人々がチェックをやめてしまうのがこの部分です。
- 10 日目から 14 日目。 連続が実際に失われる場所です。カウントは 1 週間かけて削られ、開発者は 3 日間ダッシュボードを開いておらず、いま 1 人の離脱がすべてをリセットします。
毎日のチェックは退屈です： ダッシュボードを開き、今日と昨日を比べます。12 人に向かって落ちていく 20 人の状態は、14 人が横ばいの状態より悪い位置です。
健全なテストの姿
3 つ、順番に：
- トレンド。 方向が来週の姿を教えてくれます。合計は今日の位置だけを教えてくれます。
- テスターがアプリを開いているか。 オプトインが要件です。セッションこそがその要件の目的です。活動が見えなければ、それはテストではなくリストを回していることになります。
- 再開する日付。 14 日間ずっと見えるようにしておきます。カウントが保たれるたび、その日付は先に送られ、意味を持つスコアボードはそれだけです。
数字が落ちたら、その日にテスターを入れ替えます。すでに信頼しているソースからです。24 時間で直す落ち込みは何も失いません。13 日目に直す落ち込みは 2 週間を失います。戻ってくるのを待つのが一番高くつく選択です。
誰もごまかせない段階
カウントの維持は 1 日数分です。難しいのは供給です。ウィンドウ全体を通してオプトインし続ける検証済みテスター。2 日目にインストールして消える人たちではありません。
それが Console Testers が担う部分です。私たちは 30 人の検証済みテスターをあなたのトラックに配置し、ウィンドウ全体およびその後もその場に保ち、終了時に本番アクセス申請フォーム用のテストレポートを生成します。カウントは、11 日目にグループチャットが生きているかどうかに依存しません。
正直な結論
募集は初日に起こります。テストは残り 13 日に起こり、その 13 日は決してカレンダーに載りません。
14 日間の毎日の気がかりがフォームまで連れてきます。却下されれば、もう一度埋めるまでにさらに 14 日戻されることになります。
参考情報
- Google Play Console ヘルプ：新しい個人開発者アカウントのアプリテスト要件、テスターの最低数、連続オプトインのルール、継続テストの理由としてのエンゲージメント、申請フォーム、審査のタイミングについて。