Mengapa Pengujian Tertutup Gagal: Catatan Lapangan dari Jendela 14 Hari
Sebagian besar pengajuan akses produksi tidak hilang di formulir. Pengajuan itu hilang di tengah jendela, saat jumlahnya diam-diam jatuh di bawah batas bawah dan tidak ada yang menyadari sampai Google mengembalikannya.
Syaratnya mudah diucapkan: 12 penguji, sudah opt in, terus-menerus selama 14 hari. Akun pribadi yang dibuat setelah 13 November 2023 tidak dapat mendistribusikan aplikasi sampai rangkaian itu selesai dan pengajuan telah ditinjau.
Pengembang mendengarnya sebagai masalah rekrutmen, jadi seluruh tenaga diarahkan ke hari pertama. Grup chat, server Discord, para sepupu. Sisa jendela diperlakukan sebagai periode menunggu. Cara pandang itulah tempat pengujian mati. Syaratnya bukan dua belas penguji pada hari pertama. Syaratnya adalah dua belas penguji pada setiap hari jendela, termasuk hari-hari ketika tidak ada yang memikirkan aplikasi Anda.
Tiga cara sebuah pengujian mati
1. Jumlahnya tergelincir
Opt in datang menumpuk di awal. Hampir semua orang yang pernah Anda dapat berkata ya dalam beberapa hari pertama, ketika Anda masih mengajak. Pengunduran diri berjalan berlawanan arah, perlahan, selama dua minggu: seorang penguji keluar, mencopot aplikasi saat membersihkan ponsel, kehilangan minat. Setiap kepergian kecil. Batas bawahnya tidak. Pada angka sebelas Anda sudah di bawah batas bawah, dan rangkaian berhenti dihitung.
Hari-harinya juga tidak kembali. Panduan Google menyatakan jelas bahwa periode harus berurutan: penguji yang berhenti lalu ikut kembali kemudian memulai rangkaian baru, bukan melanjutkan yang lama. Sebuah penurunan yang Anda biarkan pada hari keenam bisa menghabiskan seluruh jendela.
2. Instalasi yang tidak pernah dibuka
Jumlahnya bukan seluruh syarat. Google mencantumkan keterlibatan penguji yang tidak cukup sebagai alasan yang dinyatakan untuk mengembalikan aplikasi guna pengujian lanjutan, tepat di samping jatuhnya di bawah minimum. Jumlahnya bisa benar dan pengajuan tetap dikembalikan.
Ini kegagalan yang paling pandai bersembunyi. Tautan opt in menaruh nama di daftar; tautan itu tidak menaruh sesi di analitik Anda. Penguji yang menginstal dan tidak pernah membuka aplikasi menjaga dashboard tetap hijau sementara sinyal yang sebenarnya membusuk di bawahnya. Tidak ada yang berwarna merah.
Kegagalan ini juga menangkap Anda di formulir. Pengajuan menanyakan apa yang dilakukan para penguji: apakah mereka memakai semua fitur yang tersedia, apakah penggunaan mereka cocok dengan perilaku produksi, umpan balik apa yang Anda terima dan bagaimana Anda mengumpulkannya. Pengujian tanpa aktivitas tidak punya jawaban untuk pertanyaan-pertanyaan itu, dan jawaban kosong bukan jawaban yang netral.
3. Akunnya sudah bermasalah
Beberapa rangkaian hilang sebelum dimulai. Permintaan akses produksi sebelumnya yang ditolak. Daftar toko yang tidak lengkap. Masalah kebijakan yang tidak pernah diselesaikan. Empat belas hari berjalan, laporan masuk, formulir terkirim, dan Google menolak dengan alasan yang tidak ada hubungannya dengan para penguji Anda. Periksa akunnya sebelum Anda memulai hitungannya, bukan setelah pengajuan dikembalikan.
Mengapa menumpuk rekrutmen justru salah fokus
Aturan opt in berkelanjutan mengubah perhitungannya. Para penguji tidak bernilai sama pada setiap hari jendela.
Kehilangan penguji kedua belas Anda pada hari kedua belas lebih mahal daripada mendapatkan lima penguji pada hari nol. Rekrutmen awal murah dan melimpah: tautan opt in menerima hingga 100 nama, jadi batas atas memang bukan kendalanya. Penguji di akhir jendela adalah yang menopang rangkaian itu.
Jadi angka yang dioptimalkan bukan puncak jumlah orang, melainkan jumlah minimum pada hari terburuk. Rekrut dengan margin nyaman di atas batas bawah, lalu habiskan dua minggu berikutnya untuk menjaga batas itu.
Seperti apa drop-off yang sebenarnya
Pengujian yang gagal punya bentuknya, dan bentuk itu terlihat pada hitungan harian:
- Hari 1 sampai 3. Jumlahnya melompat ke puncak. Semua orang yang Anda undang datang. Ini terasa seperti kesuksesan dan bagian yang paling tidak informatif dari grafik.
- Hari 4 sampai 9. Masa tenang. Satu atau dua penguji menjauh, jumlahnya masih di atas batas bawah, jadi tidak ada yang terlihat salah. Di sinilah rangkaian mulai rusak, dan bagian inilah yang berhenti diperiksa orang.
- Hari 10 sampai 14. Tempat rangkaian benar-benar hilang. Jumlahnya sudah terkikis selama seminggu, pengembang belum membuka konsol selama tiga hari, dan satu kepergian kini memulai semuanya dari awal.
Pemeriksaan harian itu membosankan: buka konsol dan bandingkan hari ini dengan kemarin. Dua puluh penguji yang jatuh menuju dua belas posisinya lebih buruk daripada empat belas yang bertahan datar.
Seperti apa pengujian yang sehat
Tiga hal, berurutan:
- Trennya. Arahnya memberi tahu Anda seperti apa minggu depan. Totalnya hanya memberi tahu di mana Anda hari ini.
- Apakah para penguji membuka aplikasinya. Opt in adalah syaratnya; sesi adalah alasan syarat itu ada. Jika Anda tidak bisa melihat aktivitas, yang Anda jalankan adalah daftar, bukan pengujian.
- Tanggal Anda akan memulai ulang. Jaga tanggal itu tetap terlihat selama empat belas hari penuh. Setiap hari jumlahnya bertahan, tanggal itu menjauh, dan itu satu-satunya papan skor yang penting.
Ketika angkanya turun, ganti penguji pada hari yang sama, dari sumber yang sudah Anda percaya. Penurunan yang Anda perbaiki dalam dua puluh empat jam tidak memakan biaya apa pun. Penurunan yang Anda perbaiki pada hari ketiga belas memakan dua minggu. Menunggu untuk melihat apakah mereka kembali adalah pilihan yang mahal.
Tahap yang tidak bisa dipalsukan siapa pun
Menjaga jumlahnya butuh beberapa menit sehari. Bagian yang sulit adalah pasokan: penguji terverifikasi yang tetap ikut selama jendela penuh, bukan orang yang menginstal pada hari kedua lalu menghilang.
Bagian itulah yang dijalankan Console Testers. Kami menempatkan 30 penguji terverifikasi pada jalur Anda dan menjaga mereka tetap di sana sepanjang jendela penuh dan sesudahnya, dengan laporan pengujian yang dihasilkan di akhir untuk formulir akses produksi. Jumlahnya tidak bergantung pada grup chat Anda yang masih hidup pada hari kesebelas.
Kesimpulan yang jujur
Perekrutan terjadi pada hari pertama. Pengujian terjadi pada tiga belas hari lainnya, dan hari-hari itulah yang tidak pernah masuk kalender.
Perhatian harian selama empat belas hari membawa Anda ke formulir. Sebuah penolakan mengirim Anda kembali selama empat belas hari lagi sebelum Anda bisa mengisinya kembali.
Sumber
- Bantuan Google Play Console: persyaratan pengujian aplikasi untuk akun pengembang pribadi yang baru, untuk batas minimum penguji, aturan opt in berkelanjutan, keterlibatan sebagai alasan pengujian lanjutan, formulir pengajuan, dan waktu peninjauan.