Vì sao closed test thất bại: Ghi chú thực địa từ cửa sổ 14 ngày
Hầu hết đơn xin quyền truy cập production không mất ở biểu mẫu. Chúng mất ở giữa chừng cửa sổ, khi con số âm thầm trượt xuống dưới ngưỡng và không ai nhận ra cho tới khi Google gửi trả lại.
Yêu cầu rất dễ nói ra: 12 tester, đã đồng ý tham gia, liên tục trong 14 ngày. Tài khoản cá nhân tạo sau ngày 13 tháng 11 năm 2023 không thể phân phối ứng dụng cho tới khi chuỗi đó hoàn tất và đơn được xem xét.
Nhà phát triển nghe điều đó như một vấn đề tuyển dụng, nên toàn bộ công sức dồn vào ngày đầu tiên. Nhóm chat, máy chủ Discord, các anh em họ hàng. Phần còn lại của cửa sổ được coi là thời gian chờ. Chính cách nhìn đó mới là nơi test chết. Yêu cầu không phải là mười hai tester vào ngày đầu tiên. Yêu cầu là mười hai tester vào mỗi ngày của cửa sổ, kể cả những ngày không ai nghĩ tới ứng dụng của bạn.
Ba cách một test chết
1. Con số trượt xuống
Lượt tham gia đến dồn về đầu. Gần như tất cả những người bạn có được đều nói có trong vài ngày đầu, khi bạn vẫn còn đang mời. Sự rời đi chạy theo hướng ngược lại, chậm rãi, suốt hai tuần: một tester rời đi, gỡ cài đặt lúc dọn dẹp điện thoại, mất hứng. Mỗi lần ra đi đều nhỏ. Ngưỡng thì không. Ở con số mười một bạn đã dưới ngưỡng, và chuỗi ngừng được tính.
Các ngày cũng không quay lại. Hướng dẫn của Google nêu rõ giai đoạn phải liên tục: tester rời đi rồi tham gia lại sau đó sẽ bắt đầu chuỗi mới, không phải nối lại chuỗi cũ. Một lần sụt giảm bạn bỏ mặc vào ngày thứ sáu có thể làm mất cả cửa sổ.
2. Lượt cài đặt không bao giờ mở lên
Con số không phải toàn bộ yêu cầu. Google liệt kê mức độ tham gia của tester không đủ làm lý do được nêu để gửi ứng dụng trở lại cho quá trình test tiếp theo, ngay bên cạnh việc rơi xuống dưới mức tối thiểu. Con số có thể đúng mà đơn vẫn bị trả về.
Đây là lỗi che giấu tốt nhất. Liên kết opt-in đưa một cái tên vào danh sách; nó không đưa một phiên làm việc vào phần phân tích của bạn. Các tester cài đặt rồi không bao giờ mở ứng dụng giữ bảng điều khiển luôn xanh trong khi tín hiệu thật sự mục ruỗng bên dưới. Không gì chuyển sang đỏ.
Nó còn bắt bạn ở biểu mẫu. Đơn yêu cầu hỏi các tester đã làm gì: liệu họ có dùng hết các tính năng sẵn có không, việc dùng của họ có khớp với hành vi production không, bạn nhận được phản hồi gì và thu thập như thế nào. Một test không có hoạt động thì không có câu trả lời cho những câu hỏi đó, và câu trả lời trống không phải là câu trả lời trung lập.
3. Tài khoản đã gặp rắc rối từ trước
Một số chuỗi mất trước khi kịp bắt đầu. Một yêu cầu truy cập production trước đó đã bị từ chối. Trang cửa hàng chưa hoàn chỉnh. Một vấn đề chính sách không bao giờ được giải quyết. Mười bốn ngày trôi qua, các báo cáo đến, biểu mẫu gửi đi, và Google từ chối vì một lý do chẳng liên quan gì tới các tester của bạn. Hãy kiểm tra tài khoản trước khi khởi động đồng hồ, chứ không phải sau khi đơn bị trả về.
Vì sao dồn tuyển dụng đầu kỳ lại là sai lầm
Quy tắc opt-in liên tục làm thay đổi bài toán. Tester không có giá trị như nhau vào mỗi ngày của cửa sổ.
Mất tester thứ mười hai của bạn vào ngày thứ mười hai còn tốn kém hơn năm tester vào ngày 0. Tuyển sớm thì rẻ và nhiều: liên kết opt-in nhận tới 100 cái tên, nên trần đó chưa bao giờ là điểm chặn. Tester ở cuối cửa sổ mới là những người giữ chuỗi vững.
Vậy con số cần tối ưu không phải là đỉnh số người, mà là mức thấp nhất vào ngày tồi tệ nhất. Hãy tuyển với một biên an toàn trên ngưỡng, rồi dành hai tuần kế tiếp để giữ vững ngưỡng đó.
Drop-off thực sự trông như thế nào
Một test thất bại có hình dạng của nó, và bạn thấy điều đó qua số đếm hằng ngày:
- Ngày 1 đến 3. Con số nhảy lên đỉnh. Mọi người bạn mời đều xuất hiện. Điều này giống thành công và là phần kém thông tin nhất của biểu đồ.
- Ngày 4 đến 9. Giai đoạn im lặng. Một hai tester trôi đi, con số vẫn trên ngưỡng nên không có gì có vẻ sai. Chính đây là nơi các chuỗi bắt đầu hỏng, và cũng là phần người ta ngừng kiểm tra.
- Ngày 10 đến 14. Nơi các chuỗi thực sự mất. Con số đã ăn mòn suốt một tuần, nhà phát triển không mở bảng điều khiển ba ngày nay, và một lần ra đi giờ đây khởi động lại tất cả.
Kiểm tra hằng ngày rất nhàm chán: mở bảng điều khiển và so hôm nay với hôm qua. Hai mươi tester đang rơi xuống mười hai là vị trí xấu hơn mười bốn tester giữ nguyên.
Một test khỏe mạnh trông như thế nào
Ba thứ, theo thứ tự:
- Xu hướng. Hướng đi cho bạn biết tuần tới ra sao. Tổng số chỉ cho bạn biết hôm nay bạn ở đâu.
- Việc các tester có mở ứng dụng không. Opt-in là yêu cầu; các phiên làm việc mới là thứ mà yêu cầu hướng tới. Nếu bạn không thấy hoạt động, bạn đang chạy một danh sách, không phải một test.
- Ngày bạn sẽ bắt đầu lại. Giữ nó hiển thị suốt mười bốn ngày. Mỗi ngày con số giữ được, ngày đó lại lùi ra xa, và đó là bảng điểm duy nhất quan trọng.
Khi con số sụt, hãy thay tester ngay trong ngày, từ một nguồn bạn đã tin. Một lần sụt bạn sửa trong hai mươi bốn giờ không tốn bạn thứ gì. Một lần sụt bạn sửa vào ngày thứ mười ba tốn hai tuần. Chờ xem họ có quay lại hay không là lựa chọn đắt đỏ.
Giai đoạn không ai có thể làm giả
Giữ con số mất vài phút mỗi ngày. Phần khó là nguồn cung: các tester đã xác minh vẫn tham gia suốt toàn bộ cửa sổ, chứ không phải người cài vào ngày thứ hai rồi biến mất.
Đó là phần Console Testers vận hành. Chúng tôi đưa 30 tester đã xác minh vào track của bạn và giữ họ ở đó xuyên suốt toàn bộ cửa sổ và hơn thế nữa, với các báo cáo kiểm thử được tạo ở cuối dành cho biểu mẫu truy cập production. Con số không phụ thuộc vào việc nhóm chat của bạn còn sống vào ngày thứ mười một.
Kết luận trung thực
Tuyển dụng diễn ra vào ngày đầu tiên. Test diễn ra trong mười ba ngày còn lại, và đó là những ngày không bao giờ có trong lịch.
Chú ý hằng ngày suốt mười bốn ngày đưa bạn đến biểu mẫu. Một lần từ chối gửi bạn quay lại thêm mười bốn ngày nữa trước khi bạn có thể điền lại.
Nguồn
- Trợ giúp Google Play Console: Yêu cầu kiểm thử ứng dụng cho tài khoản nhà phát triển cá nhân mới, về mức tester tối thiểu, quy tắc opt-in liên tục, mức độ tham gia như một lý do cho việc test tiếp, biểu mẫu đơn, và thời điểm xem xét.