ทำไมการทดสอบแบบปิดจึงล้มเหลว: บันทึกจากสนามของหน้าต่าง 14 วัน

คำขอสิทธิ์เข้าสู่ผลิตภัณฑ์ส่วนใหญ่ไม่ได้ตกมาระหว่างกรอกฟอร์ม แต่มันตกกลางทางของช่วงเวลา เมื่อตัวนับค่อย ๆ ลดลงต่ำกว่าเส้นขั้นต่ำโดยไม่มีใครสังเกต จนกว่า Google จะส่งมันกลับมา

ข้อกำหนดพูดง่าย ๆ คือ ผู้ทดสอบ 12 คน สมัครใจเข้าร่วม อย่างต่อเนื่องเป็นเวลา 14 วัน บัญชีส่วนตัวที่สร้างหลังวันที่ 13 พฤศจิกายน 2023 จะแจกจ่ายแอปไม่ได้ จนกว่ารอบนั้นจะครบและคำขอจะถูกตรวจสอบแล้ว

นักพัฒนาได้ยินแล้วคิดว่าเป็นปัญหาการหาคน ความพยายามทั้งหมดเลยทุ่มไปที่วันที่ 1 แชทกลุ่ม เซิร์ฟเวอร์ Discord ญาติพี่น้อง ช่วงที่เหลือของหน้าต่างถูกมองเป็นแค่ช่วงรอ การมองแบบนี้แหละที่ทำให้การทดสอบตาย ข้อกำหนดไม่ใช่ผู้ทดสอบ 12 คนในวันที่ 1 แต่คือผู้ทดสอบ 12 คนในทุกวันของช่วงเวลา รวมถึงวันที่ไม่มีใครนึกถึงแอปของคุณด้วย

สามวิธีที่การทดสอบตาย

1. ตัวนับลดลง

การสมัครเข้ามากระจุกอยู่ตอนต้น เกือบทุกคนที่คุณจะได้มาจะตอบตกลงในช่วงสองสามวันแรก ตอนที่คุณยังคงขออยู่ ส่วนการลดลงจะมาอีกทาง ช้า ๆ ตลอดสองสัปดาห์: ผู้ทดสอบกดยกเลิก ถอนติดตั้งตอนล้างมือถือ เลิกสนใจ การจากไปแต่ละรายเล็กน้อย แต่เส้นขั้นต่ำไม่เล็กน้อย เมื่อเหลือ 11 คนคุณก็ต่ำกว่าเส้นขั้นต่ำแล้ว และรอบนั้นจะไม่ถูกนับอีก

วันที่ผ่านไปก็ไม่กลับคืนมา คำแนะนำของ Google ระบุชัดว่าช่วงเวลาต้องติดต่อกัน: ผู้ทดสอบที่ยกเลิกแล้วกลับเข้ามาใหม่ภายหลังจะเริ่มสายใหม่ ไม่ใช่สานต่อของเดิม การดิ่งที่คุณปล่อยไว้ในวันที่ 6 อาจทำให้เสียทั้งช่วงเวลา

2. การติดตั้งที่ไม่เคยถูกเปิด

ตัวนับไม่ใช่ข้อกำหนดทั้งหมด Google ระบุ การมีส่วนร่วมของผู้ทดสอบไม่เพียงพอ เป็นเหตุผลที่ระบุไว้ในการส่งแอปกลับมาเพื่อทดสอบต่อ อยู่ข้าง ๆ กรณีที่ต่ำกว่าขั้นต่ำ ตัวเลขอาจถูกต้องแล้วก็ยังถูกส่งกลับมาได้

นี่คือความล้มเหลวที่ซ่อนตัวได้ดีที่สุด ลิงก์สมัครใส่ชื่อลงในรายการ แต่ไม่ได้ใส่เซสชันลงในระบบวิเคราะห์ของคุณ ผู้ทดสอบที่ติดตั้งแล้วไม่เคยเปิดแอปทำให้แดชบอร์ดยังเขียวอยู่ ขณะที่สัญญาณที่จริงจริงเน่าเสียอยู่ข้างใต้ ไม่มีอะไรเปลี่ยนเป็นสีแดง

มันยังดักคุณเอาไว้ตอนถึงแบบฟอร์มด้วย คำขอถามว่าผู้ทดสอบทำอะไรบ้าง: ใช้ฟีเจอร์ที่มีทั้งหมดหรือไม่ การใช้งานตรงกับพฤติกรรมในเวอร์ชันจริงหรือไม่ ได้รับฟีดแบ็กอะไรและเก็บมาอย่างไร การทดสอบที่ไม่มีกิจกรรมย่อมไม่มีคำตอบให้คำถามเหล่านี้ และช่องว่างไม่ใช่คำตอบที่เป็นกลาง

3. บัญชีมีปัญหาอยู่แล้ว

บางรอบแพ้ตั้งแต่ก่อนเริ่ม คำขอสิทธิ์เข้าสู่ผลิตภัณฑ์ก่อนหน้าที่ถูกปฏิเสธ หน้าร้านค้าที่กรอกไม่ครบ ประเด็นนโยบายที่ไม่เคยแก้ 14 วันผ่านไป รายงานเข้ามา ฟอร์มถูกส่งออกไป แล้ว Google ก็ปฏิเสธด้วยเหตุผลที่ไม่เกี่ยวกับผู้ทดสอบของคุณเลย ตรวจบัญชีก่อนเริ่มจับเวลา ไม่ใช่หลังมันถูกส่งกลับมา

ทำไมการทุ่มหาคนตั้งแต่ต้นจึงเป็นสิ่งที่ผิด

กฎการสมัครอย่างต่อเนื่องทำให้การคำนวณเปลี่ยน ผู้ทดสอบไม่ได้มีค่าเท่ากันทุกวันของช่วงเวลา

การเสียผู้ทดสอบคนที่ 12 ในวันที่ 12 แพงกว่าการได้ผู้ทดสอบ 5 คนในวันที่ 0 คนที่ได้มาเร็วหาง่ายและมีมาก: ลิงก์สมัครรับได้ถึง 100 ชื่อ เพดานจึงไม่เคยเป็นข้อจำกัด ผู้ทดสอบช่วงท้ายต่างหากที่ทำให้รอบนั้นอยู่รอด

ดังนั้นตัวเลขที่ต้องปรับไม่ใช่จำนวนสูงสุด แต่คือจำนวนต่ำสุดในวันที่แย่ที่สุด หาคนให้เกินเส้นขั้นต่ำแบบสบาย ๆ จากนั้นใช้สองสัปดาห์ถัดไปป้องกันเส้นขั้นต่ำ

การหลุดออกหน้าตาเป็นอย่างไรจริง ๆ

การทดสอบที่ล้มเหลวมีรูปแบบ และเห็นได้จากตัวนับรายวัน:

• วันที่ 1 ถึง 3. ตัวนับกระโดดขึ้นจุดสูงสุด ทุกคนที่คุณเชิญมาปรากฏตัว รู้สึกเหมือนสำเร็จ และเป็นส่วนของกราฟที่ให้ข้อมูลน้อยที่สุด
• วันที่ 4 ถึง 9. ช่วงเงียบ ผู้ทดสอบหนึ่งหรือสองคนค่อย ๆ หลุด ตัวนับยังอยู่เหนือเส้นขั้นต่ำ จึงดูไม่มีอะไรผิด นี่คือจุดที่รอบเริ่มเสีย และเป็นส่วนที่คนเลิกตรวจ
• วันที่ 10 ถึง 14. ที่ซึ่งรอบแพ้จริง ๆ ตัวนับถูกกัดกร่อนมา 1 สัปดาห์แล้ว นักพัฒนาไม่ได้เปิดแดชบอร์ดมา 3 วัน และตอนนี้การจากไปครั้งเดียวทำให้ทุกอย่างเริ่มใหม่

การเช็ครายวันน่าเบื่อ: เปิดแดชบอร์ดแล้วเทียบวันนี้กับเมื่อวาน ผู้ทดสอบ 20 คนที่กำลังตกสู่ 12 เป็นตำแหน่งที่แย่กว่า 14 คนที่ทรงตัวอยู่

การทดสอบที่สุขภาพดีหน้าตาเป็นอย่างไร

สามอย่าง เรียงตามลำดับ:

1. แนวโน้ม ทิศทางบอกว่าสัปดาห์หน้าจะเป็นอย่างไร ยอดรวมบอกแค่ว่าวันนี้คุณอยู่ตรงไหน
2. ผู้ทดสอบเปิดแอปหรือไม่ การสมัครคือข้อกำหนด เซสชันคือสิ่งที่ข้อกำหนดมีไว้เพื่อ ถ้าคุณไม่เห็นกิจกรรม คุณกำลังรันรายการ ไม่ใช่รันการทดสอบ
3. วันที่ที่คุณจะเริ่มใหม่ เก็บไว้ให้เห็นตลอด 14 วัน ทุกวันที่ตัวนับยังอยู่ วันนั้นก็ถูกเลื่อนออกไป และนั่นคือสกอร์บอร์ดเดียวที่สำคัญ

เมื่อตัวเลขดิ่ง ให้แทนที่ผู้ทดสอบในวันเดียวกัน จากแหล่งที่คุณไว้ใจอยู่แล้ว การดิ่งที่แก้ภายใน 24 ชั่วโมงไม่ได้ทำให้คุณเสียอะไร การดิ่งที่แก้ในวันที่ 13 ทำให้เสียสองสัปดาห์ การรอว่าพวกเขาจะกลับมาคือตัวเลือกที่แพงที่สุด

ขั้นตอนที่ไม่มีใครแกล้งทำได้

การรักษาตัวนับใช้เวลาไม่กี่นาทีต่อวัน ส่วนที่ยากคือเรื่องอุปทาน: ผู้ทดสอบที่ยืนยันแล้วและยังสมัครอยู่ตลอดช่วงเวลา ไม่ใช่คนที่ติดตั้งวันที่ 2 แล้วหายไป

นั่นคือส่วนที่ Console Testers ดูแล เราวางผู้ทดสอบที่ยืนยันแล้ว 30 คนบนแทร็กของคุณ และเก็บพวกเขาไว้ตลอดช่วงเวลาและหลังจากนั้น พร้อมรายงานการทดสอบที่สร้างขึ้นตอนจบสำหรับฟอร์มขอสิทธิ์เข้าสู่ผลิตภัณฑ์ ตัวนับไม่ได้ขึ้นกับว่าแชทกลุ่มของคุณจะยังมีชีวิตอยู่ในวันที่ 11 หรือไม่

ข้อสรุปที่ตรงไปตรงมา

การหาคนเกิดขึ้นวันที่ 1 การทดสอบเกิดขึ้นในอีก 13 วันที่เหลือ และนั่นคือวันที่ไม่เคยอยู่ในปฏิทิน

การดูแลทุกวันตลอด 14 วันพาคุณถึงฟอร์ม การถูกปฏิเสธพาคุณกลับมาอีก 14 วัน ก่อนจะกรอกได้อีกครั้ง

แหล่งอ้างอิง

1. Google Play Console help: ข้อกำหนดการทดสอบแอปสำหรับบัญชีนักพัฒนาส่วนตัวแบบใหม่, เกี่ยวกับขั้นต่ำของผู้ทดสอบ กฎการสมัครอย่างต่อเนื่อง การมีส่วนร่วมเป็นเหตุผลให้ทดสอบต่อ แบบฟอร์มคำขอ และกำหนดการตรวจสอบ