اختبار نسختين على موقع الشركة: من يدخل في التحليل وما الذي يُعد نجاحا؟

قبل تكليف مطور بتنفيذ اختبار A/B، اكتبوا القرار الذي ستساعد نتائجه على اتخاذه. قد ترغب شركة خدمات، مثلا، في مقارنة مسارين للاستفسار بناء على الطلبات المكتملة والقابلة للاستخدام، لا النقرات على الزر الأول. عرض صفحتين مختلفتين ليس إلا آلية التنفيذ. أما التجربة فتحتاج أيضا إلى مجموعة محددة، ونتيجة متفق عليها، ونافذة زمنية للقياس.

من دون ذلك، قد تبدو لوحة النتائج دقيقة بينما تجيب عن سؤال لم تقصدوه. يتناول هذا الدليل شروط تحليل التجربة، وليس اختيار العملاء الذين يحصلون على إطلاق تدريجي لميزة، ولا يعد بأن إعادة التصميم ستزيد المبيعات.

الحصول على نسخة لا يعني بالضرورة الدخول في التحليل

قد يُعيَّن الزائر لنسخة قبل أن يصل إلى الجزء المختلف من الموقع. إذا كان التغيير في خطوة لاحقة من نموذج الاستفسار، فلا يثبت تحميل صفحة سابقة أنه واجه التغيير فعلا.

تقدم PostHog مثالا محددا. توضح وثائق إنشاء التجربة أن حدث التعرض الافتراضي هو $feature_flag_called. ويمكن اختيار حدث مخصص لتضييق المجموعة على من وصلوا إلى الجزء المعني من المنتج. يؤثر هذا الاختيار في الأشخاص الذين يشملهم التحليل.

اطلبوا عرض نقطة الدخول المقصودة: ما الذي يثبته الحدث، وأين يُنشأ؟ تقييم مفتاح ميزة لا يثبت تلقائيا أن شخصا قرأ الصفحة. وفي الاتجاه المقابل، قد يؤدي اختيار حدث لا يقع إلا بعد النجاح المطلوب إلى استبعاد المسارات غير الناجحة التي أردتم قياسها. ليُراجع التصميم مختص بالتحليل، بدلا من اختيار المقام الذي ينتج النسبة الأجمل.

حددوا النتيجة التجارية قبل الاطلاع على النتائج

اكتبوا سؤالا رئيسيا بلغة واضحة، ثم حولوه إلى تعريف لحدث قابل للقياس. في المثال الافتراضي للاستفسارات، هل يعني النجاح إرسال النموذج، أم اجتياز تحقق متفق عليه، أم تأهيل الطلب بمراجعة لاحقة؟ هذه نتائج مختلفة. لا ينبغي أن تصبح نقرة على زر الإرسال دليلا على استفسار صالح من دون اتفاق صريح.

تميز PostHog بين المقاييس الأساسية التي تمثل الهدف الرئيسي والمقاييس الثانوية التي تضيف سياقا وتساعد على مراقبة الآثار الجانبية. وتوصي الوثائق بتحديد المقاييس مسبقا لتجنب تحيز التحليل. لكن تسمية مقياس بأنه «أساسي» لا تصلح تعريفا غير مناسب من الأصل.

اتفقوا على فحوص مكملة مرتبطة بالهدف، مثل ازدياد الطلبات غير الصالحة أو الأعطال التقنية في المسار الجديد. اجعلوا المجموعة محددة ومبررة. البحث داخل قائمة متزايدة من أرقام لا علاقة بينها عن مؤشر تحسن، ثم تقديمه على أنه معيار النجاح الأصلي، ليس مسارا سليما لاتخاذ القرار.

ضعوا حدودا زمنية مقصودة للنتيجة

يجب أن تكون علاقة النتيجة بالتعرض واضحة. تذكر وثائق مقاييس PostHog أن الأحداث التي تقع بعد التعرض فقط تدخل في حساب التجربة. وتتيح نوافذ التحويل تحديد أي الأحداث اللاحقة يُحتسب.

هناك فرق تشغيلي مهم: إذا ضُبطت نافذة تحويل صريحة، تربطها PostHog بأول تعرض، ولا تعيد التعرضات اللاحقة بدءها أو تمديدها. وتوضح الوثائق أيضا أن نافذة بعض المشاركين قد تمتد إلى ما بعد تاريخ انتهاء التجربة إذا تعرضوا لها قرب النهاية.

اطلبوا من المحلل اختيار نافذة تناسب رحلة العميل الفعلية، واحفظوا القرار في مواصفات المشروع. التوقف عن إضافة مشاركين جدد لا يعني بالضرورة اكتمال الملاحظة النهائية لجميع المشاركين. ينبغي للواجهة إظهار تواريخ التحليل المعنية وأي فترة ملاحظة ما زالت تتطور، لا وسم اللوحة بأنها نهائية فور إيقاف الاختبار.

احتفظوا بسبب الاستبعاد وبالتغييرات اللاحقة

تشرح وثائق الإنشاء التعامل مع شخص تعرض لأكثر من نسخة: الإعداد الافتراضي يستبعده من التحليل، مع خيار بديل يستخدم النسخة الأولى التي تعرض لها. وتوثق كذلك استبعاد المستخدمين الداخليين عبر مرشحات حسابات الاختبار في المشروع. هذه خيارات تحليلية موثقة، وليست قاعدة واحدة إلزامية لكل شركة.

اختاروا المعالجة المناسبة مع المحلل، واجعلوها قابلة للتفسير. لا ينبغي أن يتحول الموظفون الذين يختبرون الموقع إلى أدلة عن العملاء العاديين بالخطأ. وتحتاج تغيرات الهوية أو مسارات النسخ غير المتوقعة إلى معالجة يمكن تتبعها، لا إلى تعديل خفي للمجاميع.

وتوضح الوثائق نفسها إمكان تعديل المقاييس ومعايير الإدراج بعد حفظ التجربة، من دون تغيير ما يراه المستخدم أو ما يُجمع من بيانات. هذه المرونة لا تجعل التحليل اللاحق هو الخطة الأصلية بالضرورة. اطلبوا تاريخا محفوظا للإعدادات ووسما واضحا عندما تعاد الحسابات بمعايير مختلفة.

اختبروا القياس قبل الوثوق بالمقارنة

استخدموا مسارات خيالية في بيئة معزولة لإظهار الحالات التالية:

• تعيين نسخة لشخص لا يصل إلى نقطة التعرض المتفق عليها.
• الوصول إلى تلك النقطة من دون إكمال النتيجة المطلوبة.
• وقوع النتيجة قبل التعرض أو خارج النافذة الزمنية.
• تعرض مشارك لأكثر من نسخة.
• معاملة حساب داخلي وفقا لقاعدة الاستبعاد المختارة.
• تغيير معايير الإدراج مع ظهور إصدار التحليل الجديد بوضوح.

يجب أن تأتي السجلات المتوقعة من تصميم القياس المعتمد. نجاح هذه الفحوص يثبت سلوك التنفيذ، لا كفاية العينة أو صحة المنهج الإحصائي أو فوز نسخة. ليحدد المحلل متى تكفي الأدلة، مع السماح بنتيجة غير حاسمة.

عند مناقشة مشروع موقع أو تطبيق ويب، اجمعوا القرار ونقطة التعرض والنتيجة والنافذة الزمنية ومسؤول المراجعة في مواصفات واحدة. هذا أساس أنفع من طلب أداة اختبار وعلامة خضراء تعلن الفائز.

المصادر الرسمية وحدودها

PostHog: Creating an experiment وExperiment metrics. تستند التفاصيل الخاصة بالمنتج إلى هاتين الوثيقتين. أما تاريخ الإعدادات وحالات قبول التنفيذ وترتيبات المراجعة التجارية فهي متطلبات مقترحة، وليست ادعاء بأن الأداة تنتج دراسة صحيحة تلقائيا. تحتاج الخصوصية والموافقة وجمع بيانات الإنتاج إلى مراجعة مناسبة مستقلة قبل الإطلاق.