Lorixen.
AR

Googlebot يزحف روابط add-to-cart في متجرك: امنعها بـ robots.txt

باختصار: إذا لاحظت في سجلات الخادم أو في Search Console أن Googlebot يزور آلاف الروابط التي تحتوي add-to-cart أو ما يشبهها، أو أن الخادم يبطؤ في أوقات الزحف، أو أن سلات وهمية تظهر في إحصاءات المتجر، فالسبب أن أزرار «أضف إلى السلة» في متجرك روابط عادية يتبعها الزاحف كأي رابط. توثيق Google يقول إن ملف robots.txt يُستخدم أساساً لتجنب إرهاق موقعك بالطلبات، وإن إضاعة الوقت في زحف روابط لا يجب زحفها قد يمنع الزاحف من استكشاف بقية الموقع. ومدونة Google نفسها تعطي مثالاً على منع كل الزواحف من صفحة «أضف إلى السلة» عبر robots.txt. الحل: امنع زحف روابط الإجراءات بقاعدة دقيقة، ولا تستخدم noindex لهذا الغرض.

كيف يظهر هذا في متجر حقيقي؟

متجر مستلزمات رياضية في عمّان على WooCommerce فيه بضع مئات من المنتجات، لكل منتج عدة مقاسات وألوان. في صفحات الأقسام، يظهر بجانب كل منتج زر «أضف إلى السلة». عندما فحص المطور سجلات الخادم، وجد أن Googlebot يطلب روابط كثيرة لإضافة كل منتج إلى السلة، مع اختلافات في الترتيب والتصفية، وكل طلب منها يشغّل كود السلة على الخادم بدل أن يقدم صفحة جاهزة.

وفي تقارير Search Console، لاحظ صاحب المتجر أن صفحات منتجات جديدة تتأخر في الظهور. هذا مثال توضيحي لحالة شائعة في المتاجر التي تجعل أزرار السلة روابط، وقد يزيد الأمر سوءاً إذا كانت الصفحات لا تُخزن مؤقتاً، فيحسب الخادم كل صفحة من جديد مع كل زيارة من الزاحف.

لماذا يزحف Google إلى أزرار السلة؟

في كثير من القوالب، زر «أضف إلى السلة» في صفحة القسم رابط عادي يضيف معاملاً إلى عنوان الصفحة، مثل معامل يحمل رقم المنتج. الزاحف يرى رابطاً فيتبعه. وإذا كانت صفحات الأقسام نفسها لها نسخ كثيرة بسبب الترتيب والتصفية والصفحات المتعددة، تتضاعف هذه الروابط بسرعة. هذا وصف للسلوك الشائع في القوالب، لا نص من توثيق Google.

ما علاقة ذلك بميزانية الزحف؟

توثيق Google عن إدارة ميزانية الزحف يشرح أن الويب مساحة لا نهائية تقريباً، تتجاوز قدرة Google على استكشاف كل رابط متاح، لذلك هناك حدود للوقت والموارد التي يمكن تخصيصها لزحف أي موقع. ويعرّف ميزانية الزحف بأنها مجموعة الروابط التي يستطيع Google ويريد زحفها، ويحددها عنصران: حد قدرة الزحف، والطلب على الزحف.

ومن أفضل الممارسات التي يذكرها: إدارة مخزون الروابط، أي إخبار Google أي الصفحات يزحفها وأيها لا. ويقول إنه إذا قضى Google وقتاً طويلاً في زحف روابط لا يجب زحفها، فقد لا تستكشف زواحفه بقية موقعك، أو لا تزيد ميزانية زحفه.

ويوضح التوثيق أن الموقع، في هذا السياق، هو اسم مضيف فريد، فالنطاقات الفرعية المختلفة لها ميزانيات منفصلة.

وللإنصاف، يذكر التوثيق أن هذه الإرشادات موجهة أساساً للمواقع الكبيرة أو التي تتغير صفحاتها بسرعة. متجر بمئات المنتجات قد لا يواجه مشكلة ميزانية حقيقية. ويقول إنه إذا لم يكن لموقعك عدد كبير من الصفحات التي تتغير بسرعة، أو كانت صفحاتك تُزحف في اليوم نفسه الذي تُنشر فيه، فلا تحتاج هذا الدليل، وإن الحفاظ على خريطة الموقع محدّثة ومراجعة تقرير فهرسة الصفحات بانتظام يكفي لبحث Google. لكن العبء على الخادم مشكلة بحد ذاتها، وروابط الإجراءات لا فائدة من زحفها أصلاً، والسجلات المليئة بها تجعل تحليل الزحف الحقيقي أصعب.

الحل: robots.txt بقاعدة دقيقة

توثيق Google التمهيدي عن robots.txt يقول إن الملف يخبر زواحف محركات البحث بالروابط التي يمكنها الوصول إليها، وإنه يُستخدم أساساً لتجنب إرهاق الموقع بالطلبات. ومدونة Google في سلسلة تذكير بأساسيات robots.txt تعطي مثالاً مباشراً: لإخبار كل الزواحف بالابتعاد عن صفحة «أضف إلى السلة»، يمكنك كتابة قاعدة منع لمسار السلة.

وتوثيق Google عن تفسير مواصفة robots.txt يذكر أن Google ومحركات البحث الكبرى تدعم شكلاً محدوداً من الرموز البديلة في المسارات: النجمة تعني صفر أو أكثر من أي حرف صالح، وعلامة الدولار تعني نهاية الرابط. ويذكر أن قيمة المسار يجب أن تبدأ بشرطة مائلة، وأنها حساسة لحالة الأحرف.

مثال توضيحي لقاعدة تمنع زحف أي رابط يحتوي معامل الإضافة إلى السلة، بصرف النظر عن الصفحة التي يظهر فيها:

User-agent: * Disallow: /*add-to-cart=

اسم المعامل يختلف بين المنصات والقوالب. افحص رابط زر السلة في متجرك أولاً، واكتب القاعدة حسبه، ثم اختبرها بأداة فحص robots.txt قبل الاعتماد عليها. ولا تمنع مسار صفحات المنتجات نفسها بالخطأ.

لماذا لا تستخدم noindex؟

قد يقترح أحدهم إضافة noindex لهذه الروابط. توثيق إدارة ميزانية الزحف يقول صراحة: لا تستخدم noindex لهذا الغرض، لأن Google سيبقى يطلب الصفحة، ثم يتركها عندما يرى علامة noindex، فيضيع وقت الزحف.

ويذكر التوثيق أن منع الروابط عبر robots.txt يمنع Google من زحفها، ويقلل كثيراً احتمال معالجتها في أنظمة Google الأخرى مثل الفهرسة.

robots.txt ليس لإخفاء الصفحات

نقطة مكملة من التوثيق التمهيدي: robots.txt ليس آلية لإبقاء صفحة خارج نتائج Google. لإبقاء صفحة خارج النتائج، استخدم noindex أو احمِ الصفحة بكلمة مرور. صفحة السلة وصفحة الدفع وصفحة الحساب الخاصة بالزبائن لا يجب أن تكون صفحات مهمة لمحركات البحث أصلاً، لكن إذا كنت تريد ضمان عدم ظهور صفحة ما في النتائج، فالأداة الصحيحة غير robots.txt.

حلول من جهة القالب

إلى جانب robots.txt، يمكن للمطور تقليل المشكلة من الأساس:

  • جعل زر السلة في صفحات الأقسام يعمل بطلب في الخلفية بدل رابط عادي، فلا يجد الزاحف رابطاً يتبعه.
  • الحرص على ألا تغيّر روابط الإجراءات بيانات حقيقية لمجرد زيارتها، فالزيارة يجب ألا تكون إجراءً.
  • تقليل نسخ صفحات الأقسام التي تختلف بالترتيب فقط.

هذه ممارسات عامة لا تذكرها صفحات Google التي راجعناها بالتفصيل.

كيف تتأكد أن الحل نجح؟

  1. افحص سجلات الخادم بعد أسبوع أو أسبوعين: هل قلّت طلبات Googlebot لروابط السلة؟
  2. في Search Console، استخدم أداة فحص الروابط على رابط سلة نموذجي للتأكد أنه ممنوع بـ robots.txt.
  3. تأكد أن صفحات المنتجات والأقسام ما زالت مسموحة.
  4. راقب الصفحات الجديدة: هل صارت تُزحف أسرع؟

أسئلة شائعة

ليش Googlebot بيزور روابط add-to-cart بمتجري؟

لأن أزرار السلة في كثير من القوالب روابط عادية، والزاحف يتبع الروابط.

هل أمنعها بـ noindex؟

لا. توثيق Google يقول إن noindex يجعل Google يطلب الصفحة ثم يتركها، فيضيع وقت الزحف. استخدم robots.txt.

كيف أكتب القاعدة؟

بقاعدة Disallow تستخدم النجمة لمطابقة أي مسار قبل معامل الإضافة إلى السلة، بعد التأكد من اسم المعامل في متجرك.

هل robots.txt بيخفي الصفحة من نتائج البحث؟

لا. التوثيق يقول إنه ليس آلية لإبقاء الصفحة خارج Google. لذلك استخدم noindex أو كلمة مرور.

إذا كان الزحف يرهق متجرك أو يؤخر ظهور منتجاتك الجديدة، اكتب لنا ونرتب ملف الزحف معك.

المصادر

WhatsAppاحجز مكالمة