Lorixen.
AR

صفحاتك مستبعدة بسبب noindex دون قصد؟ أربعة مصادر شائعة

باختصار: إذا وجدت صفحات مهمة من موقعك تحت «Excluded by ‘noindex’ tag» في تقرير فهرسة الصفحات، فجوجل تقول إنها وجدت في الصفحة توجيه noindex فلم تفهرسها. تقول صفحة مساعدة Search Console: إن كنت لا تريد فهرسة الصفحة فلا مشكلة، وإن كنت تريدها فعليك إزالة التوجيه. المصادر الأكثر شيوعاً لتوجيه غير مقصود: خيار «منع محركات البحث» في ووردبريس بقي مفعلاً بعد الإطلاق، أو إعداد في إضافة تحسين محركات البحث، أو ترويسة X-Robots-Tag من الخادم، أو قالب يضيف الوسم لأقسام كاملة. افحص الصفحة بأداة فحص الرابط لترى ما وصل لجوجل فعلاً.

كيف تكتشف المشكلة عادة؟

عيادة علاج طبيعي في عمّان أطلقت موقعها الجديد قبل شهرين. صاحبتها تبحث عن اسم العيادة في جوجل فلا تجد إلا صفحة فيسبوك. تفتح Search Console فتجد أن كل صفحات الموقع تقريباً تحت حالة استبعاد بسبب noindex. ما حدث أن المطور بنى الموقع على خادم تجريبي وفعّل خيار منع محركات البحث حتى لا يُفهرس أثناء العمل، ثم نُقل الموقع كما هو دون إطفاء الخيار.

هذا السيناريو شائع جداً لأن الموقع يعمل بشكل طبيعي تماماً للزوار، ولا شيء يدل على المشكلة إلا غياب الموقع عن نتائج البحث.

ما الذي يعنيه noindex؟

يشرح دليل جوجل عن حظر الفهرسة أن noindex يمكن وضعه بطريقتين: وسم meta في رأس الصفحة، أو ترويسة HTTP اسمها X-Robots-Tag بقيمة noindex أو none، ويمكن استخدام الترويسة لملفات غير HTML مثل PDF. وعندما يجد Googlebot هذا التوجيه، يستبعد الصفحة من نتائج البحث.

وتصف صفحة مساعدة التقرير الحالة بأن جوجل عندما حاولت فهرسة الصفحة وجدت توجيه noindex فلم تفهرسها، وتقترح للتأكد فتح أداة الفحص ومراجعة قسم الفهرسة، حيث يظهر أن noindex يمنع الفهرسة.

المصدر الأول: إعداد ووردبريس

يوثق ووردبريس في شرح شاشة إعدادات القراءة خيار «منع محركات البحث من فهرسة هذا الموقع». ويذكر التوثيق أنه منذ الإصدار 5.3، عند تفعيل الخيار، يُضاف وسم robots بقيمة noindex,nofollow إلى رأس صفحات الموقع، إذا كان القالب يستخدم wp_head.

للتحقق: ادخل لوحة التحكم، ثم الإعدادات، ثم القراءة، وانظر إلى خانة ظهور الموقع لمحركات البحث. إذا كانت مفعلة على الموقع الحي، فأزل التحديد واحفظ. هذه الخطوة وحدها تحل نسبة كبيرة من حالات الاستبعاد الشامل بعد الإطلاق.

المصدر الثاني: إضافات تحسين محركات البحث

الإضافات الشائعة لتحسين محركات البحث تسمح بوضع noindex على أنواع كاملة من الصفحات: الوسوم، أو التصنيفات، أو صفحات المؤلفين، أو أنواع محتوى مخصصة مثل «الخدمات» أو «الأطباء». أحياناً يُفعّل أحدهم هذا الخيار لنوع يظنه غير مهم، فتختفي صفحات الخدمات كلها. وأحياناً يكون في شاشة تحرير صفحة واحدة خيار «لا تفهرس هذه الصفحة» فُعّل بالخطأ.

راجع إعدادات الإضافة لكل نوع محتوى، ثم افتح عينة من الصفحات المستبعدة وانظر إلى إعداداتها الفردية.

المصدر الثالث: ترويسة من الخادم

هذا المصدر الأصعب اكتشافاً، لأنك لن تجده في كود الصفحة. قد تضيف إعدادات الخادم أو شبكة التوزيع أو قاعدة في ملف الإعدادات ترويسة X-Robots-Tag: noindex لكل الردود، أو لمسار معين مثل كل ملفات PDF أو كل الصفحات تحت /ar/. ويحدث ذلك كثيراً عندما تُنسخ إعدادات الخادم التجريبي إلى الخادم الحي.

للتحقق: افتح أدوات المطور في المتصفح، ثم لوحة الشبكة، واختر طلب الصفحة نفسه، وابحث في ترويسات الرد عن X-Robots-Tag.

المصدر الرابع: الكود الذي يضيف الوسم لاحقاً

بعض المواقع تضيف وسم robots عبر JavaScript أو عبر أداة إدارة وسوم. إن أضاف الكود noindex في ظروف معينة، كحالة خطأ مؤقتة أو صفحة لم تُحمّل بياناتها، فقد تراه جوجل عند العرض وتستبعد الصفحة. ابحث في القالب والأدوات عن أي كود يعدّل وسم robots.

أداة فحص الرابط: الحكم النهائي

يقول دليل جوجل إن عليك التأكد من أن قاعدة noindex ظاهرة لـ Googlebot، وإن أداة فحص الرابط تعرض HTML الذي استلمه Googlebot أثناء الزحف. افحص الصفحة المستبعدة، وانظر إلى الكود الذي رأته جوجل، وإلى ترويسات الرد. فإن كان الوسم موجوداً هناك وليس في كود صفحتك كما تراه أنت، فهو مضاف من الخادم أو من كود يعمل عند العرض أو من قاعدة لا تنطبق عليك أنت كمسجل دخول.

صفحات يجب أن تبقى مستبعدة

ليست كل صفحة في هذه الحالة مشكلة. صفحات مثل سلة الشراء، وإتمام الطلب، وحساب الزبون، وصفحات الشكر بعد إرسال النموذج، ونتائج البحث الداخلي، من الطبيعي أن تحمل noindex. قبل أن تزيل التوجيه من أي صفحة، اسأل: هل أريد أن يصل الناس إلى هذه الصفحة من نتائج جوجل؟ إن كان الجواب لا، فاتركها كما هي.

بعد الإزالة: كم يحتاج الأمر؟

يذكر دليل جوجل أن الصفحة قد تبقى على حالها حتى تزحف جوجل إليها من جديد، وأن ذلك قد يستغرق شهوراً لبعض الصفحات حسب أهميتها على الإنترنت، وأنه يمكنك طلب إعادة الزحف عبر أداة فحص الرابط. للصفحات المهمة كالرئيسية وصفحات الخدمات الأساسية، اطلب إعادة الفهرسة لكل منها. ولبقية الصفحات، حدّث خريطة الموقع وأرسلها، واضغط التحقق من الإصلاح في التقرير.

لا تخلط بين noindex وrobots.txt

ينبه دليل جوجل إلى أن ملف robots.txt إذا كان يحظر الرابط، فلن تستطيع جوجل رؤية وسم noindex أصلاً. أي إذا أردت استبعاد صفحة فعلاً، فلا تحظرها في robots.txt وتضع عليها noindex في الوقت نفسه. والعكس: إذا أزلت noindex لكن الصفحة محظورة في robots.txt، فلن تُزحف لترى التغيير.

قائمة فحص للإطلاق

اجعل هذه البنود جزءاً من إطلاق أي موقع أو نقل:

  • خيار منع محركات البحث مطفأ على الموقع الحي.
  • لا ترويسة X-Robots-Tag عامة في إعدادات الخادم الحي.
  • إعدادات الإضافة لكل نوع محتوى مراجعة.
  • عينة من الصفحات فُحصت بأداة فحص الرابط بعد الإطلاق.

مثال توضيحي: عيادة علاج طبيعي وموقع لا يظهر

لنفترض العيادة المذكورة وجدت خيار منع محركات البحث مفعلاً. أطفأته، ثم فحصت صفحة الخدمات فوجدت أن إضافة تحسين محركات البحث تضع noindex على نوع محتوى «الخدمات» كله، فعدلت الإعداد. ثم طلبت إعادة فهرسة الرئيسية وصفحات الخدمات، وأرسلت خريطة الموقع، وضغطت التحقق من الإصلاح.

هذا مثال توضيحي لطريقة المعالجة، دون أرقام أو نتائج مقاسة.

أسئلة شائعة

صفحاتي كلها Excluded by noindex بعد إطلاق الموقع، ليش؟

غالباً بقي خيار منع محركات البحث مفعلاً من مرحلة التطوير. أطفئه من إعدادات القراءة في ووردبريس.

ما لقيت noindex بكود الصفحة، من وين جاي؟

قد يكون ترويسة X-Robots-Tag من الخادم، أو مضافاً بكود عند العرض. افحص الصفحة بأداة فحص الرابط.

بعد ما شلته، متى الصفحات بترجع؟

عند إعادة الزحف. اطلب إعادة الفهرسة للصفحات المهمة، وأرسل خريطة الموقع.

هل أحظر الصفحة بـ robots.txt بدل noindex؟

لا. إن حُظرت في robots.txt فلن ترى جوجل وسم noindex أصلاً.

إذا كانت صفحات موقعك المهمة مستبعدة بسبب noindex ولا تعرف المصدر، راسلنا ونتتبعه معك.

المصادر

WhatsAppاحجز مكالمة