Lorixen.
AR

«Indexed, though blocked by robots.txt»: الحظر لا يعني الإخفاء

باختصار: حالة «Indexed, though blocked by robots.txt» تعني أن جوجل فهرست رابط صفحة رغم أن ملف robots.txt يمنع الزحف إليها. تشرح صفحة مساعدة Search Console أن جوجل تحترم robots.txt دائماً، لكن ذلك لا يمنع الفهرسة إذا كان هناك من يشير إلى صفحتك بروابط، فتفهرسها جوجل من معلومات الصفحات المرتبطة دون أن تزورها، ويظهر لها في النتائج وصف محدود جداً. الحل يعتمد على ما تريده: إن أردت إخفاء الصفحة، فأزل الحظر من robots.txt واستخدم noindex. وإن أردت ظهورها، فأزل الحظر فقط.

لماذا يحدث هذا التناقض؟

يتعامل كثيرون مع robots.txt كأنه زر «أخفِ هذه الصفحة من جوجل». لكن دليل جوجل عن robots.txt يقول صراحة إنه يُستخدم أساساً لتجنب إثقال موقعك بالطلبات، وإنه ليس آلية لإبعاد صفحة عن جوجل. robots.txt يقول للزاحف: لا تدخل. لا يقول: لا تذكر هذا الرابط.

فإذا ذكر موقع آخر رابط صفحتك، أو ذكرته أنت في قائمة أو منشور، تعرف جوجل أن الرابط موجود. لا تستطيع الدخول لقراءته، فتفهرسه بما تعرفه عنه من الخارج: نص الرابط الذي يشير إليه، وعنوانه. ويذكر دليل robots.txt أن الصفحة المحظورة قد تظهر في النتائج لكن دون وصف.

سيناريوهات أردنية شائعة

  • صفحة عروض داخلية للموظفين: شركة أثاث في عمّان وضعت صفحة أسعار للموزعين وحظرتها في robots.txt، لكن أحد الموزعين شارك الرابط في مجموعة عامة، فظهر الرابط في جوجل.
  • مجلد ملفات PDF: مكتب هندسي حظر مجلد الملفات حتى لا تظهر عروض الأسعار، لكن روابط الملفات موجودة في رسائل وصفحات أخرى.
  • صفحات فلاتر المتجر: صاحب متجر حظر روابط الفلاتر في robots.txt لتوفير الزحف، فظهر بعضها مفهرساً لأن روابطها موجودة في صفحات الأقسام.
  • نسخة تجريبية للموقع: نطاق فرعي للاختبار محظور في robots.txt، لكن رابطه ذُكر في مكان ما، فظهر في النتائج بلا وصف.

القرار الأول: هل تريد الصفحة في جوجل أم لا؟

لا تبدأ بالإصلاح قبل أن تجيب. تقسم صفحة المساعدة الحل إلى طريقين:

إن كنت تريد حجب الصفحة من نتائج البحث: تقول جوجل إن robots.txt ليس الآلية الصحيحة لتجنب الفهرسة، وإن عليك إزالة حظر robots.txt واستخدام noindex. السبب أن جوجل لا ترى وسم noindex إلا إذا زحفت إلى الصفحة، والحظر يمنعها من الزحف. فالحظر والوسم معاً يعني أن الوسم لن يُقرأ أبداً.

إن كنت لا تريد حجب الصفحة أصلاً: حدّث ملف robots.txt لإلغاء الحظر عنها، وتقترح جوجل أداة اختبار robots.txt لمعرفة القاعدة التي تحظر الصفحة.

الصفحات الخاصة فعلاً تحتاج كلمة مرور

بالنسبة للصفحات التي لا يجب أن يراها أحد خارج فئة محددة، مثل أسعار الموزعين أو ملفات العملاء، فحتى noindex ليس حماية. noindex يمنع الظهور في جوجل، لكن أي شخص لديه الرابط يستطيع فتحه. يذكر دليل robots.txt أن البدائل لإبعاد صفحة عن جوجل هي noindex أو حماية الصفحة بكلمة مرور. للمحتوى الخاص فعلاً، الحماية بكلمة مرور أو بتسجيل دخول هي الحل، وتمنع جوجل والزوار معاً.

ملفات PDF والصور

وسم noindex يوضع في رأس صفحة HTML، فكيف تضعه على ملف PDF؟ يوضح دليل جوجل عن حظر الفهرسة أن ترويسة HTTP المسماة X-Robots-Tag يمكن استخدامها للملفات غير HTML مثل PDF. فإن كان مجلد الملفات محظوراً في robots.txt والملفات مفهرسة، فالطريق أن تزيل الحظر وتضيف للمجلد ترويسة X-Robots-Tag: noindex من إعدادات الخادم. ويذكر دليل robots.txt أن الصور والفيديو وملفات PDF المضمنة في صفحة محظورة تُستبعد من الزحف أيضاً، إلا إذا أشارت إليها صفحات أخرى مسموح الزحف إليها.

كيف تعرف من أين جاء الرابط؟

قبل أن تقرر، يفيد أن تعرف كيف عرفت جوجل الرابط أصلاً. افتح الرابط في أداة فحص الرابط، فقد تذكر لك الأداة المصادر التي وُجد فيها، مثل خريطة موقع أو صفحة تشير إليه. وراجع أيضاً تقرير الروابط في Search Console للبحث عن الصفحات الخارجية التي تشير إلى موقعك. وابحث في موقعك نفسه: هل الرابط مذكور في قائمة أو في تذييل أو في خريطة الموقع؟ أحياناً يكون السبب أنك أنت من وضع الرابط في خريطة الموقع وحظره في robots.txt في الوقت نفسه، وهذا تناقض يجب حله أولاً.

راجع ملف robots.txt كله

بما أنك فتحت الملف، راجعه كاملاً. كثير من المواقع تحمل قواعد قديمة لا يعرف أحد لماذا وُضعت: حظر مجلد صور، أو حظر ملفات CSS وJavaScript، أو حظر مسار كان يستخدمه قالب سابق. حظر ملفات التنسيق والبرمجة قد يمنع جوجل من عرض صفحتك كما يراها الزائر. اكتب بجانب كل قاعدة سبب وجودها، واحذف ما لا تعرف سببه بعد التأكد أنه لا يحمي شيئاً.

خطوات مرتبة

  1. افتح القائمة في التقرير، واجمع الروابط في مجموعات: صفحات داخلية، ملفات، فلاتر، نسخ تجريبية.
  2. لكل مجموعة قرر: إخفاء أم إظهار.
  3. للإخفاء: أزل القاعدة من robots.txt، وأضف noindex للصفحات أو X-Robots-Tag للملفات، أو احمِها بكلمة مرور إن كانت خاصة.
  4. للإظهار: أزل القاعدة من robots.txt فقط.
  5. اطلب إعادة الزحف للروابط المهمة بأداة فحص الرابط، ثم اضغط التحقق من الإصلاح.
  6. بعد أن تختفي الصفحات المخفية من النتائج، يمكنك التفكير في إعادة الحظر في robots.txt إن كان هدفك توفير الزحف، مع العلم أن ذلك قد يعيد المشكلة إن وُجدت روابط خارجية.

النسخة التجريبية تحديداً

النطاق الفرعي للاختبار أو موقع التطوير يجب ألا يُترك مفتوحاً مع حظر robots.txt فقط. الأفضل حمايته بكلمة مرور على مستوى الخادم. بهذا لا تستطيع جوجل ولا الزوار رؤيته، ولا يظهر في النتائج مهما ذُكر رابطه.

لا تستخدم أداة الإزالة كحل دائم

أداة إزالة الروابط في Search Console تخفي الرابط مؤقتاً. هي مفيدة في حالة عاجلة، كتسرب ملف حساس، ريثما تطبق الحل الدائم. لكنها ليست بديلاً عن noindex أو كلمة المرور.

مثال توضيحي: شركة أثاث وصفحة أسعار الموزعين

لنفترض الشركة المذكورة وجدت صفحة أسعار الموزعين في التقرير. أزالت القاعدة من robots.txt، ونقلت الصفحة خلف تسجيل دخول للموزعين، وأضافت noindex احتياطاً. وطلبت إزالة مؤقتة للرابط من النتائج ريثما تُعاد زيارته. ثم راجعت المجلدات الأخرى المحظورة في robots.txt بالسؤال نفسه: إخفاء أم إظهار.

هذا مثال توضيحي لطريقة المعالجة، دون أرقام أو نتائج مقاسة.

أسئلة شائعة

حاظر الصفحة بـ robots.txt وطالعة بجوجل، كيف؟

لأن robots.txt يمنع الزحف لا الفهرسة. إذا أشارت روابط إلى الصفحة، قد تفهرسها جوجل دون زيارتها.

أحط noindex وأخلي الحظر؟

لا. الحظر يمنع جوجل من رؤية noindex. أزل الحظر أولاً.

الصفحة خاصة بالموزعين، noindex بيكفي؟

لا. noindex يمنع الظهور في جوجل فقط. احمِ الصفحة بكلمة مرور أو تسجيل دخول.

كيف أخفي ملفات PDF؟

بترويسة X-Robots-Tag: noindex من الخادم، بعد إزالة الحظر من robots.txt.

إذا كانت صفحات حظرتها في robots.txt تظهر في جوجل، تواصل معنا ونرتب الإخفاء الصحيح معك.

المصادر

WhatsAppاحجز مكالمة