robots.txt يرد بخطأ؟ ماذا يفعل جوجل وكيف تصلحه
باختصار: ملف robots.txt ليس مجرد قائمة منع، فطريقة استجابة الخادم له تغيّر سلوك جوجل كله. إذا أعاد الملف خطأ خادم (5xx) أو انقطع الاتصال، يتوقف جوجل عن الزحف إلى موقعك أول 12 ساعة بحسب توثيقه، ثم يعتمد آخر نسخة سليمة حتى 30 يوماً. أما خطأ 404 فيعامله كأن لا قيود أصلاً. لذلك افحص حالة الملف نفسه، لا محتواه فقط.
لماذا قد يتوقف الزحف دون أن تغيّر شيئاً؟
صاحب موقع عيادة أسنان في عمّان يلاحظ أن الصفحات الجديدة لم تعد تظهر في جوجل، ولم يغيّر أحد ملف robots.txt منذ شهور. بعد البحث يتبيّن أن جدار الحماية الذي فعّله مزوّد الاستضافة صار يرد على طلبات جوجل لهذا الملف بخطأ، أو أن إضافة أمان في ووردبريس تحوّل الطلب إلى صفحة أخرى. المحتوى لم يتغير، لكن الملف لم يعد يصل، وهذا وحده يكفي لتعطيل الزحف.
السبب أن جوجل يطلب ملف robots.txt قبل أن يزحف، ويقرر بناءً على رد الخادم. توثيق Google Search Central يشرح ماذا يفعل مع كل نوع من الردود، وهذه التفاصيل هي ما يغفل عنه كثير من أصحاب المواقع.
كيف يتعامل جوجل مع كل رد؟
بحسب صفحة «كيف يفسّر جوجل مواصفة robots.txt»:
- رد ناجح (200): يقرأ القواعد ويطبقها كما هي.
- أخطاء 4xx ما عدا 429: يعامل الموقع كأنه لا يملك ملف robots.txt صالحاً، أي يفترض عدم وجود قيود على الزحف. هذا يعني أن خطأ 404 لا يوقف الزحف، لكنه يلغي أي منع كنت تعتمد عليه.
- أخطاء الخادم 5xx: إذا وجد جوجل الملف لكنه لم يستطع جلبه، يتوقف عن الزحف إلى الموقع أول 12 ساعة مع استمرار المحاولة. بعدها، ولمدة 30 يوماً، يستخدم آخر نسخة سليمة إن وُجدت. والرد 503 تحديداً يؤدي إلى إعادة محاولات متكررة نسبياً.
- بعد 30 يوماً من الأخطاء: إذا كان الموقع متاحاً عموماً، يتصرف كأن لا ملف موجود. وإذا كانت المشكلة في توفر الموقع كله، يتوقف عن الزحف مع طلب الملف بين حين وآخر.
- أخطاء الشبكة: مهلة الانتظار، الردود غير الصالحة، انقطاع الاتصال وأخطاء التجزئة تُعامل كخطأ خادم.
- إعادة التوجيه 3xx: يتبع جوجل خمس قفزات على الأقل ثم يتوقف ويعامل النتيجة كـ404. ولا يتبع التحويلات المنطقية مثل JavaScript أو meta refresh داخل الملف.
ويذكر التوثيق أيضاً أن جوجل يخزّن محتوى الملف عادة حتى 24 ساعة، وقد يطيل ذلك إذا تعذر التحديث بسبب أخطاء الخادم. لذلك قد لا يظهر أثر التعديل فوراً.
افحص الملف كما يراه جوجل
ابدأ من Search Console وافتح تقرير robots.txt ضمن الإعدادات. بحسب مساعدة Search Console، يعرض التقرير ملفات robots.txt التي وجدها جوجل لأهم المضيفات في موقعك، وآخر وقت جلبها، وحالة الجلب، وأي أخطاء أو تحذيرات. من الحالات الممكنة «لم يُجلب - غير موجود (404)».
ثم افحص من جهازك:
- افتح
https://example.jo/robots.txtفي المتصفح، ثم في نافذة تصفح خاص. - افحص الرد بأداة سطر الأوامر، مثل
curl -I https://example.jo/robots.txt، وانظر إلى رمز الحالة. يجب أن يكون 200 مباشرة دون سلسلة تحويلات. - افحص النسخة بلا www والنسخة مع www، وبروتوكول http وhttps، لأن كل مضيف وبروتوكول له ملفه.
- إذا كان لديك نطاق فرعي مثل
shop.example.jo، فله ملف robots.txt مستقل.
مثال توضيحي: متجر قرطاسية في الزرقاء نقل موقعه إلى نطاق جديد، وجعل كل الروابط القديمة تحوّل إلى الصفحة الرئيسية الجديدة. طلب robots.txt على النطاق الجديد كان يمر بثلاث تحويلات قبل أن يصل إلى صفحة HTML لا إلى ملف نصي. الحل كان وضع ملف نصي حقيقي في جذر النطاق الجديد يرد بـ200 مباشرة.
أسباب شائعة لردود خاطئة
- جدار حماية أو خدمة حماية من البوتات تمنع زواحف البحث أو تعرض لها صفحة تحقق.
- إضافة أمان أو كاش تحوّل الطلبات غير المعروفة إلى صفحة تسجيل الدخول أو الصفحة الرئيسية.
- وضع صيانة يعيد 503 للموقع كله، بما فيه الملف. الرد 503 مقصود للصيانة القصيرة، لكن استمراره أياماً يضر.
- خادم مثقل يتأخر في الرد فتنتهي المهلة.
- ملف مولّد ديناميكياً من نظام إدارة المحتوى يتعطل عند خطأ في قاعدة البيانات.
- تحويل من http إلى https ثم إلى www ثم إلى مسار آخر، فتطول السلسلة.
إصلاح عملي خطوة بخطوة
- اجعل robots.txt ملفاً نصياً ثابتاً قدر الإمكان، لا صفحة يولّدها النظام عند كل طلب، إذا كانت استضافتك تسمح بذلك.
- استثنِ مسار الملف من قواعد جدار الحماية وإضافات الأمان التي تعرض صفحات تحقق.
- اختصر التحويلات بحيث يصل الطلب إلى العنوان النهائي في خطوة واحدة.
- إذا كنت تضع الموقع في صيانة، اجعلها قصيرة، واعلم أن الصيانة الطويلة تعني توقف الزحف.
- بعد الإصلاح، استخدم في تقرير robots.txt خيار طلب إعادة الزحف. توضح المساعدة أنه مخصص للحالات الطارئة، مثل إصلاح خطأ أو تغيير حرج.
- راقب التقرير بضعة أيام حتى تتأكد أن حالة الجلب صارت ناجحة.
انتبه لخطأ 404 أيضاً
قد يظن البعض أن 404 أفضل من خطأ الخادم لأنه لا يوقف الزحف. هذا صحيح من ناحية الزحف، لكن إذا كنت تعتمد على الملف لمنع جوجل من الزحف إلى صفحات نتائج البحث الداخلي أو عربة التسوق أو لوحة الإدارة، فاختفاء الملف يلغي هذا المنع كله. كذلك لا تستخدم 401 أو 403 لتحديد سرعة الزحف؛ التوثيق يقول إن هذه الرموز لا تؤثر على معدل الزحف، ويذكر 429 و503 لهذا الغرض.
اجعل المراقبة عادة
ملف robots.txt يتغير نادراً، ولذلك ينساه الجميع. أضفه إلى أي فحص دوري تجريه على الموقع: مرة في الشهر، أو بعد أي تغيير في الاستضافة أو جدار الحماية أو إضافات الأمان. ويمكن لأداة مراقبة توفر الموقع أن تراقب عنوان الملف نفسه، فتنبهك إذا تغيّر رمز الحالة. التنبيه المبكر يوفر عليك أياماً من التساؤل عن سبب اختفاء الصفحات الجديدة.
أسئلة شائعة
الموقع يفتح عادي عندي، ليش جوجل بقول في مشكلة بالملف؟
قد يرد الخادم على متصفحك بشكل مختلف عن رده على زواحف البحث، خصوصاً مع جدران الحماية. اعتمد على تقرير robots.txt في Search Console وعلى رمز الحالة الفعلي.
هل حذف ملف robots.txt حل سريع؟
إذا لم تكن تحتاج إلى أي منع، فغياب الملف (404) يعني عدم وجود قيود. لكن إذا كان فيه قواعد مهمة فستفقدها، والأفضل إصلاح الرد ليصبح 200.
كم يحتاج جوجل حتى يلاحظ الإصلاح؟
يخزن جوجل الملف عادة حتى 24 ساعة، ويمكنك طلب إعادة الجلب من التقرير بعد الإصلاح. لا يوجد وقت مضمون، فراقب حالة الجلب.
هل يؤثر هذا على النطاقات الفرعية؟
كل مضيف وبروتوكول له ملف robots.txt خاص به، فافحص كل نطاق فرعي تستخدمه على حدة.
إذا اختفت صفحات موقعك من البحث ولا تعرف السبب، ابعث لنا رابط موقعك ونفحص ملف robots.txt والتحويلات معك.