Lorixen.
AR

هل يجدك مستخدمو آيفون في Siri وSpotlight؟ Applebot وrobots.txt

باختصار: كثير من زبائنك يستخدمون آيفون، ويكتبون اسم مطعمك أو عيادتك في بحث Spotlight أو يسألون Siri أو يبحثون من شريط Safari. ما يظهر لهم هناك يعتمد جزئياً على زاحف أبل Applebot. تقول صفحة أبل الرسمية إن السماح لـ Applebot في robots.txt يتيح لمحتوى موقعك الظهور في نتائج البحث لمستخدمي أبل في هذه المنتجات. افحص ملف robots.txt: هل يحجب Applebot صراحة، أو يحجب «كل الزواحف إلا جوجل»؟ وهل يحجب ملفات CSS وجافاسكربت التي تحتاجها الصفحة لتظهر؟ وإن أردت ألا يُستخدم محتواك في تدريب نماذج أبل، فهناك اسم منفصل لذلك: Applebot-Extended.

لماذا يهتم صاحب عمل أردني بهذا

عندما يبحث شخص في آيفون عن «مطعم مناسف قريب» أو عن اسم مركزك من شاشة البحث في الجوال، فهو لا يفتح محرك بحث بالضرورة. Spotlight وSiri وSafari تقترح نتائج من الويب، والصفحة التي تحمل اسمك قد تظهر هناك أو لا تظهر.

معظم أصحاب المواقع يفكرون في جوجل فقط، ويضبطون كل شيء له. وفي بعض المواقع، كتب مطور سابق في robots.txt قاعدة تسمح لجوجل وتحجب «كل الآخرين» لتخفيف الضغط على الخادم، دون أن يدرك أن «الآخرين» يشملون زاحف أبل.

ما هو Applebot

تعرّف أبل في صفحة الدعم Applebot بأنه زاحف الويب الخاص بها، وتقول إن البيانات التي يجمعها تُستخدم لتشغيل ميزات مختلفة، مثل تقنية البحث المدمجة في تجارب كثيرة ضمن منظومة أبل، ومنها Spotlight وSiri وSafari.

وتذكر الصفحة أن Applebot يحترم تعليمات robots.txt القياسية في الزحف العام الموجهة إليه، وأنه يدعم وسوم robots في رأس صفحات HTML، مثل noindex.

القاعدة التي تفاجئ كثيرين

تقول صفحة أبل: إذا لم تذكر تعليمات robots.txt زاحف Applebot بالاسم، لكنها ذكرت Googlebot، فإن زاحف أبل سيتبع تعليمات Googlebot.

هذا مهم في الاتجاهين:

  • إن كنت تسمح لجوجل بكل شيء ولا تذكر أبل، فالأرجح أن أبل ستتبع قواعد جوجل نفسها.
  • إن كان لديك قسم لـ Googlebot يحجب أجزاء معينة، فأبل ستتبع الحجب نفسه ما لم تكتب لها قسماً خاصاً.
  • وإن كان لديك قسم عام لكل الزواحف بحجب شامل، مع استثناء لجوجل فقط، فاقرأ الملف كاملاً بهدوء مع مطورك، لأن الترتيب والأقسام تحدد النتيجة.

مثال توضيحي لملف robots.txt

مثال أبل في الصفحة يسمح لـ Applebot بكل شيء عدا مجلد خاص، ويحجب مجلداً آخر عن كل الزواحف. وعلى النمط نفسه، مثال توضيحي لموقع عيادة:

User-agent: Applebot
Allow: /
Disallow: /admin/

User-agent: Googlebot
Allow: /
Disallow: /admin/

User-agent: *
Disallow: /admin/
Disallow: /cart/

لاحظ أن الهدف ليس فتح كل شيء، بل التأكد من أن أبل ليست محجوبة عن الصفحات العامة التي تريد أن يجدها الناس: الخدمات، والمواعيد، والعنوان، والمقالات.

لا تحجب ما تحتاجه الصفحة لتظهر

تذكر صفحة أبل أن Applebot قد يعرض محتوى موقعك داخل متصفح، وأنه إذا حُجبت ملفات جافاسكربت وCSS وغيرها عبر robots.txt، فقد لا يستطيع عرض المحتوى بشكل صحيح، ويشمل ذلك طلبات XHR والسكربتات وأوراق الأنماط التي تحتاجها الصفحة. وتنصح بأن يكون كل ما يحتاجه المستخدم لعرض الصفحة متاحاً لـ Applebot، أو أن تُعرض الصفحة بشكل سليم حتى لو لم تتوفر كل الموارد.

في مواقع كثيرة يوجد سطر قديم يحجب مجلد الأصول أو مجلد الإضافات كاملاً. إن كانت قائمة خدماتك أو أسعارك تُحمّل بجافاسكربت من ذلك المجلد، فقد يرى الزاحف صفحة فارغة تقريباً.

Applebot-Extended: قرار منفصل

تشرح أبل أن البيانات التي يجمعها Applebot قد تُستخدم أيضاً لتدريب نماذج تأسيسية تشغّل ميزات الذكاء الاصطناعي التوليدي في منتجاتها. وتقول إن الناشرين يمكنهم إلغاء استخدام محتواهم في تدريب هذه النماذج بحجب Applebot-Extended في robots.txt.

والأهم: تذكر أبل أنه حتى لو حجبت Applebot-Extended، فقد تبقى تعليماتك تسمح لـ Applebot بالزحف، ويبقى محتواك قابلاً للاكتشاف عبر Spotlight وSiri وSafari. أي أن قرار التدريب منفصل عن قرار الظهور في البحث. فكّر في كل منهما على حدة، ولا تحجب Applebot كله ظناً أنك بذلك تمنع التدريب فقط.

هل هذه الزيارات من أبل فعلاً؟

إن رأيت في سجلات الخادم زيارات تحمل اسم Applebot وأردت التأكد قبل أي قرار، فتوضح أبل أن حركة Applebot تُعرف عادة باستخدام DNS العكسي ضمن نطاق applebot.apple.com، أو بمطابقة عنوان IP مع قائمة نطاقات تنشرها أبل في ملف JSON. وتعرض مثالاً لاستخدام الأمر host للتحقق في الاتجاهين. هذا يحميك من حجب زاحف حقيقي بسبب زاحف مزيف يدّعي الاسم، أو العكس.

وتذكر الصفحة أيضاً أن Applebot لا يتبع تعليمة crawl-delay، وأن معدل زحفه يتكيف تلقائياً عندما يبطؤ الموقع أو يعيد أخطاء. فإن كنت تعتمد على crawl-delay لتخفيف الضغط، فهي لن تؤثر عليه.

الظهور لا يأتي من robots.txt وحده

السماح للزاحف شرط، لا ضمان. ما يقرره Spotlight أو Siri عند البحث عن اسمك يعتمد أيضاً على وضوح صفحاتك: عنوان صفحة يحمل اسم العمل والمدينة، ونص مكتوب في الصفحة نفسها يصف الخدمات، وعنوان ورقم هاتف بصيغة نصية لا صورة. هذه أساسيات تفيدك مع كل محركات البحث، لكنها تُنسى أحياناً في المواقع التي بُنيت كصورة واحدة كبيرة أو كقائمة PDF.

وإن كانت صفحات موقعك العربية والإنجليزية منفصلة، فتأكد أن الزاحف يستطيع الوصول إلى الاثنتين، وأن الصفحة العربية لا تُحمَّل من رابط يحجبه robots.txt بالخطأ، كمجلد لغة قديم أُغلق أثناء تجربة. هذه الأخطاء الصغيرة تمر بلا ملاحظة لشهور، لأن أحداً من الفريق لا يبحث عن موقعه من Spotlight.

قائمة فحص من خمس دقائق

  1. افتح ملف robots.txt في موقعك من المتصفح.
  2. ابحث عن قسم باسم Applebot. إن لم يوجد، فاقرأ قسم Googlebot لأن أبل ستتبعه.
  3. ابحث عن قسم «*» بحجب شامل، وتأكد من أنه لا يطال أبل دون قصد.
  4. تأكد أن مجلدات CSS وجافاسكربت التي تحتاجها الصفحات العامة غير محجوبة.
  5. قرر بشكل منفصل موقفك من Applebot-Extended.

أسئلة شائعة

هل أحتاج إلى قسم خاص لـ Applebot؟

ليس بالضرورة. إن كانت قواعد Googlebot مناسبة لك، فأبل تتبعها عند غياب ذكرها. القسم الخاص مفيد إن أردت قواعد مختلفة.

هل حجب Applebot-Extended يخفي موقعي من Siri؟

بحسب أبل، لا. محتواك يبقى قابلاً للاكتشاف عبر Spotlight وSiri وSafari ما دام Applebot نفسه مسموحاً.

هل يفيد crawl-delay لتخفيف زحف أبل؟

لا. أبل تذكر أن Applebot لا يتبع crawl-delay، ويضبط معدله تلقائياً عند بطء الموقع.

كيف أتأكد أن الزائر هو Applebot الحقيقي؟

بالتحقق من DNS العكسي ضمن applebot.apple.com أو بمطابقة العنوان مع قائمة النطاقات التي تنشرها أبل.

إذا أردت أن يجدك مستخدمو آيفون في Spotlight وSiri كما يجدونك في جوجل، راسلنا لنراجع ملف robots.txt وإعدادات موقعك.

المصادر

WhatsAppاحجز مكالمة