Robots.txt
ملف robots.txt هو ملف نصي يتم وضعه في الدليل الجذر للموقع الإلكتروني يوجه زواحف محركات البحث بشأن الصفحات أو الملفات المسموح لها أو غير المسموح لها بطلبها. إنه خط الدفاع الأول في التحكم في كيفية تفاعل الروبوتات مع البنية التحتية لموقعك ويساعد في تحسين ميزانية الزحف.
توجيه الروبوتات إلى أفضل محتوى لديك
تخصص جوجل "ميزانية زحف" محدودة لموقعك - وهو عدد الصفحات التي ستزحفها روبوتاتها يوميًا. إذا أضاعت الروبوتات وقتها في زحف لوحات الإدارة، أو صفحات قابلة للطباعة مكررة، أو عناوين URL للسلة/الدفع، فقد تفوتها صفحات منتجاتك المترجمة القيمة. يخبر ملف robots.txt الروبوتات "لا تضيع الوقت في /admin/، ركز على /en/، /fr/، /de/ بدلاً من ذلك." بالنسبة للمواقع الدولية، يجب عليك منع الروبوتات من زحف صفحات إعادة التوجيه للكشف التلقائي عن اللغة، ونقاط نهاية واجهة برمجة التطبيقات (API)، وأي عناوين URL تقنية لا تحتاج إلى فهرستها. ومع ذلك، لا تقم أبدًا بحظر أدلة لغتك عن طريق الخطأ - فهذا خطأ كارثي يقضي على كل تحسينات محركات البحث الدولية.
السماح مقابل منع الوصول للزحف
تأثير العالم الحقيقي
الموقع لا يحتوي على robots.txt، الروبوتات تزحف إلى 10000 عنوان URL للسلة
ميزانية الزحف مهدرة، صفحات المنتجات تزحف ببطء
تستغرق المنتجات الجديدة أسابيع لتظهر في البحث
إضافة robots.txt: منع /cart/, /checkout/, /api/
تركز الروبوتات بنسبة 100% على صفحات المنتجات واللغة
منتجات جديدة مفهرسة في غضون 24 ساعة