Robots.txt
robots.txt هو ملف نصي يوضع في الدليل الجذري لموقع إلكتروني يوجه زاحفي محركات البحث إلى الصفحات أو الملفات التي يسمح لهم أو يمنعون من طلبها. إنه خط الدفاع الأول في التحكم في كيفية تفاعل الروبوتات مع بنية الموقع التحتية ويساعد في تحسين ميزانية الزحف.
توجيه الروبوتات إلى أفضل محتوى لديك
تخصص جوجل ميزانية محدودة ل "الزحف" لموقعك—وهو عدد الصفحات التي ستقوم روبوتاتها بتزحفها يوميا. إذا أضاعت الروبوتات وقتها في الزحف على لوحات المسؤولين، أو تكرار الصفحات السهلة للطباعة، أو روابط السلالة/الاستعلام، فقد تفوت صفحات المنتجات المترجمة القيمة الخاصة بك. robots.txt يقول للروبوتات: "لا تضيعوا وقتكم على /admin/، ركزوا على /en/، /fr/، /de/ بدلا من ذلك." بالنسبة للمواقع الدولية، يجب منع الزحف على صفحات إعادة التوجيه الخاصة بالكشف التلقائي عن اللغة، ونقاط نهاية API، وأي روابط تقنية لا تحتاج إلى فهرسة. ومع ذلك، لا تحظر أدلة لغاتك عن طريق الخطأ — فهذا خطأ كارثي يقتل كل تحسين محركات البحث الدولية.
السماح أو منع الوصول إلى الزحف
تأثير واقعي
الموقع لا يحتوي على robots.txt، والروبوتات تزحف على 10,000 رابط كارت
زحف الميزانية هدرت، صفحات المنتجات تزحف ببطء
المنتجات الجديدة تستغرق أسابيع لتظهر في البحث
إضافة robots.txt: عدم السماح ب/cart/، /checkout/، /api/
تركز الروبوتات بنسبة 100٪ على صفحات المنتجات واللغة
المنتجات الجديدة مفهرسة خلال 24 ساعة