دقق أذونات الزاحف الخاص بك وتحكم في كشط بيانات الذكاء الاصطناعي - مجانًا.
في عصر الذكاء الاصطناعي التوليدي، يعد ملف robots.txt الخاص بك أهم مستند أمني على خادمك. إنه البوابة التي تخبر Googlebot "مرحبًا" وتخبر GPTBot (OpenAI) أو CCBot (Common Crawl) ما إذا كان مسموحًا لهما باستيعاب المحتوى الخاص بك لتدريب نماذجهما.
مدقق Robots.txt من MultiLipi هو أداة هندسية مجانية مصممة لتدقيق قواعد الأذونات الخاصة بك. إنه يضمن أنك لا تمنع حركة مرور تحسين محركات البحث عن غير قصد أثناء التحقق من موقفك بشأن وكلاء كشط الذكاء الاصطناعي.
"حلقة الأمان" الأساسية
رؤية محركات البحث مقابل خصوصية الذكاء الاصطناعي.
خطأ نحوي واحد في هذا الملف يمكن أن يتسبب في إزالة موقعك بالكامل من فهرس جوجل. وعلى العكس، قد تسمح قاعدة مفقودة لشركات الذكاء الاصطناعي بكشط أرشيف مدونتك بالكامل دون تعويض.
مخاطر تحسين محركات البحث
حظر Googlebot أو Bingbot يدمر زياراتك.
مخاطر الذكاء الاصطناعي
السماح لـ GPTBot أو ClaudeBot يعني أن محتواك يصبح بيانات تدريب.
التوازن
أداتنا تتحقق من أن توجيهات "السماح" و "عدم السماح" الخاصة بك صحيحة نحويًا وتستهدف الوكلاء المحددين الذين تنوي إدارتهم.
بروتوكول التدقيق
كيفية التحقق من صحة حارس البوابة الخاص بك.
لا تفترض أن أذوناتك صحيحة. تحقق منها مقابل معايير الزواحف الحية.
الوصول إلى الأداة المجانية
انتقل إلى مدقق Robots.txt.
نقطة النهاية للإدخال
أدخل النطاق الجذر الخاص بك (على سبيل المثال، https://example.com).
تنفيذ المسح
انقر فوق زر التحقق من صحة Robots.txt.
مراجعة المنطق
افحص فحص الصيغة، وتحليل خاص بالزاحف، وإمكانية الوصول.
مراجعة المنطق:
فحص الصيغة: يحدد العلامات غير الصالحة أو أخطاء المسار
تحليل خاص بالزاحف: يتحقق تحديدًا من الأذونات للوكلاء الرئيسيين مثل Googlebot و GPTBot و Bingbot و CCBot
إمكانية الوصول: يؤكد أن الملف متاح ويعيد رمز الحالة 200 OK
التحكم في الرسم البياني المعرفي
قرر من يتعلم منك.
إذا كنت ناشرًا متميزًا أو منصة SaaS، فقد ترغب في حظر برامج الزحف العامة للذكاء الاصطناعي مع إبقاء محركات البحث نشطة.
سيناريو
تريد الظهور في نتائج بحث Google ولكنك لا تريد أن يردد ChatGPT مقالاتك المدفوعة مجانًا.
الحل
استخدم المدقق للتأكد من أن User-agent: GPTBot Disallow: / قاعدتك مطبقة بشكل صحيح ومتميزة عن User-agent: * قواعدك.
خرائط مواقع متعددة اللغات
ربط البنية التحتية الخاصة بك.
ملف robots.txt الخاص بك هو أيضًا غرفة الخرائط لبرامج الزحف الخاصة بك. يجب أن يربط صراحةً بخريطة موقع XML الخاصة بك.
الفحص
تتحقق أداتنا من وجود Sitemap: https://yoursite.com/sitemap.xml توجيه.
التأثير العالمي
هذا أمر بالغ الأهمية لاكتشاف الدلائل الفرعية المحلية الخاصة بك (على سبيل المثال، /fr/, /es/). إذا لم يتمكن الزاحف من العثور على خريطة الموقع عبر robots.txt، فقد تظل صفحاتك المترجمة العميقة غير مكتشفة.