منشئ ملف Robots.txt

أنشئ ملف robots.txt للتحكم في كيفية زحف محركات البحث لموقعك

إعدادات الروبوت

وكيل المستخدم

المسارات المحظورة (Disallow)

إضافة سريعة:

المسارات المسموحة (Allow) (اختياري)

تأخير الزحف (بالثواني) (اختياري)

رابط خريطة الموقع

User-agent: *
Disallow: /admin/
Disallow: /private/

قم بتحميل الملف وضعه في المجلد الرئيسي لموقعك (root directory) حتى يكون متاحاً على example.com/robots.txt