مولّد robots.txt عبر الإنترنت – مجاني
قواعد زحف دون فخاخ الصياغة.
نظرة سريعة
- المعالجة:
- يعمل محليًا في متصفحك
- الخصوصية:
- لا يُرسل ما تكتبه إلى خادم
آخر تحديث: 2026-10-07
حالات الاستخدام الشائعة
- حماية مسارات الإدارة وواجهات البرمجة على مدونة أثناء الفهرسة
- نشر قواعد الزحف لموقع متجر جديد قبل الإطلاق
- توجيه محركات البحث إلى خريطة الموقع عند إرسال محتوى جديد
- السماح بمسارات محددة في أقسام محظورة عدا ذلك
حول هذه الأداة
فعّل القواعد الشائعة (حظر /admin و/api، والسماح بكل شيء عدا ذلك)، وأضف مسارات مخصصة، وأشر إلى خريطة موقعك وانسخ robots.txt صالحًا.
كيفية الاستخدام
- حدّد نطاقك ورابط خريطة الموقع.
- فعّل القواعد الافتراضية.
- أضف أسطر allow وdisallow مخصصة وانسخ.
نصائح عملية
- اترك القواعد الافتراضية مفعّلة لمعظم المواقع. فهي تحظر /admin و/api دون تعديل أي شيء آخر.
- أدخل الرابط الكامل لخريطة الموقع. فالمسارات النسبية لا تعمل على هذا السطر. ويستخدم السطر https://www.example.com/sitemap.xml افتراضيًا.
- استخدم خانتي Allow وDisallow المخصصتين لاستثناءات المسارات. ويُضاف كل سطر إلى المخرجات. واحذف الأسطر بالصليب.
أخطاء شائعة
- كتابة النطاق دون https:// وتوقّع رابط صالح. أدخل العنوان الكامل بالبروتوكول. وتبدأ الخانة بـ https://example.com.
- حظر الموقع كله بكتابة / في Disallow. أضف / فقط إذا أردت حظر الزحف. فالإعداد الافتراضي يسمح بالباقي.
- افتراض أن robots.txt أمان. فالروبوتات السيئة تتجاهله. احمِ الصفحات الخاصة بالمصادقة.
المقارنة
الأدوات من جانب الخادم تولّد الملف عن بُعد، ما يرسل خطة موقعك. هذه الأداة تؤلف النص في لسان تبويبك دون إرسال. تتخلى عن الملفات المشتركة وعمليات التدقيق السحابية. وتحتفظ بملف محلي سريع النسخ. ولا توجد نسخة لحذفها لاحقًا.
من الجيد معرفته
- ترتيب المخرجات ثابت. ولا يوجد فرز مخصص للقواعد.
- تغطي المخرجات مجموعة وكلاء واحدة *. ولا توجد قواعد لكل روبوت.
- حقل النطاق حر. ولا يوجد تحقق من الروابط.
الأسئلة الشائعة
هل تُرسل بياناتي؟
لا. يتم بناء robots.txt بالكامل في متصفحك — ولا يغادر شيء جهازك.
هل يخفي robots.txt الصفحات عن الناس؟
لا — فهو يخبر الروبوتات بما يمكنها زحفه؛ ولا يؤمّن شيئًا. والصفحات الخاصة تحتاج إلى مصادقة لا إلى سطر disallow.
هل أحظر /wp-admin أو /admin؟
نعم إذا كان موقعك يحتويهما — فزحف صفحات الإدارة يهدر ميزانية الزحف وقد يكشف واجهات. والقواعد الافتراضية تفعل ذلك لك.
لماذا يرفض المدقق ملف robots.txt الخاص بي؟
الأسباب الشائعة: سطر Sitemap نسبي، أو مجموعة وكلاء دون قاعدة، أو أحرف غير مرئية ملصوقة من محرر نصوص منسق. انسخ المخرجات في محرر نصوص عادي. وتستخدم مخرجات هذه الأداة مجموعة وكلاء واحدة وسطر Sitemap مطلقًا.

