معيار استبعاد الروبوتات

معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات (بالإنجليزية: Robots exclusion standard أو robots exclusion protocol أو ببساطة robots.txt)‏ وهو معيار يستخدم بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستخدم بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع

نبذة تاريخية
تم اقتراح هذا المعيار بواسطة مارتن كوستر، عندما كان يعمل في نكسر ، في فبراير 1994.

حول هذا المعيار
بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم، ومحرك بحث بيدو.

أمثلة
بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي: مثال 1 يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، الويلدكارد (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات

يعطيك الف الف عافيه
موضوع رائع وجهود أروع
ننتظر مزيدكم بشوق

دائما متميز في الانتقاء
سلمت على روعه طرحك
نترقب المزيد من جديدك الرائع
دمت ودام لنا روعه مواضيعك

لكـ خالص احترامي

نقل مميز وجهد مبدع وعطاء مستمر
سلمت يمينك على ما بذلت كل الشكر لك

-





يعطيك العافيه يارب , ع الموضوع
دمت ودام ابداعك ف سما عشق ...

سلمت اناملك على الإنتقاء
دمت بسعادة بحجم السماء
لقلبك طوق الياسمين