أبعاد خفية في معيار استبعاد الروبوتات

معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات (بالإنجليزية: Robots exclusion standard أو robots exclusion protocol أو ببساطة robots.txt) وهو معيار يستخدم بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستخدم بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع