دستور disallow چیست؟

پس از اینکه ربات‌های موردنظر معین شدند، وقت آن میباشد تا برایشان طراحی اپلیکیشن در مشهد امر صادر خواهد شد. فرمان disallow در معنای «اذن ندادن» میباشد. بدین ترتیب طبعاً می بایست صفحاتی را که ربات نام برده نباید کرول نماید (بخزد) را در مقابل آن نوشت. اعتنا داشته باشید که روت دامین نباید نوشته گردد و تنها پس از اسلش را بنویسید.  نکته دیگر این‌که، در حالتی‌که قصد دارید یکسری کاغذ را disallow نمایید، بایستی یک‌سری امر disallow بنویسید. به نمونه ذیل دقت نمایید:

User-agent: *

Disallow: /products/content/

Disallow: /local/enterprise/confirm

Disallow: /researchtools/ose/

Disallow: /page-strength/*

Disallow: /thumbs/*

فرمان allow

فرمان allow در معنای اذن دادن میباشد و همان گونه که در نظر گرفتن می‌زنید به ربات‌های معلوم‌گردیده اذن می دهد صفحاتی را که در مقابل این فرمان نوشته می شوند بخزند.

ولی تایپ کردن این امر ضرورتی ندارد؛ چراکه ربات‌ها به طور پیش‌فرض آحاد صفحه های وبسایت را می خزند. با این حالا بعضا وبمستران برای تأکید بر بعضی صفحه های سایتشان، از فرمان allow به کارگیری می‌نمایند. طریق استعمال از امر allow نیز دقیقاً مانند فرمان disallow میباشد.

فرمان crawl-delay

این امر میتواند بر سرعت بارگذاری صفحه ها سایتتان تاثیر بگذارد. بدین ترتیب سرعت وب سایت به جهت ورود خیل عظیم خزنده‌ها کاهش پیدا نمی‌نماید. شما میتوانید عددی را در مقابل این امر تایپ فرمایید. این عدد آرم میدهد که ربات‌های رقم خورده بایستی به آن مقدار ثانیه شکیبایی کرده و آن گاه وبسایت را بخزند. ولی دقت داشته باشید که‌این فرمان برای ربات‌های گوگل تاثیر ندارد.

فرمان sitemap

در مقابل این فرمان بایستی نشانی وب سایت مپ را وارد فرمایید. این امر نیازی به فرمان user-agent ندارد.