مزایای robots.txt و روش ساختن آن در وب سایت

۱۳۹۲/۰۴/۰۳ ۱۹ بازدید

سایت شما بی فایده می باشد اگر توسط موتور های جستجو ایندکس نشود.اگر می خواهید در نتایج جستجو دیده شوید ، باید به موتور های جستجو دسترسی داده شود. البته بعضی از مواقع احتیاج می باشد که قسمتی از وب سایت شما مانند اسناد خصوصی و صفحات غیر مرتبط قابل دسترسی نباشند. در این مقاله شما خواهید آموخت که چگونه مدیریت دسترسی برای موتور های جستجو را از طریق robots.txt انجام دهید.

مزایای فایل robots.txt

قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم، باید نگاهی به مزایای آن بیندازیم.

1- جلوگیری از ایندکس شدن مطالب تکراری با فایل robots.txt

متن های تکراری تلاش های شما برای بهینه سازی وب سایت و نمایش در رتبه های بالای موتور های جستجو را کم رنگ خواهد کرد. استفاده از فایل robots و برچسب با مسدود کردن صفحات تکراری می تواند مشکل را برطرف کند.

2- استفاده از فایل robots.txt برای صفحات ناقص وب سایت

اگر صفحه جدیدی را در وب سایت ایجاد کرده اید که هنوز ناقص می باشد، با استفاده از فایل robots می توانید از ایندکس شدن آن صفحه در موتور های جستجو جلوگیری کنید تا زمانی که آن صفحه را کامل کنید.

3- محدود کردن موتور های جستجو برای ایندکس کردن صفحات یا فایل های محرمانه با فایل robots.txt

بعضی از وب سایت ها صفحات محرمانه ای دارند که آن را با استفاده از قرار دادن امکان login مسدود کرده اند.یک روش آسان برای مخفی کردن آن صفحات وب سایت از موتور های جستجو استفاده از فایل robots.txt می باشد.
اکنون ما می دانیم که به چه علت باید دسترسی موتور های جستجو را مدیریت کنیم.حالا زمان یاد گیری چگونگی انجام آن می باشد.

فایل robots.txt چیست ؟
خزنده ها می خواهند تا آنجایی که ممکن می باشد وب سایت را ایندکس کنند ، مگر آنکه شما به آنها مطالبی را اطلاع بدهید.
زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.

با ایجاد فایل robots.txt شما می توانید از دسترسی موتور های جستجو به برخی از قسمت های وب سایتتان جلوگیری کنید.
فایل robots.txt در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا" چندین بار آن را چک کنید .احیانا" ممکن است سهوا" دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.

روش ساخت و ایجاد فایل robots.txt برای وب سایت

Robots.txt یک فایل متنی ساده می باشد با چند رکورد.
هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agent: مشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.
بخش disallow: مشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.

جدیدترین مقالات