با درود
سوال این است که چرا باید مانع ایندکس شدن برخی صفحات توسط موتورهای جستجو شویم یا اینکه پس از ایندکس شدن آنها را حذف نماییم؟
می توان به چند دلیل اشاره کرد
1- معمولا سیستمهای مدیریت محتوا برای یک مطلب یا یک صفحه، چند لینک می سازند بنابراین لازم است فقط یک لینک ایندکس شود تا رتبه و رنک آن صفحه کاهش نیابد
برای درک بهتر مطلب مثالی می زنم
فرض کنیم سیستم مدیریت محتوای شما جوملاست و با این فرض یک صفحه خود را در نظر بگیرید ممکن است برای همین یک صفحه لینکهای زیر را داشته باشید
index.php?option=com_content&view=featured index.php?option=com_content&Itemid=100&view=featured
مثال دوم برای صفحه ای دیگر
index.php?option=com_component&tab=namecomponentTab&user=450 index.php?option=com_component&Itemid=200&tab=namecomponent&task=userProfile&user=450
در این مثالها 2 URL برای هر مطلب وجود دارد البته ممکن است برای یک مطلب، URL های بیشتری داشته باشیم که این مساله در صورت بیریج افزونه های مختلف بسیار محتمل خواهد بود یا اینکه یک صفحه در حالت پرینتی، pdf ، rss ، tmpl ، atom ، feed ، raw، لینک همراه با متغیر سیشن Session یا لینک همراه یا یک متغیر ایمیلی ، لینک به همراه فوت سایزها یا بر اساس اشتباه ما دارای .html یا بدون آن و مواردی دیگر هم در دسترس باشد.
بررسی مثال اول
در URL دوم عبارت Itemid=100& وجود دارد در حالیکه در لینک اول چنین چیزی را مشاهده نمی کنیم . در جوملا معمولا از متغیر Itemid= برای ساختن لینک منو استفاده می شود بنابراین یکی از لینکهای ما دارای متغیر منو و دیگری فاقد چنین متغیری است.
توجه داشته باشید در سایتهای جوملایی دو لینک آورده شده در مثال اول مربوط به صفحه اول سایت هستند یعنی صفحه اول ما دارای 3 لینک است که لینک سوم را به این صورت نشان می دهیم
/
البته در این مثال جایز نیست از robots.txt استفاده شود و صرفا جهت توضیح وجود چند لینک برای یک صفحه از این مثال استفاده شد.
همانطور که ملاحظه می فرمایید لینکها در مثال دوم نیز تفاوتهایی دارند برای مثال یکی متغیر Itemid به مربوط به منو است را ندارد و یکی دیگر دارای متغیر task است.
در اینجا یکی از راههای پیش رو این است که ما فرمت یکی از لینکهای غیر ضروری را از دسترس موتورهای جستجو با استفاده از دستورات robots.txt محدود کنیم.
در ارسال به دلایل دیگری برای استفاده از robots.txt اشاره خواهم نمود.
موفق باشید
2 سپاس