تالار تخصصی ابتکار متن باز

سلام

از آنجا که اطلاعات مختلف یک سایت از طریق روبوتها جمع آوری و در سایت مقصد مورد استفاده قرار می گیرد به نظرم مفید رسید برخی رباتها (spider)  ها را بیشتر بشناسیم.

سعی می کنیم در هر ارسال یک روبوت را معرفی کنیم.

                                                                                                                  با آرزوی بهترینها



Linkback: https://irmeta.com/meta/b2087/t18746/

یاندکس Yandex

با تجدید احترام

روبوت دیگری که می خواهم خدمت شما معرفی کنم Yandex است. (به روسی Яндекс )
این روبوت محصول یک شرکت فناوری اطلاعات در روسیه است که بزرگترین و اصلی ترین موتور جستجوی این کشور است و البته خدمات و محصولات دیگری نیز دارد.

در حقیقت همه کشورها مانند ایران نیستند که برای جستجوی نیازمندی هایشان، تنها انتخاب موثرشان گوگل باشد. در ارسال قبل عرض کردم موتور جستجوی کشور چین نیز baidu.com است و در ادامه گفتنی است که موتور جستجوی کشور روسیه هم
است.

همانطور که عرض کردم yandex.ru بزرگترین موتور جستجوی روسیه و محبوبترین سایت این کشور و هشتمین موتور جستجوی جهان است.

بنابراین این روبوت سایت را می خزد و آنرا کاوش می کند تا اطلاعات را از سایت شما جمع آوری کرده و برای جستجو گران و مخاطبان سایت yandex.ru نمایش دهد. پر واضح است مردم روسیه، زبان پارسی را نمی دانند و خزیدن روبوتهای یاندکس در سایت های ایرانی در عین اینکه بی فایده خواهد بود دارای ضرر و خسارت نیز هست چرا که منابع سایت از جمله پهنای باند و سی پی یوی شما را مصرف خواهد کرد در حالیکه شما هزینه آنرا می پردازید و نتیجه ای عاید شما نخواهد شد.
البته این زیان صرفا به مسائل مالی محدود نمی شود چرا که در صورت محدودیت منابع شما طبیعتا عرصه برای خزیدن اسپایدارهای گوگل تنگ تر شده و همینطور مشمول کاهش سرعت برای بازدید کنندگان انسانی خواهید بود.

در ادامه به معرفی User-Agent این اسپایدر می پردازم.
می توانبد فعالیت این روبوت را در لوگ خود به در قالب چنین رشته عبارتی ملاحظه بفرمایید

به جای سه نقطه ... روبوتهای مختلف Yandex را خواهید دید. جا دارد ربوتهای مختلف Yandex را معرفی کنم

روبوت اصلی                                      Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
ایندکس کننده تصاویر                           Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
ایندکس کننده ویدوئو                           Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)
ایندکس کننده اطلاعات چند رسانه ای    Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)
جستجو کننده در بلاگها و ایندکس کننده پستها و کامنتهای آنها    Mozilla/5.0 (compatible; YandexBlogs/0.99; robot +http://yandex.com/bots)
ایندکس کننده فروشگاه ها    Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots)
جستجوی کننده آیکون نمادین             Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
روبوتی برای هدایت یک پیچ به سمت وبمستر یاندکس    Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)
روبوت برای سرویس موبایلی    Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)
ربوت فعال در سولوشنهای تبلیغاتی    Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
روبوت برای مطالب خبری    Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots)

و مواردی دیگری که در حوصله این ارسال نمی گنجد

    Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)
    Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots)
    Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)
    Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots)
    Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
    Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots)

خوب، این مطلبم طولانی شد
 در پایان عرض کنم برای بلاک کردن همه این روبوت ها چند راه وجود دارد که راه استاندارد آن استفاده از کد زیر است.


                                                                                                                           موفق باشید - التماس دعا

TurnitinBot

TurnitinBot نیز روبوت دیگری است که ممکن است سایت شما را بخزد.
وظیفه این روبوت جمع آوری و ثبت و ضبط اطلاعات علمی و مقالات دانشجویی برای ارزیابی و بررسی اصالت و تشخیص منابع،کمک به دانش آموزان و دانشجویان در آموزش بهتر و ارتقاء مقالات و جلوگیری از موازی کاری و سرقت ادبی توسط فعالان Turnitin است که بصورت انلاین در سایت Turnitin - Originality Check, Online Grading & Peer Review  مشغول هستند.

بیش از 15،000 موسسه در 140 کشور دنیا در این مرکز، مشغول مدیریت، ارسال، پیگیری و ارزیابی مقالات دانشجویی ارجاع شده هستند.
سایت Turnitin - Originality Check, Online Grading & Peer Review به عنوان یک مرجع و رهبر جهانی در این حوزه شناخته شده است و فعالیت در این نهاد در سه قالب

• دانش آموز یا دانشجو
• معلم و استاد
• آموزشیار

امکان پذیر است .

از جهتی در صورتی که سایت هدف برای این روبوت یک سایت علمی و تخصصی باشد به نوعی خزیدن این روبوت در این سایت می تواند یک نعمت و خوش شانسی محسوب شود چرا که اگر مقالات دانشجویان کپی برداری از این سایت باشد ای مساله برای اساتید Turnitin - Originality Check, Online Grading & Peer Review قابل کشف خواهد شد.

به هر حال اگر سایت شما در حوزه علمی فعالیت نمی کند و یا شما به هر دلیلی از جمله کمبود منابع سرور، علاقه مند نیستید این روبوت در سایت شما بخزد می توانید با دستور زیر آنرا محدود نمایید.


در ضمن رنج آی پی های این روبوت نیز به این ترتیب است

اگر با وجودیکه این روبوت را در robots.txt محدود کرده اید اما دیدید که همچنان به خزیدن خود ادامه می دهد به این دلیل است که یک کپی از این فایل را کش کرده و بر اساس آن رفتار می کند.
در نسخه 1.4 یعنی Turnitinbot/1.4 و پایینتر هر 48 ساعت و در نسخه 1.5 - Turnitinbot/1.5 به بعد هر 12 ساعت بازبینی صورت می گیرد.
مشابه همین موضوع را در مورد اسپایدر بایدو نیز اشاره کردم.

                                                                                                                                            خرم باشید و شادمان

Riddler

درباره این ربات:
Riddler یک پروژه تحقیقاتی آنلاین است که الگوریتم ها را برای نقشه برداری از توپولوژی اینترنت بررسی می کند. Riddler می خزد تا اطلاعاتی عمومی را در مورد سیستمهای عمومی و تهیه نقشه پورتهای مشترک جمع آوری نماید.

چگونه مانع بازدید Riddler از سایت شویم:
رفتار Riddlerbot که عنکبوت Riddler است رفتار این اسپایدر مطابق  robots.txt بوده و از آن تبعیت می کند.
با استفاده دستور زیر می توان مانع خزش این ربات شد.

مواردی از جمله Politeness (ادب) - فرکانس و سرعت خزش (rate)، تبعیت از robots.txt و هدف خزش از مواردی هستند که در مورد هر روبوت مورد بررسی قرار می گیرد.

عموما اینگونه است که این روبوت هر چند ثانیه یکبار یک صفحه را می خزد و رعایت این امر به معنای ادب (Politeness) یک عنکبوت است اما گاهی ممکن است یک صفحه به طور کامل دانلود نشود و عنکبوت بایستد و مجددا شروع به خزیدن همان صفحه نماید.
تاکید شده که این روبوت فقط یک کپی از هر صفحه را دانلود می کند. ظاهرا این ربات به ادب لازمه در بین اسپایدرها توجه دارد.

این عنکبوت به گونه ای طراحی شده است که در ماشینهای مختلف در شبکه توزیع می شود تا کارایی و عملکرد و همچنین گستردگی توزیع خود را در قالب رشد وب بهبود ببخشد (improve performance and scale) که عنکبوتهای این روبوت به منظور کاهش استفاده از پهنای باند شما در ماشینهایی نزدیک به سایت شما که ایندکس شده اند اقدام به خزیدن می کنند.
هدف این ربات کاهش مصرف پهنای باند است.

به هر حال چنانچه شما دارای کمبود منابع هستید می توانید با دستوری که در بالا گفته شد برای این عنکبوت محدودیت ایجاد نمایید.

                                                                                                                               با آرزوی بهترینها