تالار تخصصی ابتکار متن باز

سلام

روبوتهای زیادی هستند که خزیدن آنها در سایت هیچ منفعتی در پی نداشته و منابع سایت از جمله پهنای باند و سی پی یو را مصرف می کنند.

گاهی فعالیت یک اسپایدر که هیچ منفعتی برای سایت ندارد ممکن است به اندازه 1000 نفر بازدید کننده انسانی منابع مصرف کند لذا این موضوع را جدی بگیرید.

بنده هنوز به لیست کاملی که شامل تمامی بد بوتها باشد دست نیافته ام و این در حالی است که تقریبا تمامی سایتهای معتبر جهانی را از نظر گذرانده ام لذا تصمیم گرفتم کدهایی که بد بوتها را بلاک می کنند در اینجا آرشیو کنم تا ضمن بوجود آمدن امکان مقایسه روشهای مختلف، شاید شرایطی نیز فراهم گردد که بتوان لیست نسبتا کاملی از بد بوتها را استخراج نمود.

نکته ای که در حین بررسی برخی اسپایدر ها (user agent) شخصا برایم جالب بود این است که برخی از این روبوتها متولد شده در استارت آپ ها بودند.

در روزهای آتی و در ادامه همین تاپیک کد هایی را که جهت بلوک کردن بد بوتها پیشنهاد شده را قرار خواهم داد.

                                                                                                با آرزوی بهترینها

Linkback: https://irmeta.com/meta/b2087/t18738/