الرئيسية  || الأسئلة المتكررة  || المحادثة  || بحث||
  تسجيل الدخول||  التسجيل

قائمة المنتديات » خدمة أصحاب المواقع » أمور منوعة لخدمة اصحاب المواقع

 


إرسال موضوع جديد الرد على الموضوع
الكاتب رسالة
 عنوان المشاركة: منع الbots ومحركات البحث الشريره و المضره بموقعك
مشاركةمرسل: الخميس أغسطس 20, 2009 7:52 pm | مشاركةأظهر مشاركة مفردة 

صورة العضو
مشرف سابق

اشترك في: الثلاثاء فبراير 10, 2009 5:01 pm
مشاركات: 1269
مكان: المغرب

ليست محركات البحث فقط هي الوحيده التي تملك bot او مايمسى "بالمؤرشف" فهناك bots أخرى تمسى الbots الشريره "evil bots" . ونحتاج لتعطيل دخولها لمواقعنا وذلك لسببين :



  1. انها تقوم بسرقه محتويات موقعك كالبريد الألكتروني لإستخدامه بالدعايات.
  2. إضعاف موقعك وذلك لأنها تستهلك موارد قد تكون أكثر من أي مستخدم عادي.
    1. بالتسجيل عبثاً بموقعك.
    2. التعليق بأمور دعايه وروابط لتشهير مواقع أخرى.
    3. قد يكون السبب إنتقام من صاحب الموقع.


أيضا قد يندرج تحت السبب الثاني المذكور سلفاً بعض محركات التحميل الخاصه بالبرامج المختلفه التي تقوم بتحميل موقعك كاملا لتصفحه بطريقه غير مباشره "offline" والتي يقوم بعض اصحاب مواقع الانترنت "الغبيه" بإستخدامها لنسخ محتويات موقع آخر بالظبط وبالتالي يضيع مجهود الآخر .

المشكله هنا ان ملف robots.txt لن يصبح له اي داعي لان هذا الملف لم يوضع إلا لأهداف تنظيميه ولن يحترم هذا الملف الا محركات البحث المشهوره, اما المحركات الشريره هذه فلن تلقي له بالاً ...

الحل هو المنع , بإستخدام mod_rewrite في ملف .htaccess ولأن هذه المحركات يتم معرفتها من قبل HTTP_USER_AGENT الخاص بها فإننا نستطيع منعها بأسمائها ..

قم بوضع الكود التالي في ملف نصي وقم بتسميته .htaccess وقم برفعه على موقعك :
كود:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^attach [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^Buddy [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Copier [OR]
RewriteCond %{HTTP_USER_AGENT} ^DA [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo\ Pump [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Wonder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Drip [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetSmart [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^gotit [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^Iria [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC [OR]
RewriteCond %{HTTP_USER_AGENT} ^JustView [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^lftp [OR]
RewriteCond %{HTTP_USER_AGENT} ^likse [OR]
RewriteCond %{HTTP_USER_AGENT} ^Magnet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mag-Net [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Memo [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mirror [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZip [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pump [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^Reaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Recorder [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Siphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^Snake [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpaceBison [OR]
RewriteCond %{HTTP_USER_AGENT} ^Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Vacuum [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Whacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon [OR]
RewriteCond %{HTTP_REFERER} ^[url=http://www.iaea.org$]http://www.iaea.org$[/url]
RewriteRule /*$ [url=http://www.google.com]Google[/url] [L,R]


سوف يتم تحويلها لموقع Google لو أردت موقع آخر قم بالتغيير
او تستطيع إعطاءها "خطأ 403" وهو مايعطيها رساله "دخول محظور" "Access Denied" قم بتغيير اخر سطر بـ :
كود:
RewriteRule ^.* - [F,L]


أيضا تستطيع إضافه أي bot مزعج وتستطيع رؤية سجلات الدخول "access logs" لمعرفتهن ..

لاتنسى أن بعض هذه الbots المعروضه قد تكون خاصه ببرامج التحميل لذا قم بإلقاء نظره على الbot الذي لاتعتقد انه يشكل خطراً عليك وإزالة السطر الخاص به ...

_________________
نحن هنا لنصرة الاسلام و المسلمين ، لا لنصرة أنفسنا
فمن جاء لنصرة الاسلام فقد فاز بالاجر , ومن جاء لنصرة نفسه فقد باء بالوزر .
_________________
الاسم الحقيقي : يونس حاجي
الموقع : مدونة يونس
التواصل : اتصل بنا
تاريخ اشرافي : الاحد 15 فبراير 2009
تخصصي في الحياة : طالب
تخصصك في النت : دعم فني : تركيب منتديات ، تركيب هاكات ، تركيب سكربتات ، تركيب واجهات ، تركيب ستايلات ، تركيب قواعد بيانات ، ترقية ستايلات ، نقل مواقع ..

[المكتبة الاسلامية]تغير لون ستايلات المكتبة الاسلامية مجانا

صورة

مواضيع زيارتها مهمة بالنسبة لك عميلنا الكريم :
  1. شرح خطوات حجز استضافة اسلامية مجانية لدينا
  2. [الاستضافة الاسلامية] ما المقصود بالدعم الفني المجاني ...؟؟؟
  3. اذا كنت لا ترى موقعك وتظن انه معطل .. أو ان ال IP محظور من السيرفر .. ادخل هنا قبل ان تفتح موضوع جديد
الاستضافة الاسلامية نضع العالم بين يديك

الرسائل الخاصة لتبادل البيانات فقط

اخر تحديت للتوقيع : 14/07/2009 على الساعة 15:17 GMT


          أعلى  
 
 
إرسال موضوع جديد الرد على الموضوع



المتواجدون الآن

المستخدمون المتصفحون لهذا المنتدى: لا يوجد أعضاء مسجلين متصلين و 0 زائر/زوار


عرض مشاركات سابقة منذ:  مرتبة بواسطة  
اذهب إلى:  

لا تستطيع كتابة مواضيع جديدة في هذا المنتدى
لا تستطيع كتابة ردود في هذا المنتدى
لا تستطيع تعديل مشاركاتك في هذا المنتدى
لا تستطيع حذف مشاركاتك في هذا المنتدى
لا تستطيع إرفاق ملف في هذا المنتدى



قد تضع هنا تبرعا لك عبر البي بال

Valid CSS!



Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Translated by phpBBArabia
Powered by phpBB-FOX SEO the premodded version of phpBB