Roboty internetowe

Jakie pliki trzeba stworzyć w podkatalogach, aby roboty internetowe nie buszowały w twoich katalagoch ?

.htaccess z KrasnalServ napisał(a)

#------ Blokowanie wszelkiego rodzaju szukaczy i robotów !------------
RewriteEngine on

#RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)

RewriteCond %{HTTP_USER_AGENT} ^arachnofilia* [OR]
RewriteCond %{HTTP_USER_AGENT} ^aspseek* [OR]
RewriteCond %{HTTP_USER_AGENT} ^bot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^check* [OR]
(...)
RewriteCond %{HTTP_USER_AGENT} ^Szukacz/1.5.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zyborg/1.0.*
RewriteRule ^.*$ http://www.nsa.gov [L]

robots.txt z coyote napisał(a)

User-agent: *
Disallow: /add_article.php
Disallow: /add_comment.php
Disallow: /add_news.php
Disallow: /add_tip.php
Disallow: /upload.php
Disallow: /rate.php
Disallow: /account
Disallow: /cgi-bin
Disallow: /wiki
Disallow: /profile.php

Dodam od siebie jeszcze tyle, ze czasami roboty sieciowe olewaja plik robots.txt, wiec pierwszy sposob jest lepszy jezeli masz dostep do .htaccess.