W pliku robots.txt jest:
User-agent: *
Disallow: /
A google dziarsko sobie czmycha po serwisie i olewa to, ze tego nie chce ;)
Inna sytuacja: w profilu w google, mozna okreslic jakie parametry w GET maja byc przez robota olewane. Sytuacja taka sama jak powyzej: widze, ze mimo tego, zamiast ignorowac URLe z danymi parametrami GET - indeksuje te strony.
Pozalilem sie. Dziekuje. ;)
Google traktuje wszystkie "zastrzeżenia" jako swojego rodzaju sugestię... i tylko sugestię...
A może chociaż w wynikach wyszukiwania tych stron nie umieszcza... Zawsze dałoby się to jakoś obejść np. w apachu zblacklistować Kalifornie.
Cos tam indeksuje, ale przyznaje, ze jezeli brac pod uwage czas jaki googlebot spedza na stronie, to wynikow za duzo nie ma. Banowanie po IP/user-agent to juz ostatecznosc, ale jezeli komus bardzo zalezy to jest najpewniejsze wyjscie :)
Spróbuj jeszcze <meta name="robots" content="noindex, nofollow" />
, to nawet nie powinien czmychać po serwisie w takim wypadku (nofollow).
Nadla nie dziala, co mozna zaobserwowac chociazby tutaj: http://coyote.boduch.net/demo/Forum
robots.txt jest, meta rowniez.
No nic, az takie istotne to nie jest, taka ciekawostka.