Googlebot jest obecny na stronie w około 50 sesjach. Wątpię, żeby to było możliwe. Google jako tako też postępuje ostrożnie ze swoim łączem, żeby ich bot nie zdosował jakiejś strony chcąc ją szybko zindeksować. Możliwe że kilkanaście sesji to crawlery szukające dziur XSS na stronie, podpisujące się jako Google Bot. Te boty już sobie nie szczędzą, otwierają tyle requestów ile się tylko da i spamują wszystkie możliwe formularze. Podejrzewam, że w tak dużej liczbie na pewno się jakieś kryją. Może rzucać forbidden jak się rev dnsy nie zgadzają?
0
0
Tylko zobacz jak szybko jest w google indeksowane 4p, nowy post można tam znaleźć po kilku, kilkunastu minutach.
A propos: Kiedy ostatnio pisałem na http://4programmers.net/Forum/Coyote/ widziałem, że google też tam krąży.Nie ma problemów, że szukany temat znajduje tam, a nie tu?
0
No ja wiem, ale nigdy u mnie ilość sesji google bota nie przekraczała dziesięciu, a tu jest koło pięćdziesiątki już. Zawsze warto sprawdzić, po co ma łazić świństwo po stronie i zasrywać serwer...
0
Może ilość botów jest błędnie zliczana... wczoraj widziałem swój nick wypisany podwójnie, wśród użytkowników przeglądających temat.
0
Ilosc uzytkownikow wyswietlana na glownej stronie forum, to nie ilosc wyswietlana w calym serwisie. Z moich obserwacji wynika, ze forum to 50-60% calego ruchu na stronie.
Zauwazylem, ze w godzinach porannych jest ok 100 sesji botow. Liczba ta zmniejsza i w godzinach wieczornych jest ok 400-500 userow online, w tym z 80 botow. Nie wykluczam, ze niektore z nich to jakies podszywajace sie boty, ale z tego, co sprawdzalem (wyrywkowe kontrole IP) to wszystkie IP nalezaly do Google.
0
<meta name="robots" content="noindex,nofollow" />
Tego nie widzę...
0
Jest w linku prowadzacym do cytowania atrybut rel="nofollow". To nie powinno wystarczyc?
0
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=96569 napisał(a)
How does Google handle nofollowed links?
In general, we don't follow them. This means that Google does not transfer PageRank or anchor text across these links. Essentially, using nofollow causes us to drop the target links from our overall graph of the web. However, the target pages may still appear in our index if other sites link to them without using nofollow, or if the URLs are submitted to Google in a Sitemap. Also, it's important to note that other search engines may handle nofollow in slightly different ways.
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=93710