Google Webmaster Tools
Google gibt Gas mit den Webmaster Tools. Neu gibts schöne Charts, mit denen man sieht, was der Crawler denn so macht auf der eigenen Site. Konkret:
- Anzahl der täglich gecrawlten Seiten
- Täglich heruntergeladene Datenmenge in KB
- Dauer des Herunterladens einer Seite (in Millisekunden)
Erstaunt hat mich die erste Zahl, welche bei einem Kundenprojekt bei 700 liegt. Hätte nicht gedacht, dass Google täglich soviele Seiten holt. Ist aber auch eine Site mit sehr vielen Seiten.
In diesem Zusammenhang bin ich auf den Google Image Labeler gestossen. Offenbar kommt Google auch von der Idee ab, sämtliche Daten automatisch klassifizieren zu können.
