# Globale robots.txt für server-daten.de und alle Subdomains # Jürgen Auer, www.server-daten.de, www.sql-und-xml.de, 2005/12/13 # Hinweise für Kunden: # Die zunächst unter datenbank-name.server-daten.de angezeigte Seite # ist per robots noindex/nofollow für Suchmaschinen blockiert. # Wird eine eigene Ausgabeseite index.html erstellt, so wird diese # mit index/follow ausgeliefert. # Beachten Sie allerdings, daß Sie bei einer eigenen Ausgabeseite # entweder auf die Links zu /admin/ und /confirm/ verzichten oder diese # selbst einfügen müssen. # standardmäßig ist der Zugriff für Suchmaschinen erlaubt # Blockiert werden /admin/ für den internen Zugang, /confirm/ zur Schlüsselbestätigung # sowie - für gesperrte Daten der Kunden - /internal/. # Wenn Sie Daten für Standard-Suchmaschinen sperren möchten, so verschieben Sie # diese in den Ordner /internal/ # Falls Sie Testdaten erstellen möchten, können Sie das virtuelle /temp/-Verzeichnis nutzen. # Ergänzender Hinweis: Die robots.txt ist für alle Kunden einheitlich und entspricht # der robots.txt für www.server-daten.de User-agent: * Allow: / Allow: /forumsthread.html?myParam Disallow: /admin/ Disallow: /confirm/ Disallow: /temp/ Disallow: /internal/ Disallow: /tables/ Disallow: /views/ Disallow: /queries/ Disallow: /forumsthread.html?action=sample-output- Disallow: /forumsthread.html?action=sample-input-new Disallow: /*?action=reset # User-agent: Googlebot