Robots:
Weisen Sie den Robot an, sämtlichen Links zu folgen. So werden nach und nach alle Ihre Seiten in den Suchindex aufgenommen, ohne das Sie etwas dafür tun müssen.
Der folgende Tag sorgt dafür, dass nur die angemeldete Seite indiziert wird. Der Robot folgt nicht den Links, um weitere Seiten zu untersuchen.
Mit Hilfe einer Variante können Sie dem Spider mitteilen, dass er bestimmte Seiten NICHT untersuchen soll. Zum Beispiel Muster- oder Testseiten oder Navigationsseiten, die Bestandteil eines Framesets sind.
Der folgende Tag verhindert, dass Seiten via Proxy Server zwischengespeichert werden. Mit "no-cache" anstelle von "private" verhindern Sie auch das Speichern im Browsercache. Vorausgesetzt der Browser spielt mit. |
Symbol.
