Meta-Tags zur Anweisung von Such-Bots

Direkt von Google:

Meta-Tags sind eine großartige Möglichkeit für Webmaster, Suchmaschinen Informationen über ihre Websites zur Verfügung zu stellen. Meta-Tags können verwendet werden, um Informationen für verschiedenste Clients bereitzustellen, und jedes System verarbeitet nur die Meta-Tags, die es versteht, und ignoriert den Rest.

Wenn Sie alle Suchmaschinen vollständig blockieren möchten

<meta name="robots" content="noindex, nofollow">
<!-- or -->
<meta name="robots" content="none">
<!-- or if you only care about Google... -->
<meta name="googlebot" content="noindex, nofollow">

Warum?

Vielleicht ist es eine etwas private URL auf Ihrer Website, aber nicht so geschützt, dass ein Such-Bot sie nicht sehen könnte. Wenn eine Seite beispielsweise einen Login erfordert, ist diese sowieso von einem Such-Bot blockiert. Aber wenn es sich nur um eine verschleierte URL handelt, wer weiß, wie Such-Bots dorthin gelangen, also möchten Sie vielleicht die Indizierung verhindern.

Suchergebnisse sind eine weitere gängige Sache. Seltsam, wenn ein Suchergebnis Suchergebnisse sind, vielleicht. WordPress-Themes neigen dazu, dies einzuschließen.

<?php if (is_search()) { ?>
  <meta name="robots" content="noindex, nofollow">
<?php } ?>

Ich würde das vielleicht ein wenig ändern und Bots sagen, hey, ihr könnt Links hier folgen, um die Indizierung der Website fortzusetzen, aber indiziert diese Seite nicht speziell.

<meta name="robots" content="noindex, follow">

Andere

Suchmaschinen verwenden tendenziell das Beschreibungstag für Textinhalte neben dem <title>

<meta name="description" content="A description of the page" />

Siehe die Google-Seite für andere Google-spezifische Tags wie die Möglichkeit, Google-spezifische UI-Elemente wie die „Site-Link-Suchbox“ zu stoppen.