Google stellt Meta-Tags im Head-Bereich um
Vor einigen Monaten führte Google einige neue Link-Attribute als Unterstützung des klassischen „Nofollow“-Hinweises ein. So weist „Sponsored“ auf gekaufte Links und „UGC“ auf von Nutzern generierte Inhalte („user-generated content“) hin. Seither gilt „Nofollow“ nicht mehr als definitives be all, end all für Crawler, sondern lediglich als Hinweis. Was vielerorts übersehen wurde: Bei dieser Gelegenheit nahm Google auch gleich Änderungen an den Meta-Tags im Head-Bereich vor. Hier geht es „Nofollow“ ebenfalls an den Kragen.
Wie bei den Link-Attributen
Bislang hielt ein „Nofollow“ in den Meta-Tags den Crawler vom Indexieren der entsprechend hinterlegten Seiten ab. In einem Tweet stellte Gary Illyes vom Webmaster-Trends-Team nun allerdings klar, dass dieses Attribut, wie bei den Links, nunmehr ebenfalls als reiner Hinweis gesehen würde. Auch ein „Noindex“ kann das Crawling nicht abwenden. Zwar verhindert dieses Attribut die Aufnahme von Inhalten in den Suchindex, untersucht werden diese aber dennoch. Somit arbeitet Google, wenn man so will, mit zwei Content-Pools für die Ranking-Erstellung – einem indexierten, durchsuchbaren Bereich sowie einem internen, erweiterten Pool, der einzig der Suchmaschinentechnik bekannt ist.
Crawling verhindern mit robots.txt
Keine Sorge, das Crawling von Seiten, Dokumenten und sogar ganzen Menüpunkten lässt sich weiterhin verhindern. Entsprechende Hinweise wollen künftig direkt in der robots.txt hinterlegt werden. Durch den richtigen Einsatz des Attributs „Disallow“ werden die Crawler auch künftig ignorieren, was ignoriert werden soll.
Die pinzweb Werbeagentur bringt Licht in das Attribut-Dunkel. Wir sorgen dafür, dass jeder Bereich Ihrer Website wunschgemäß gecrawlt wird und übernehmen auf Anfrage sogar die gesamte technische sowie inhaltliche Betreuung. Wir laden Sie gerne zu einem kostenlosen Erstgespräch ein.
