KI-Crawling der eigenen Webseite verbieten

Webseite für KI-Crawling unterbinden

Künstliche Intelligenzmodelle wie Bard, aber auch ChatGPT speisen die Informationen, die sie verarbeiten, aus der Vielzahl an Webseiten, die im Internet öffentlich zugänglich sind. Ohne diese riesige Datenmenge könnten die KI-Softwares nicht so gute Ergebnisse liefern. Nicht jedem Webseitenbetreiber gefällt das auch, wenn sein Content für die profitorientierte Nutzung durch KIs verwendet wird. Tatsächlich gibt es glücklicherweise Wege, um den KI-Crawlern das Durchsuchen der Webseite und damit auch das Nutzen der Inhalte zu verbieten.

Google gesteht Webseiten Privatsphäre zu

Neben den immer zahlreicheren Playern, die KI-Softwares anbieten, hat auch der Suchmaschinengigant Google seine eigenen KI-Modelle namens Bard und Vertex AI ausgerollt. Während Bard als sprachbasierte KI mit ChatGPT vergleichbar ist, handelt es sich bei Vertex AI um eine leistungsfähige Machine-Learning Software. Beide Softwares beziehen ihre Informationen aus den Webseiten im Internet. Google will den Webseitenbetreibern jedoch auch ein gewisses Maß an Privatsphäre hinsichtlich des KI Crawlings zugestehen. Daher hat Google vor einiger Zeit eine Methode vorgestellt, mit der Webseitenbetreiber dem Crawler anzeigen können, dass ihr Content nicht für KI-Systeme genutzt werden soll.

KI aussperren in der robots.txt-Datei

Der sogenannte Disallow-Parameter wird über die Datei robots.txt eingerichtet. Mit einer entsprechenden Regelung weiß Googles Crawler Bescheid, dass die Informationen auf der Webseite nur für die reguläre Suchindexierung herangezogen werden sollen, nicht aber für das Training von KI-Modellen. Auf diese Weise will Google Webmastern die Kontrolle über ihre Inhalte geben. Auch für andere KI-Systeme wie ChatGPT können Disallow-Parameter in der Datei robots.txt hinterlegt werden. In letzter Zeit wurde bekannt, dass vor allem News-Magazine und Onlinezeitungen das Crawling kritisch sehen und dieses daher unterbinden. Kürzlich wurde bekannt, dass die mächtige New York Times sogar eine gerichtliche Klage anstrengen möchte, da die Zeitung vermutet, dass KI-Anbieter auf Kosten der NYT Profit aus den unzähligen Zeitungsbeiträgen schlagen, die online zur Verfügung stehen.

Sie wollen die volle Kontrolle über Ihre Webseiteninhalte behalten und Ihre Webseiten-Einstellungen hinsichtlich KI-Crawling überprüfen? Kontaktieren Sie uns gleich für einen kostenlosen Beratungstermin dazu.

Neuigkeiten per E-Mail erhalten

Fast täglich gibt es Neues, Faszinierendes rund um’s Online-Marketing, neueste Technologien und mehr zu berichten – und mit der Werbeagentur pinzweb.at GmbH & Co KG sind Sie natürlich immer live dabei!

Diese Webseite verwendet Cookies
Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien anbieten zu können und die Zugriffe auf unsere Webseite zu analysieren. Außerdem geben wir Informationen zu Ihrer Verwendung unserer Webseite an unsere Partner für soziale Medien, Werbung und Analysen weiter. Unsere Partner führen diese Informationen möglicherweise mit weiteren Daten zusammen, die Sie Ihnen bereitgestellt haben oder die im Rahmen Ihrer Nutzung der Dienste gesammelt haben.

Datenschutz
Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.

Unbedingt notwendige Cookies
Unbedingt notwendige Cookies sollten jederzeit aktiviert sein, damit wir deine Einstellungen für die Cookie-Einstellungen speichern können.

Marketing & Statistik
Diese Website verwendet Google Analytics, um anonyme Informationen wie die Anzahl der Besucher der Website und die beliebtesten Seiten zu sammeln. Diesen Cookie aktiviert zu lassen, hilft uns, unsere Website zu verbessern.

Google Tag Manager
Dies ist ein Tag-Management-System. Über den Google Tag Manager können Tags zentral über eine Benutzeroberfläche eingebunden werden. Tags sind kleine Codeabschnitte, die Aktivitätenverfolgen können. Über den Google Tag Manager werden Scriptcodes anderer Tools eingebunden. Der Tag Manager ermöglicht es zu steuern, wann ein bestimmtes Tag ausgelöst wird.