KI-Crawling der eigenen Webseite verbieten

Webseite fĂŒr KI-Crawling unterbinden

KĂŒnstliche Intelligenzmodelle wie Bard, aber auch ChatGPT speisen die Informationen, die sie verarbeiten, aus der Vielzahl an Webseiten, die im Internet öffentlich zugĂ€nglich sind. Ohne diese riesige Datenmenge könnten die KI-Softwares nicht so gute Ergebnisse liefern. Nicht jedem Webseitenbetreiber gefĂ€llt das auch, wenn sein Content fĂŒr die profitorientierte Nutzung durch KIs verwendet wird. TatsĂ€chlich gibt es glĂŒcklicherweise Wege, um den KI-Crawlern das Durchsuchen der Webseite und damit auch das Nutzen der Inhalte zu verbieten.

Google gesteht Webseiten PrivatsphÀre zu

Neben den immer zahlreicheren Playern, die KI-Softwares anbieten, hat auch der Suchmaschinengigant Google seine eigenen KI-Modelle namens Bard und Vertex AI ausgerollt. WĂ€hrend Bard als sprachbasierte KI mit ChatGPT vergleichbar ist, handelt es sich bei Vertex AI um eine leistungsfĂ€hige Machine-Learning Software. Beide Softwares beziehen ihre Informationen aus den Webseiten im Internet. Google will den Webseitenbetreibern jedoch auch ein gewisses Maß an PrivatsphĂ€re hinsichtlich des KI Crawlings zugestehen. Daher hat Google vor einiger Zeit eine Methode vorgestellt, mit der Webseitenbetreiber dem Crawler anzeigen können, dass ihr Content nicht fĂŒr KI-Systeme genutzt werden soll.

KI aussperren in der robots.txt-Datei

Der sogenannte Disallow-Parameter wird ĂŒber die Datei robots.txt eingerichtet. Mit einer entsprechenden Regelung weiß Googles Crawler Bescheid, dass die Informationen auf der Webseite nur fĂŒr die regulĂ€re Suchindexierung herangezogen werden sollen, nicht aber fĂŒr das Training von KI-Modellen. Auf diese Weise will Google Webmastern die Kontrolle ĂŒber ihre Inhalte geben. Auch fĂŒr andere KI-Systeme wie ChatGPT können Disallow-Parameter in der Datei robots.txt hinterlegt werden. In letzter Zeit wurde bekannt, dass vor allem News-Magazine und Onlinezeitungen das Crawling kritisch sehen und dieses daher unterbinden. KĂŒrzlich wurde bekannt, dass die mĂ€chtige New York Times sogar eine gerichtliche Klage anstrengen möchte, da die Zeitung vermutet, dass KI-Anbieter auf Kosten der NYT Profit aus den unzĂ€hligen ZeitungsbeitrĂ€gen schlagen, die online zur VerfĂŒgung stehen.

Sie wollen die volle Kontrolle ĂŒber Ihre Webseiteninhalte behalten und Ihre Webseiten-Einstellungen hinsichtlich KI-Crawling ĂŒberprĂŒfen? Kontaktieren Sie uns gleich fĂŒr einen kostenlosen Beratungstermin dazu.

Neuigkeiten per E-Mail erhalten

Fast tĂ€glich gibt es Neues, Faszinierendes rund um’s Online-Marketing, neueste Technologien und mehr zu berichten – und mit der Werbeagentur pinzweb.at GmbH & Co KG sind Sie natĂŒrlich immer live dabei!

Diese Webseite verwendet Cookies
Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen fĂŒr soziale Medien anbieten zu können und die Zugriffe auf unsere Webseite zu analysieren. Außerdem geben wir Informationen zu Ihrer Verwendung unserer Webseite an unsere Partner fĂŒr soziale Medien, Werbung und Analysen weiter. Unsere Partner fĂŒhren diese Informationen möglicherweise mit weiteren Daten zusammen, die Sie Ihnen bereitgestellt haben oder die im Rahmen Ihrer Nutzung der Dienste gesammelt haben.

Datenschutz
Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und fĂŒhren Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurĂŒckkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website fĂŒr dich am interessantesten und nĂŒtzlichsten sind.

Unbedingt notwendige Cookies
Unbedingt notwendige Cookies sollten jederzeit aktiviert sein, damit wir deine Einstellungen fĂŒr die Cookie-Einstellungen speichern können.

Marketing & Statistik
Diese Website verwendet Google Analytics, um anonyme Informationen wie die Anzahl der Besucher der Website und die beliebtesten Seiten zu sammeln. Diesen Cookie aktiviert zu lassen, hilft uns, unsere Website zu verbessern.

Google Tag Manager
Dies ist ein Tag-Management-System. Über den Google Tag Manager können Tags zentral ĂŒber eine BenutzeroberflĂ€che eingebunden werden. Tags sind kleine Codeabschnitte, die AktivitĂ€tenverfolgen können. Über den Google Tag Manager werden Scriptcodes anderer Tools eingebunden. Der Tag Manager ermöglicht es zu steuern, wann ein bestimmtes Tag ausgelöst wird.