Cloudflare & GoDaddy stärken Webseiten gegen KI-Bots: Kontrolle & Monetarisierung

Cloudflare und GoDaddy haben eine strategische Partnerschaft bekannt gegeben, die darauf abzielt, das traditionelle Geschäftsmodell des Internets im Zeitalter der Künstlichen Intelligenz zu stärken. Diese Zusammenarbeit soll Webseitenbetreibern, insbesondere kleinen Unternehmen und Content-Erstellern, mehr Transparenz und Kontrolle darüber geben, wie KI-Bots mit ihren Inhalten interagieren. Ziel ist es, ein nachhaltiges Wirtschaftsmodell für die nächste Phase des Internets zu schaffen.

KI-Bots und das Web: Eine wachsende Herausforderung

Seit Jahrzehnten basierte das Internet auf einem einfachen System: Suchmaschinen indexierten Inhalte, Nutzer klickten auf Links, und Publisher generierten Einnahmen durch Werbung, Abonnements oder Verkäufe. Dieses Modell gerät jedoch ins Wanken, da KI-Antwort-Engines Informationen zunehmend direkt an Nutzer liefern, oft ohne diese zur ursprünglichen Quelle zurückzuleiten.

Automatisierte Crawler, betrieben von großen KI-Unternehmen wie Anthropic, OpenAI und Google, durchsuchen weite Teile des Webs, um Inhalte für Chatbot-Antworten und andere KI-Modellausgaben zu sammeln. Diese Bots senden jedoch deutlich weniger Traffic zurück als traditionelle Suchmaschinen. Für viele Publisher und kleine Unternehmen bedeutet dies sinkende Einnahmen, obwohl ihre Inhalte intensiv genutzt werden.

Strategische Partnerschaft für mehr Kontrolle

Die neue Partnerschaft zwischen Cloudflare und GoDaddy soll diesem Ungleichgewicht entgegenwirken. GoDaddy, der weltweit größte Domain-Registrar, unterstützt Millionen von Menschen bei der Verwaltung ihrer Webseiten. Cloudflare wiederum verwaltet und schützt den Traffic für etwa 20 % des Webs.

Zusammen verfügen diese Unternehmen über die Macht, die Art und Weise, wie Geschäfte online abgewickelt werden, grundlegend zu verändern. Ihr gemeinsames Ziel ist es, Identität, Vertrauen und Zugang zum "agentic open web" zu bringen, einem Web, das auch für Agenten konzipiert ist, die im Auftrag von Menschen handeln.

AI Crawl Control: Transparenz und Monetarisierung

Ab heute integriert GoDaddy Cloudflares AI Crawl Control in seine Webhosting-Plattform. Dies ermöglicht es Webseitenbetreibern weltweit, Transparenz und Kontrolle darüber zu erlangen, wie automatisierte KI-Crawler auf ihre Inhalte zugreifen.

Webseitenbesitzer können nun:

• KI-Bot-Crawlern Zugang gewähren
• Sie blockieren
• Potenziell Gebühren für den Zugang erheben

Diese Entwicklung baut auf früheren Schritten von Cloudflare auf, KI-Crawler standardmäßig zu blockieren und Tools zur Monetarisierung des Datenzugriffs für Publisher einzuführen. Das übergeordnete Ziel ist ein genehmigungsbasiertes System für das KI-gesteuerte Web, bei dem Content-Ersteller klare Kontrolle und Sichtbarkeit haben und am durch KI-Systeme geschaffenen Wert partizipieren können.

Neue Standards für die Identifizierung von KI-Agenten

Über die Kontrolle des Crawlings hinaus unterstützen die Unternehmen neue Standards zur Verifizierung der Identität von KI-Agenten und zur Erhöhung ihrer Transparenz. Ohne klare Standards und Tools birgt der Übergang zu einem "agentic web" das Risiko, Webseitenbetreiber mit unidentifizierbarem und potenziell bösartigem Bot-Traffic zu überfordern.

Zu diesen Standards gehören:

• Agent Name Service (ANS): Ein globaler offener Standard, eingeführt von GoDaddy, der konsistente Benennung, Verifizierung und Erkennung von KI-Agenten über Systeme hinweg unterstützt. ANS nutzt bewährte offene Standards wie das Domain Name System (DNS) und Public Key Infrastructure (PKI), um legitime KI-Agenten von unidentifizierten oder bösartigen Akteuren zu unterscheiden.
• Web Bot Auth: Im Jahr 2025 von Cloudflare eingeführt, ist dies eine neue Methode zur kryptografischen Verifizierung von Bot- und Agenten-Traffic.
• Signature Agent Card: Ein Tool, das Agentenentwicklern hilft, die Identität und den Zweck ihrer Agenten transparent zu teilen.

Cloudflare engagiert sich für ein transparentes "agentic web" und unterstützt ANS sowie die Entwicklung einer breiten Palette überprüfbarer Agenten-Identitätsstandards.

Die Zukunft des Internets: Ein nachhaltiges Wirtschaftsmodell

Die Einsätze sind hoch. Wenn KI-Systeme weiterhin Wert extrahieren, ohne Traffic zurückzusenden, könnte der Anreiz zur Erstellung origineller Inhalte erodieren. Cloudflare und GoDaddy setzen darauf, dass eine neue Infrastruktur, die sich auf Identität, Kontrolle und Kompensation konzentriert, dazu beitragen kann, ein nachhaltiges Wirtschaftsmodell für die nächste Phase des Internets wieder aufzubauen.

Die Unternehmen zielen darauf ab, die technische Architektur für den Übergang in das Zeitalter des "agentic web" bereitzustellen und so ein offenes, vertrauenswürdiges und kontrollierbares Online-Ökosystem zu fördern.