Cloudflare verandert de wijze waarop AI-crawlers het internet doorzoeken voor een nieuw businessmodel

Cloudflare kondigt vandaag aan dat het de eerste aanbieder van internetinfrastructuur is die standaard AI-crawlers blokkeert, zodat ze zonder toestemming of vergoeding geen toegang hebben tot online content. Vanaf nu kunnen website-eigenaren kiezen of ze AI-crawlers toegang willen verlenen tot hun content en hoe deze AI-bedrijven hun content kunnen gebruiken. AI-bedrijven kunnen nu ook duidelijk hun doel aangeven, bijvoorbeeld of hun crawlers worden gebruikt voor training, inferentie of zoekopdrachten. Zo kunnen website-eigenaren bepalen welke crawlers toegang krijgen tot hun content. De nieuwe standaardinstelling van Cloudflare is de eerste stap naar een duurzamere toekomst voor zowel content creators als AI-vernieuwers.

Het internet functioneert al tientallen jaren volgens een eenvoudige methode: zoekmachines indexeren content en verwijzen gebruikers terug naar de oorspronkelijke websites. Zo genereren ze verkeer en advertentie-inkomsten voor websites van alle omvang. Deze cyclus beloont creators die content van goede kwaliteit produceren met geld en een volgersaantal, terwijl gebruikers tegelijkertijd geholpen worden nieuwe en relevante informatie te ontdekken. Dat model werkt nu niet meer. AI-crawlers verzamelen content zoals tekst, artikelen en afbeeldingen om antwoorden te genereren zonder bezoekers naar de oorspronkelijke bron te sturen. Hierdoor verliezen content creators inkomsten en missen ze het gevoel van voldoening wanneer iemand hun content bekijkt. Als de prikkel om originele content van goede kwaliteit te creëren verdwijnt, lijdt de maatschappij verlies en is de toekomst van het internet in gevaar.

"Als het internet het tijdperk van AI wil overleven, moeten we uitgevers de controle geven die ze verdienen en een nieuw economisch model ontwikkelen dat voor iedereen werkt: creators, consumenten, de AI-oprichters van morgen en de toekomst van het internet zelf", aldus Matthew Prince, medeoprichter en CEO van Cloudflare. “Originele content is wat het internet tot een van de grootste uitvindingen van de vorige eeuw heeft gemaakt, en het is essentieel dat creators hiermee doorgaan. AI-crawlers scrapen momenteel deze content zonder enige beperking. Ons doel is om de controle terug te geven aan creators en tegelijkertijd AI-bedrijven te helpen innoveren. Het gaat erom de toekomst van een vrij en dynamisch internet veilig te stellen met een nieuw model dat voor iedereen werkt.”

"AI-bedrijven, zoekmachines, onderzoekers en anderen die websites crawlen, moeten zich eerlijk identificeren. En elk online platform zou inspraak moeten hebben in wie hun content gebruikt en waarvoor," zei Steve Huffman, medeoprichter en CEO van Reddit. "Het hele ecosysteem van creators, platforms, internetgebruikers en crawlers zal verbeteren wanneer crawlingactiviteiten transparanter en gecontroleerder worden. De inspanningen van Cloudflare zijn voor iedereen een stap in de goede richting."

"We zijn erg blij dat Cloudflare zich inzet voor een duurzaam digitaal ecosysteem waar alle belanghebbenden van profiteren: de consumenten die vertrouwen op betrouwbare informatie, de uitgevers die investeren in de creatie ervan en de adverteerders die de verspreiding ervan ondersteunen", aldus Vivek Shah, CEO van Ziff Davis.

Een op toestemming gebaseerd internetmodel afdwingen

Cloudflare beheert een van de grootste netwerken ter wereld en helpt bij het beheren en beveiligen van 20% van het internetverkeer. Het bedrijf verwerkt dagelijks biljoenen verzoeken en beschikt daarmee over de meest geavanceerde oplossingen voor botbeheer ter wereld. Hierbij wordt nauwkeurig onderscheid gemaakt tussen menselijke gebruikers en AI-crawlers. In september 2024 introduceerde Cloudflare de optie om AI-crawlers met één klik te blokkeren. Meer dan een miljoen klanten hebben sindsdien voor deze optie gekozen. Het is bedoeld als een agressieve maar eenvoudige oplossing die scraping stopt, terwijl ze hun AI-strategie bepalen.

Cloudflare zet nu de volgende stap om een op toestemming gebaseerd model voor AI-crawlers af te dwingen. AI-bedrijven moeten voortaan de websites expliciet om toestemming vragen voordat ze mogen scrapen. Bij registratie bij Cloudflare wordt voortaan aan elk nieuw domein gevraagd of ze AI-crawlers willen toestaan. Klanten kunnen dan meteen kiezen of ze AI-crawlers expliciet toegang willen verlenen of juist willen weigeren. Deze grote verandering betekent dat elk nieuw domein standaard de controle in handen heeft en dat webpagina-eigenaren hun instellingen niet meer handmatig hoeven te configureren om zich hiervoor af te melden. Klanten kunnen eenvoudig hun instellingen controleren en op elk gewenst moment crawlen inschakelen als ze willen dat hun content vrij toegankelijk is.

Toonaangevende internationale uitgevers, media- en technologiebedrijven verwelkomen een op toestemming gebaseerd model voor AI-crawlen

Toonaangevende content-, media- en technologiebedrijven zetten zich in voor een duurzamere toekomst waarin originele content centraal staat, zoals ADWEEK, The Arena Group, The Associated Press, The Atlantic, Atlas Obscura, BuzzFeed, Inc., Condé Nast, Digital Content Next, DOC, Dotdash Meredith, Drupal & Acquia, EngineEars, Evolve Media, Fortune, Gannett Media, Groundviews.org, Half Baked Newsletter, Hyperscience, IAB Tech Lab, Independent Media, International Center for Journalists, Internet Brands, Linkup, News/Media Alliance, O'Reilly Media, PMC, Pinterest, ProRata AI, Quora, Raptive, Reddit, SimpleFeed, Sky News Group, Snopes.com, SourceForge, Sovrn, Inc., Stack Overflow, StockTwits, SustainableMedia.Center, Third Door Media, TIME, Universal Music Group, Webflow en Ziff Davis.

AI-bedrijven kunnen nu hun crawlers betrouwbaarder verifiëren

Nu maakt Cloudflare het content-ecosysteem transparanter voor AI-bedrijven en creators. Het bedrijf heeft onlangs nieuwe manieren voorgesteld waarop AI-bots zichzelf kunnen authentiseren en waarop websites bots kunnen identificeren. Hierdoor kunnen creators en website-eigenaren nieuwe identificatiemechanismen gebruiken en zelf aangeven welke crawlers ze willen toestaan. Cloudflare neemt deel aan de ontwikkeling van een nieuw protocol om bot-eigenaren en AI-agentontwikkelaars een openbare, gestandaardiseerde manier te bieden om zichzelf te identificeren.

• Blog: Meer crawlen, minder doorverwijzen: inzicht in de impact van AI op contentproviders
• Blog: Onafhankelijkheidsdag voor content: geen AI-crawl zonder compensatie!
• Blog: Beheer het gebruik van content voor AI-training met Cloudflares beheerde robots.txt en blokkering voor gemonetariseerde content
• Blog: Berichthandtekeningen zijn nu onderdeel van ons Verified Bots-programma, wat de botauthenticatie vereenvoudigt
• Blog: Introductie van Pay Per Crawl: content-eigenaren in staat stellen AI-crawlers voor toegang te laten betalen
• Blog: Van Googlebot tot GPTBot: wie crawlt uw site in 2025?
• Blog: Meer crawlen, minder doorverwijzen: inzicht in de impact van AI op contentproviders

Meld je aan voor 'Vroege toegang': Cloudflares Pay Per Crawl-bèta