Cloudflare bloque les robots d’exploration IA et propose un modèle de Pay per Crawl
Cloudflare, géant incontournable sur Internet, a décidé de s'attaquer au sujet des robots d'exploration IA ! Depuis le 1er juillet, ils sont bloqués par défaut, et en plus, un nouveau système de Pay Per Crawl a été dévoilé.
Le Far West des robots d'exploration IA
L'intelligence artificielle a un impact significatif sur Internet et sur la façon de rechercher des informations. Mais, surtout, les IA s'alimentent en permanence grâce aux contenus publiés sur Internet, que ce soit sur IT-Connect ou ailleurs, en fonction des thématiques. C'est un vrai problème qui peut aller jusqu'à mettre en difficulté certains médias, forums et autres sites web, pour deux raisons principales :
- Une baisse des visites est constatée
- Un pillage des contenus est effectué par les robots d'exploration IA
Depuis des mois, les robots comme GPTBot et ClaudeBot parcourent le Web de façon agressive (plus intensément que les robots d'exploration classiques), ce qui génère des volumes de requêtes astronomiques. Dans certains cas, la surcharge générée par les robots IA peut ralentir les sites web.
De son côté, Cloudflare, fort de ses deux millions de clients représentant 20% du web, compte bien aider ses clients. "Si Internet compte survivre à l'ère de l'IA, nous devons donner aux éditeurs le contrôle qu'ils méritent et bâtir un nouveau modèle économique qui convienne à tous : aux créateurs, aux consommateurs, aux fondateurs de l'IA de demain et même à l'avenir du web lui-même ", martèle Matthew Prince, cofondateur et CEO de Cloudflare.
Depuis le 1er juillet 2025, Cloudflare applique la règle suivante : tout nouveau site sous Cloudflare verra l'accès de son contenu bloqué aux robots IA, à moins d'une autorisation explicite de son propriétaire. En complément, grâce à l'apprentissage automatique, Cloudflare estime pouvoir aussi détecter et bloquer les "robots fantômes", qui sont des explorateurs plus furtifs.
Cette décision prise par Cloudflare devrait être plus efficace que l'utilisation de règles dans le fichier robots.txt d'un site web, notamment, car ces directives sont souvent ignorées par les robots IA.
"Pay Per Crawl" : vers un Internet à péage pour l'IA ?
Cloudflare ne veut pas simplement bloquer les robots d'exploration d'OpenAI, Anthropic et consorts. L'entreprise américaine s'intéresse aussi à la monétisation, grâce à un programme nommé "Pay Per Crawl". Ce système, actuellement en bêta privée, offre aux éditeurs la possibilité de fixer leurs propres tarifs pour l'accès de leur contenu aux robots d'exploration IA.
Cloudflare agirait alors comme un péage, qui pourrait transformer en profondeur le modèle économique du web. L'implémentation devrait être possible sur les infrastructures existantes puisque ce mécanisme s'appuie sur le code HTTP 402 ("Paiement requis"), quasiment inutilisé jusqu'alors. Surtout, ce modèle pourrait permettre de rémunérer les personnes qui créent du contenu de qualité et avec une réelle valeur ajoutée.
D'un autre côté, cette initiative de Cloudflare, qui alimente une part significative d'Internet, pourrait rendre une quantité importante de contenu inaccessible aux IA sans négociation préalable ou paiement de licences.
Bien que des décisions de justice aient parfois donné raison aux entreprises d'IA concernant l'usage équitable d'œuvres protégées, le Bureau du droit d'auteur américain a nuancé, affirmant que le "scraping massif de toutes les données ne constitue pas un usage équitable". Avec ces initiatives, Cloudflare pourrait ouvrir la voie à un mouvement plus large, et d'autres CDN pourraient suivre. Espérons que la situation évolue vers un modèle plus équitable...
Qu'en pensez-vous ?
