Le nouvel outil gratuit de Cloudflare empêche les robots de récupérer le contenu de votre site Web pour entraîner l'IA
Les robots IA ont accédé à environ 39 % du million de « propriétés Internet » les plus importantes à l'aide de Cloudflare en juin 2024, selon la société.
Si vous craignez que les robots IA récupèrent le contenu de votre site Web pour entraîner l'IA, Cloudflare peut vous aider à riposter.
La société, qui prétend contrôler environ 20 % du Web, a introduit un nouvel outil qui empêche tous les robots IA de récupérer le texte d'un site. Cloudflare indique que l'outil est disponible pour tous les clients, même ceux bénéficiant du niveau gratuit.
Avec l’essor de l’IA générative, les entreprises ont besoin de contenu pour former les chatbots. Beaucoup se tournent vers des scrapers Web qui extraient le texte des sites pour analyse (comme le fait ChatGPT avec vos publications Reddit). Certaines entreprises sont franches et honnêtes à propos des robots de web-scraping, mais d'autres ne le sont pas.
Cloudflare a publié une fonctionnalité en septembre dernier permettant aux utilisateurs de bloquer les « mauvais » robots d'exploration Web IA, ou ceux qui grattent des sites sans autorisation. Naturellement, certaines entreprises ont trouvé un moyen de contourner ce problème en proposant des grattoirs qui prétendent être authentiques. C'est pourquoi ce nouvel outil bloque tous les robots d'exploration IA, même ceux qui suivent le protocole de scraping approprié.
En juin 2024, les robots IA ont accédé à environ 39 % du million de « propriétés Internet » les plus importantes à l'aide de Cloudflare, a indiqué la société. Moins de 3 % de ces établissements ont pris des mesures pour bloquer les robots IA. Selon Cloudflare, les quatre principaux robots grattant ses sites étaient Bytespider, Amazonbot, ClaudeBot et GPTBot.
Bytespider, propriété de Bytedance, la société propriétaire de TikTok, est utilisé pour collecter des données de formation pour ses grands modèles linguistiques, y compris son rival ChatGPT Doubao. Amazonbot est utilisé pour entraîner le côté réponse aux questions d'Alexa, ClaudeBot entraîne Claude AI et GPTBot entraîne ChatGPT.
Si vous êtes un utilisateur Cloudflare, l'utilisation de l'outil est simple. Rendez-vous simplement dans la section des paramètres de votre tableau de bord, puis cliquez sur « Sécurité » et « Bots ». À partir de là, vous verrez un bouton à bascule intitulé « AI Scrapers and Crawlers ». Allumez-le et les robots IA n’auront plus accès à votre contenu.
Bien entendu, les robots IA évoluent constamment. Cloudflare affirme que cette fonctionnalité évoluera également automatiquement à mesure qu'elle détectera les « empreintes digitales » des robots incriminés.
Le nouvel outil est disponible dès aujourd'hui pour tous les utilisateurs de Cloudflare.