O experimento CloudFlare bloqueará os raspadores da AI Bot, a menos que paguem uma taxa
A Cloudflare lançou algumas novas medidas destinadas a manter os rastreadores de Ai Bot afastados. Para começar, todos os novos clientes de domínio que se inscrevem na empresa para gerenciar o tráfego do site agora seja perguntado Se eles desejam permitir rastreadores de IA ou bloqueá -los por completo. A empresa lançou uma ferramenta grátis Em 2024, para bloquear os bots da AI, mas com essa mudança, os usuários podem bloqueá -los por padrão sem precisar mexer com suas configurações. Vários grandes editores, incluindo Condé Nast, Time e The Associated Press, já se inscreveram para bloquear os rastreadores. Além disso, o CloudFlare lançou um experimento beta privado chamado “pagamento por rastreamento“O que apenas permitiria aos rastreadores acessar o conteúdo de um site se eles pagassem por ele.
Matthew Prince, CEO da Cloudflare, recentemente registrou para dizer que os editores são enfrentando uma ameaça existencialPorque as pessoas não estão clicando nos links de origem dos chatbots. Se os usuários não visitarem essas fontes, os sites não receberão a receita de anúncios necessários para poder continuar funcionando. “O conteúdo original é o que faz da Internet uma das maiores invenções do século passado, e é essencial que os criadores continuem fazendo isso”, disse Prince em comunicado divulgado com as últimas atualizações da empresa. “Os rastreadores da AI estão eliminando conteúdo sem limites. Nosso objetivo é colocar o poder de volta nas mãos dos criadores, enquanto ainda ajuda as empresas de IA a inovar. Trata -se de proteger o futuro de uma Internet gratuita e vibrante com um novo modelo que funciona para todos”.
O Cloudflare acredita que os editores devem poder cobrar os bots da IA pelo acesso, se quiserem, e o pagamento por crawl é seu primeiro experimento para esse objetivo específico. “Cada vez que um rastreador de AI solicita conteúdo, eles apresentam intenção de pagamento por meio de cabeçalhos de solicitação para acesso bem -sucedido (código de resposta HTTP 200) ou recebem uma resposta necessária de 402 de pagamento com preços”, explicou Cloudflare. A empresa registra essas transações e fornece a infraestrutura técnica subjacente. Os editores poderão permitir que certos rastreadores acessem seu conteúdo gratuitamente, se quiserem, e podem definir um preço plano e por solicitação em seus sites para outros rastreadores.
A empresa diz que o pagamento por crawl ainda está em seus estágios iniciais e espera que a ferramenta evoluir no futuro. Ele também diz que apóia o desenvolvimento de outros mercados e maneiras de cobrar os rastreadores de IA por conteúdo. Um mercado pode, por exemplo, permitir preços dinâmicos que permitem aos editores cobrar taxas diferentes por diferentes tipos de conteúdo.
