Cloudflare introduce una función para bloquear los rastreadores de entrenamiento de IA mientras permite a los motores de búsqueda
Cloudflare ha introducido una nueva función llamada 'Disallow AI Training', que permite a los administradores de sitios web bloquear los rastreadores de entrenamiento de IA, al tiempo que permite a los motores de búsqueda rastrear sus sitios. Grandes empresas tecnológicas, incluyendo Apple, Google y Microsoft, se han comprometido a seguir esta configuración.
Una vez activada, la función permitirá a los rastreadores mixtos para la búsqueda y el entrenamiento de IA, siempre y cuando estén marcados como 'Accountable'. Otros rastreadores de entrenamiento de IA permanecerán bloqueados, y Cloudflare ha advertido que bloquear estos rastreadores podría afectar al posicionamiento de búsqueda del sitio.
La mayoría de los clientes no se verán afectados, ya que los sitios web que anteriormente estaban configurados para 'Bloquear' o 'Bloquear en páginas con anuncios' pasarán automáticamente a la nueva configuración. Además, Google está a punto de lanzar una herramienta de transparencia a nivel de URL en las próximas semanas, mientras que Apple está desarrollando su propia herramienta a nivel de URL.
Microsoft planea admitir el rechazo del entrenamiento de IA a través de robots.txt a principios de 2027.