Revisión del diseño de caché web para la era de la inteligencia artificial

Resumen

Las cachés web han sido durante mucho tiempo efectivas a la hora de reducir la latencia y la carga de los sistemas back-end almacenando contenido popular cerca de los usuarios, aprovechando la localidad temporal y espacial de los patrones de acceso impulsados por humanos. Sin embargo, el auge del tráfico generado por inteligencia artificial está desafiando esta suposición. Los agentes de inteligencia artificial, como los crawlers de búsqueda y los scrapers de datos, emiten grandes volúmenes de solicitudes diversas y con pocos referentes, con un mínimo de reutilización, lo que degrada la eficacia de la caché, interfiere con el contenido relevante para humanos y aumenta la presión sobre los sistemas back-end. En este artículo, argumentamos que la infraestructura de caché debe evolucionar para abordar este cambio. Analizamos los patrones de tráfico de inteligencia artificial emergentes y estudiamos su impacto en el rendimiento de la caché utilizando un prototipo de CDN basado en la arquitectura de Wikimedia. Nuestros resultados muestran que incluso cantidades modestas de tráfico de inteligencia artificial conducen a una ineficiencia de caché significativa. Proponemos un nuevo paradigma de diseño de caché en el que las cachés actúan como filtros ligeros para preservar la localidad para el tráfico humano y aplicar políticas o niveles diferenciados para manejar el tráfico de inteligencia artificial de manera más eficiente.