AI時代におけるウェブキャッシュ設計の見直し

概要

ウェブキャッシュは長年にわたり、ユーザーに近い場所に人気のあるコンテンツを保存することで、遅延とバックエンド負荷を削減する効果的な手段でした。これは、人間のアクセスパターンの時間的・空間的局所性を活用するものです。しかし、AIによる生成トラフィックの増加により、この仮定が挑戦されています。検索クローラーやデータスクレーパーなどのAIエージェントは、多様でリファラーが少ない大量のリクエストを発行し、再利用が最小限であるため、キャッシュの効果を低下させ、人間にとって関連性のあるコンテンツに干渉し、バックエンドシステムへの圧力を増加させています。本論文では、キャッシュインフラストラクチャがこのシフトに対応するために進化する必要があると主張します。我々は、ウィキメディアのアーキテクチャをベースにしたCDNプロトタイプを使用して、新たなAIトラフィックパターンの分析とそれらがキャッシュパフォーマンスに与える影響を調査しました。我々の結果は、わずかなAIトラフィックでもキャッシュの非効率性が顕著に増加することを示しています。我々は、キャッシュが人間用トラフィックの局所性を保護するための軽量フィルタとして機能し、AIトラフィックをより効率的に処理するために差別化されたポリシーや階層を適用する新しいキャッシュ設計パラダイムを提案します。