トップリストの転覆: 人気ウェブサイトリストの正確性の評価

概要

研究者は、Alexa Top Millionなどの人気ウェブサイトリストを、ウェブの状態を測定し、提案されたプロトコルやシステムを評価するためのものとして頼っている。過去の研究では、これらのリストの正確性と一貫性に疑問を呈してきたが、「真実」として比較できる基準がなかったため、リストの直接的な評価は行われていなかった。本論文では、ウェブサイトのトップリスト7種の相対的な正確性を評価することを試みる。我々は、主要なCDNでサーバーサイドのリクエストから得た人気メトリクスを用意し、それらのメトリクスに対してトップリストを評価した。その結果、ほとんどのリストはウェブの人気をうまく捉えていないことが判明したが、Chrome User Experience Reportデータセットを除いては、同じCDNデータソースから計算された異なる人気メトリクスの違いと一致していた。他のリストの正確性を低下させるバイアスを探索し、最後に、今後のウェブに関する研究者に対する推奨事項を開発した。