Derrubando as listas de mais populares: avaliando a precisão das listas de sites populares

Resumo

Os pesquisadores dependem de listas de sites populares, como o Alexa Top Million, para medir o estado da web e avaliar protocolos e sistemas propostos. Trabalhos anteriores questionaram a correção e a consistência dessas listas, mas, sem nenhum "fato concreto" para comparar, não houve uma avaliação direta das listas. Neste artigo de pesquisa, nos esforçamos para avaliar a precisão relativa de sete listas de sites mais populares. Derivamos um conjunto de métricas de popularidade a partir de solicitações de servidor vistas em uma grande rede de entrega de conteúdo (CDN) que presta serviços de forma autoritativa a uma parte significativa dos sites mais populares. Avaliamos as listas de sites mais populares contra essas métricas e mostramos que a maioria captura a popularidade da web de forma inadequada, com a exceção do conjunto de dados do Chrome User Experience Report, que avalia em linha com as diferenças entre as diferentes métricas de popularidade calculadas a partir da mesma fonte de dados da CDN. Exploramos os vieses que diminuem a precisão das outras listas e, por fim, desenvolvemos recomendações para pesquisadores que estudam a web no futuro.