Estatísticas de download de conjuntos de dados

Como os downloads são contabilizados para conjuntos de dados?

Contar o número de downloads de conjuntos de dados não é uma tarefa trivial, pois um único repositório de conjunto de dados pode conter múltiplos arquivos, de vários subconjuntos e divisões (por exemplo, treino/validação/teste) e, às vezes, com muitos arquivos em uma única divisão. Para resolver esse problema e evitar contar o download de uma pessoa várias vezes, tratamos todos os arquivos baixados por um usuário (com base em seu endereço IP) dentro de uma janela de 5 minutos em um determinado repositório como um único download de conjunto de dados. Essa contagem acontece automaticamente em nossos servidores quando os arquivos são baixados (por meio de solicitações GET ou HEAD), sem a necessidade de coletar informações do usuário ou fazer chamadas adicionais.

Antes de setembro de 2024

O Hub costumava fornecer estatísticas de download apenas para os conjuntos de dados carregáveis via biblioteca datasets. Para determinar o número de downloads, o Hub contava anteriormente cada vez que load_dataset era chamado em Python, excluindo as ferramentas de CI da Hugging Face no GitHub. Nenhuma informação era enviada pelo usuário e nenhuma chamada adicional era feita para isso. A contagem era feita no lado do servidor quando servíamos os arquivos para download. Isso significava que:

• A contagem de downloads foi a mesma, independentemente de os dados estarem armazenados diretamente no repositório do Hub ou de o repositório ter um script para carregar os dados de uma fonte externa.
• Se um usuário baixou manualmente os dados usando ferramentas como wget ou a interface do usuário (UI) do Hub, esses downloads não foram incluídos na contagem de downloads.

E se eu precisar de dados de download mais granulares para meus conjuntos de dados?

Se você precisar de dados de download mais granulares, por exemplo, para:

• distinguir arquivos de dados de metadados,
• exclua downloads de pipelines de CI/CD,
• ou desduplicar usuários (ou seja, contar os baixadores únicos),

em seguida, Publisher Analytics, e em particular o recurso de logs granulares, pode fornecer logs de acesso anônimos, no nível de requisição, para todos os modelos e conjuntos de dados publicados pela sua organização.

Eles são fornecidos como logs brutos, pois a maioria das organizações desejará aplicar suas próprias regras personalizadas.

Update on GitHub