LE PAYSAGE DES OUTILS DE DOCUMENTATION ML

Le développement du cadre des fiches de modèle en 2018 s'est inspiré des efforts majeurs de cadres de documentation pour le traitement du langage naturel, à savoir les Data Statements for Natural Language Processing (Bender & Friedman, 2018) et les Datasheets for Datasets (Gebru et al., 2018). Depuis la proposition des fiches de modèle, un certain nombre d'autres outils ont été proposés pour documenter et évaluer divers aspects du cycle de développement de l'apprentissage automatique. Ces outils, y compris les fiches de modèle et les efforts de documentation associés proposés avant les fiches de modèle, peuvent être contextualisés par rapport à leur focus (par exemple, sur quelle partie du cycle de vie du système d'apprentissage automatique l'outil se concentre-t-il ?) et à leurs publics cibles (par exemple, pour qui l'outil est-il conçu ?). Dans les figures 1-2 ci-dessous, nous résumons plusieurs outils de documentation de premier plan le long de ces dimensions, fournissons des descriptions contextuelles de chaque outil et fournissons des liens vers des exemples. Nous classons de manière générale les outils de documentation comme appartenant aux groupes suivants :

• Centré sur les données, incluant des outils de documentation axés sur les jeux de données utilisés dans le cycle de vie des systèmes d’apprentissage automatique
• Centré sur les modèles et les méthodes, incluant des outils de documentation axés sur les modèles et méthodes d’apprentissage automatique ; et
• Centré sur les systèmes, incluant des outils de documentation axés sur les systèmes d’IA, notamment les modèles, les méthodes, les jeux de données, les API et les composants non IA/ML qui interagissent entre eux au sein d’un système d’IA

Ces regroupements ne sont pas mutuellement exclusifs ; ils incluent des aspects chevauchants du cycle de vie des systèmes ML. Par exemple, les system cards se concentrent sur la documentation des systèmes ML qui peuvent inclure plusieurs modèles et jeux de données, et peuvent donc contenir du contenu qui chevauche les outils de documentation axés sur les données ou sur les modèles. Les outils décrits constituent une liste non exhaustive des outils de documentation pour le cycle de vie des systèmes ML. En général, nous avons inclus les outils qui étaient :

• Concentré sur la documentation de certains (ou plusieurs) aspects du cycle de vie du système ML
• Inclut la publication d'un modèle destiné à un usage répété, une adoption et une adaptation

Aperçu des outils de documentation ML

Figure 1

Étape du cycle de vie du système ML	Outil	Description succincte	Exemples
DONNÉES	Fiches techniques (Gebru et al., 2018)	« Nous recommandons que chaque jeu de données soit accompagné d’une fiche de données documentant sa motivation, sa création, sa composition, ses usages prévus, sa distribution, sa maintenance et d’autres informations. »	Voir, par exemple, le dépôt d’Ivy Lee avec des exemples
DONNÉES	Déclarations de données (Bender & Friedman, 2018)(Bender et al., 2021)	« Une déclaration de données est une caractérisation d’un jeu de données qui fournit un contexte permettant aux développeurs et aux utilisateurs de mieux comprendre comment les résultats expérimentaux pourraient se généraliser, comment le logiciel pourrait être déployé de manière appropriée et quels biais pourraient être reflétés dans les systèmes construits sur ce logiciel. »	Voir les déclarations de données pour l'atelier NLP
DONNÉES	Étiquettes nutritionnelles des jeux de données (Holland et al., 2018)	« L’étiquette nutritionnelle des jeux de données… est un cadre de diagnostic qui abaisse la barrière à l’analyse standardisée des données en offrant un aperçu distillé mais complet des « ingrédients » du jeu de données avant le développement de modèles d’IA. »	Voir The Data Nutrition Label
DONNÉES	Fiches de données pour le TALN (McMillan-Major et al., 2021)	« Nous présentons deux études de cas portant sur la création de modèles et de guides de documentation en traitement automatique des langues (NLP) : le hub de jeux de données Hugging Face (HF)[^1] et le benchmark Generation and its Evaluation and Metrics (GEM). Nous utilisons le terme data card pour désigner la documentation des jeux de données dans les deux cas.	Voir (McMillan-Major et al., 2021)
DONNÉES	Framework de documentation du cycle de vie de développement de jeu de données (Hutchinson et al., 2021)	« Nous introduisons un cadre rigoureux pour la transparence du développement de jeux de données, qui soutient la prise de décision et la redevabilité. Ce cadre exploite la nature cyclique, infrastructurelle et d’ingénierie du développement de jeux de données pour s’appuyer sur les meilleures pratiques du cycle de vie du développement logiciel. »	Voir (Hutchinson et al., 2021), Annexe A pour les modèles
DONNÉES	Fiches de données (Pushkarna et al., 2021)	Les Data Cards sont des résumés structurés des faits essentiels concernant divers aspects des jeux de données ML, nécessaires aux parties prenantes tout au long du cycle de vie d’un jeu de données pour un développement responsable de l’IA. Ces résumés fournissent des explications sur les processus et les justifications qui façonnent les données et, par conséquent, les modèles.	Voir le Playbook des Data Cards sur GitHub
DONNÉES	CrowdWorkSheets (Díaz et al., 2022)	« Nous introduisons un nouveau cadre, CrowdWorkSheets, destiné aux développeurs de jeux de données afin de faciliter la documentation transparente des points de décision clés aux différentes étapes du pipeline d'annotation des données : formulation de la tâche, sélection des annotateurs, choix de la plateforme et de l'infrastructure, analyse et évaluation du jeu de données, ainsi que publication et maintenance du jeu de données. »	Voir (Díaz et al., 2022)
MODÈLES ET MÉTHODES	Fiches de modèle Mitchell et al. (2018)	Les fiches de modèle sont de courts documents accompagnant les modèles d'apprentissage automatique entraînés, fournissant des évaluations benchmarkées dans diverses conditions…pertinentes pour les domaines d'application visés. Les fiches de modèle divulguent également le contexte dans lequel les modèles sont destinés à être utilisés, les détails des procédures d'évaluation des performances et d'autres informations pertinentes.	Voir https://huggingface.co/models, le Model Card Guidebook et les Model Card Examples
MODÈLES ET MÉTHODES	Cartes de valeur Shen et al. (2021)	« Nous présentons Value Cards, un kit d’outils axé sur la délibération, destiné à sensibiliser les étudiants et les professionnels de l’informatique aux impacts sociaux des systèmes de prise de décision basés sur l’apprentissage automatique…. Value Cards encourage l’exploration et le débat autour des différentes métriques de performance du ML et de leurs compromis potentiels. »	Voir Shen et al. (2021), section 3.3
MODÈLES ET MÉTHODES	Fiches de méthode Adkins et al. (2022)	« Nous proposons des fiches de méthode pour guider les ingénieurs en ML dans le processus de développement de modèles… Les informations comprennent à la fois des éléments prescriptifs et descriptifs, en mettant l’accent principal sur le fait de s’assurer que les ingénieurs en ML sont en mesure d’utiliser correctement ces méthodes. »	Voir Adkins et al. (2022), Annexe A
MODÈLES ET MÉTHODES	Étiquettes destinées aux consommateurs pour les modèles de ML Seifert et al. (2019)	« Nous proposons d’émettre des étiquettes destinées aux consommateurs pour les modèles d’apprentissage automatique entraînés et publiés. Ces étiquettes s’adressent principalement aux non-initiés en apprentissage automatique, tels que les opérateurs d’un système d’apprentissage automatique, les exécutants de décisions et les sujets de décision eux-mêmes »	Voir Seifert et al. (2019)
SYSTÈMES	Fiches techniques Arnold et al. (2019)	« Une FactSheet contiendra des sections sur tous les attributs pertinents d'un service d'IA, tels que l'usage prévu, les performances, la sécurité et la sûreté. Les performances incluront des mesures appropriées de précision ou de risque, ainsi que des informations sur les délais. »	Voir IBM’s AI Factsheets 360 et Hind et al., (2020)
SYSTÈMES	Fiches système Procope et al. (2022)	« System Cards vise à accroître la transparence des systèmes d'IA en offrant aux parties prenantes un aperçu des différents composants d'un système d'IA, de la manière dont ces composants interagissent, et de l'utilisation par le système des différentes données et informations protégées. »	Voir la fiche du système de classement du fil Instagram de Meta
SYSTÈMES	Rapports de récompense pour le RL Gilbert et al. (2022)	« Nous esquissons un cadre pour documenter les systèmes d'apprentissage déployés, que nous appelons Reward Reports… Nous présentons les Reward Reports comme des documents vivants qui suivent les mises à jour des choix de conception et des hypothèses sous-jacents à ce qu'un système automatisé particulier optimise. Ils sont destinés à suivre les phénomènes dynamiques résultant du déploiement du système, plutôt que de simples propriétés statiques des modèles ou des données. »	Voir https://rewardreports.github.io
SYSTÈMES	Robustness Gym Goel et al. (2021)	« Nous identifions les défis liés à l'évaluation des systèmes de TALN et proposons une solution sous la forme de Robustness Gym (RG), un kit d'évaluation simple et extensible qui unifie quatre paradigmes d'évaluation standard : sous-populations, transformations, ensembles d'évaluation et attaques adversariales. »	Voir https://github.com/robustness-gym/robustness-gym
SYSTÈMES	À PROPOS DE L'IA Raji and Yang, (2019)	« ABOUT ML (Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles) est une initiative pluriannuelle et multi-acteurs menée par PAI. Cette initiative vise à réunir un large éventail de points de vue afin de développer, de tester et de mettre en œuvre à grande échelle des pratiques de documentation des systèmes d'apprentissage automatique. »	Voir la bibliothèque de ressources d’ABOUT ML

OUTILS DE DOCUMENTATION CENTRÉS SUR LES DONNÉES

Plusieurs outils de documentation proposés se concentrent sur les jeux de données utilisés dans le cycle de vie du système d’apprentissage automatique, notamment pour l’entraînement, le développement, la validation, l’ajustement fin et l’évaluation des modèles d’apprentissage automatique dans le cadre de cycles continus. Ces outils se concentrent généralement sur les nombreux aspects du cycle de vie des données (peut-être pour un jeu de données particulier, un groupe de jeux de données, ou plus largement), y compris la manière dont les données ont été assemblées, collectées, annotées et comment elles doivent être utilisées.

• En prolongeant le concept de fiches techniques de l’industrie électronique, Gebru et al. (2018) proposent des fiches techniques pour les jeux de données afin de documenter les détails liés à leur création, leurs usages potentiels et les préoccupations associées.
• Bender et Friedman (2018) proposent des déclarations de données pour le traitement du langage naturel. Bender, Friedman et McMillan-Major (2021) mettent à jour le cadre des déclarations de données d’origine et fournissent des ressources, notamment un guide pour rédiger des déclarations de données et pour passer de la première version du schéma à la version plus récente[^2].
• Holland et al. (2018) proposent des étiquettes nutritionnelles de données, analogues aux étiquettes nutritionnelles des aliments et aux étiquettes de divulgation de la vie privée, comme outil pour analyser et prendre des décisions concernant les jeux de données. L’équipe Data Nutrition Label a publié en 2020 une mise à jour du design et de l’interface de l’étiquette (Chmielinski et al., 2020).
• McMillan-Major et al. (2021) décrivent le processus de développement et les modèles résultants pour les fiches de données pour le NLP sous forme de fiches de données sur le Hugging Face Hub[^3] et de fiches de données pour les jeux de données faisant partie de l’environnement de référence NLP pour la génération et ses métriques d’évaluation (GEM)[^4].
• Hutchinson et al. (2021) décrivent le besoin d’une documentation complète des jeux de données et, s’inspirant des pratiques de développement logiciel, proposent des modèles pour documenter plusieurs aspects du cycle de vie de développement des jeux de données (aux fins des tableaux 1 et 2, nous désignons leur cadre par le Dataset Development Lifecycle Documentation Framework).
• Pushkarna et al. (2021) proposent les fiches de données dans le cadre du data card playbook, un outil de documentation centré sur l’humain et axé sur les jeux de données utilisés dans l’industrie et la recherche.

OUTILS DE DOCUMENTATION CENTRÉS SUR LES MODÈLES ET LES MÉTHODES

Un autre ensemble d'outils de documentation peut être considéré comme axé sur les modèles d'apprentissage automatique et les méthodes d'apprentissage automatique. Ils incluent :

• Mitchell et al. (2018) proposent des model cards pour le rapportage de modèles afin d’accompagner les modèles ML entraînés et de documenter les problèmes liés à l’évaluation, à l’utilisation et à d’autres aspects.

• Shen et al. (2021) proposent des value cards pour enseigner aux étudiants et aux praticiens les valeurs liées aux modèles de ML

• Seifert et al. (2019) proposent des étiquettes pour les utilisateurs de modèles ML afin d’aider les non-experts qui utilisent ou sont affectés par le modèle à comprendre les enjeux clés liés au modèle.

• Adkins et al. (2022) analysent les aspects des outils de documentation descriptive – qu’ils considèrent comme incluant les model cards et les fiches de données – et plaident pour un renforcement des outils prescriptifs destinés aux ingénieurs ML. Ils proposent des method cards, centrées sur les méthodes ML, et conçoivent leur approche principalement en pensant aux parties prenantes techniques telles que les développeurs de modèles et les évaluateurs.

  • Ils envisagent la relation entre les fiches de modèle et les fiches de méthode, en partie, en affirmant : « Les sections et les invites que nous proposons… [dans le modèle de fiche de méthode] se concentrent sur les méthodes d’apprentissage automatique suffisantes pour produire un modèle d’apprentissage automatique approprié avec des entrées, des sorties et une tâche définies. Des exemples de ces méthodes sont les méthodes de détection d’objets telles que les détecteurs en une seule passe (Single-shot Detectors) et les méthodes de modélisation du langage telles que les transformeurs pré-entraînés génératifs (Generative Pre-trained Transformers, GPT). Il est possible de créer des fiches de modèle pour les modèles créés à l’aide de ces méthodes. »

  • Ils précisent également que « si les Model Cards et les FactSheets se concentrent principalement sur la documentation des modèles existants, les Method Cards se concentrent davantage sur les choix méthodologiques et algorithmiques sous-jacents qu’il faut prendre en compte lors de la création et de l’entraînement de ces modèles. Par une analogie approximative, si les Model Cards et les FactSheets fournissent les informations nutritionnelles des plats cuisinés, les Method Cards fournissent les recettes. »

OUTILS DE DOCUMENTATION CENTRÉS SUR LE SYSTÈME

Plutôt que de se concentrer sur des modèles, des jeux de données ou des méthodes spécifiques, les outils de documentation axés sur le système examinent la manière dont les modèles interagissent entre eux, avec les jeux de données, les méthodes et d'autres composants ML pour former des systèmes ML.

• Procope et al. (2022) proposent des fiches système pour documenter et expliquer les systèmes d’IA – qui peuvent inclure plusieurs modèles de ML, des outils d’IA et des technologies non-IA – qui fonctionnent ensemble pour accomplir des tâches.
• Arnold et al. (2019) étendent l’idée des déclarations de conformité pour les produits de consommation aux services d’IA, en proposant des FactSheets pour documenter les aspects des « services d’IA » qui sont généralement accédés via des API et qui peuvent être composés de plusieurs modèles de ML différents. Hind et al. (2020) partagent des réflexions sur la création de factsheets.
• Gilbert et al. (2022) proposent Reward Reports for Reinforcement Learning pour les systèmes d'apprentissage par renforcement, en reconnaissant la nature dynamique des systèmes de ML et le besoin d'efforts de documentation pour intégrer les considérations relatives aux performances après déploiement, en particulier pour les systèmes d'apprentissage par renforcement.
• Goel et al. (2021) développent Robustness Gym, un kit d’évaluation permettant de tester plusieurs aspects des réseaux de neurones profonds dans des systèmes réels et de comparer différents paradigmes d’évaluation.
• Grâce au projet ABOUT ML (Raji et Yang, 2019), le Partnership on AI coordonne les efforts de groupes de parties prenantes au sein de la communauté du machine learning afin de développer des outils de documentation complets et évolutifs pour les systèmes de ML.

L'ÉVOLUTION DES FICHES DE MODÈLE

Depuis la proposition de fiches de modèle par Mitchell et al. en 2018, les fiches de modèle ont été adoptées et adaptées par diverses organisations, y compris par de grandes entreprises technologiques et des startups développant et hébergeant des modèles d'apprentissage automatique[^5], par des chercheurs décrivant de nouvelles techniques[^6], et par des parties prenantes gouvernementales évaluant des modèles pour divers projets[^7]. Les fiches de modèle figurent également dans les kits éducatifs d'éthique de l'IA, et de nombreuses organisations et développeurs ont créé des implémentations pour automatiser ou semi-automatiser la création de fiches de modèle. L'annexe A fournit un ensemble d'exemples de fiches de modèle pour divers types de modèles d'apprentissage automatique créés par différentes organisations (y compris des fiches de modèle pour les grands modèles de langage), des outils de génération de fiches de modèle et des outils éducatifs de fiches de modèle.

CARTE DE MODÈLE SUR LE HUGGING FACE HUB

Depuis 2018, de nouvelles plateformes et supports pour l’hébergement et le partage de fiches de modèles ont également émergé. Par exemple, particulièrement pertinent pour ce projet, Hugging Face héberge des fiches de modèles sur le Hugging Face Hub sous forme de fichiers README dans les dépôts associés aux modèles de ML. En conséquence, les fiches de modèles constituent une forme de documentation prépondérante pour les utilisateurs de modèles sur le Hugging Face Hub. Dans le cadre de notre analyse des fiches de modèles, nous avons développé et proposé des fiches de modèles pour plusieurs dizaines de modèles de ML sur le Hugging Face Hub, en utilisant les fonctionnalités Pull Request (PR) et Discussion du Hub pour recueillir des retours sur les fiches de modèles, vérifier les informations incluses dans les fiches de modèles et publier des fiches de modèles pour les modèles sur le Hugging Face Hub. Au moment de la rédaction de ce guide, tous les modèles de Hugging Face sur le Hugging Face Hub disposent d’une fiche de modèle associée sur le Hub[^8].

Le nombre élevé de modèles déposés sur le Hugging Face Hub (101 041 modèles au moment de la rédaction) nous a permis d’explorer le contenu des fiches de modèles sur le hub : Nous avons commencé par analyser les fiches de modèles de langage afin d’identifier des schémas (par exemple des sections et sous-sections répétées), dans le but de répondre à des questions initiales telles que :

1) Combien de ces modèles disposent de fiches de modèle ?

2) Quel pourcentage des téléchargements était associé à une fiche de modèle ?

D'après notre analyse de tous les modèles de la plateforme, nous avons constaté que la majorité des téléchargements proviennent des 200 modèles les plus populaires.

En gardant un focus continu sur les grands modèles de langage, classés par nombre de téléchargements et en ne considérant que les modèles disposant d’une carte modèle, nous avons relevé les sections les plus récurrentes au sein de leurs cartes respectives.

Bien que certains titres au sein des fiches de modèle puissent varier d’un modèle à l’autre, nous avons regroupé les composants/le thème de chaque section au sein de chaque fiche de modèle, puis nous les avons associés aux titres de section les plus récurrents (principalement présents dans les 200 modèles les plus téléchargés et avec l’aide/les conseils de la fiche de modèle de Bloom)

Consultez les Études d'utilisateurs

Voir l'annexe

[^1]: Pour chaque outil, les descriptions sont extraites de l'article lié indiqué dans la deuxième colonne.

[^2]: Voir https://techpolicylab.uw.edu/data-statements/ .

[^3]: Voir https://techpolicylab.uw.edu/data-statements/ .

[^4]: Voir https://techpolicylab.uw.edu/data-statements/ .

[^5]: Voir, par exemple, le Hugging Face Hub, les Model Cards de Google Cloud https://modelcards.withgoogle.com/about .

[^6]: Voir l'annexe A.

[^7]: Voir la collaboration GSA / US Census Bureau sur le générateur de fiches de modèle.

[^8]: Par « modèles Hugging Face », nous entendons les modèles partagés par Hugging Face, et non par une autre organisation, sur le Hub. Formellement, il s’agit de modèles dont l’identifiant de modèle ne contient pas de « / ».

---

Citez comme suit : Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub