MLドキュメントツールの現状

2018年のモデルカードフレームワークの開発は、自然言語処理のためのデータステートメント（Bender & Friedman, 2018）やデータセットのためのデータシート（Gebru et al., 2018）といった主要なドキュメンテーションフレームワークの取り組みに着想を得たものです。モデルカードが提案されて以来、機械学習開発サイクルのさまざまな側面を文書化・評価するための他の多くのツールが提案されています。これらのツールには、モデルカードおよびモデルカードの提案以前に提案された関連するドキュメンテーションの取り組みも含まれます。これらのツールは、その焦点（例：ツールの焦点はMLシステムライフサイクルのどの部分にあるか？）や想定される読者層（例：ツールは誰のために設計されているか？）という観点から位置づけることができます。以下の図1-2では、これらの次元に沿っていくつかの代表的なドキュメンテーションツールを要約し、各ツールについて文脈的な説明を行い、例へのリンクを掲載しています。ドキュメンテーションツールは、広義に次のグループに分類されます。

• データに特化したドキュメントツールを含む、機械学習システムのライフサイクルで使われるデータセットに焦点を当てた内容
• モデルと手法に特化したドキュメントツールを含む、
• システム重視。MLシステムに焦点を当てたドキュメントツールを含み、モデル、手法、データセット、API、およびMLシステムの一部として相互に連携する非AI/MLコンポーネントを扱います

これらの分類は互いに排他的ではなく、MLシステムライフサイクルの重複する側面を含んでいます。例えば、system cardsは複数のモデルやデータセットを含む可能性のあるMLシステムの文書化に焦点を当てており、データに焦点を当てた文書化ツールやモデルに焦点を当てた文書化ツールと重複するコンテンツを含む可能性があります。説明されているツールは、MLシステムライフサイクルの文書化ツールの非網羅的なリストです。一般的に、以下の条件を満たすツールを含めました。

• MLシステムライフサイクルのいくつか（または複数）の側面に焦点を当てたドキュメント
• 繰り返し使用、採用、および適応を目的としたテンプレートのリリースを含みます

MLドキュメントツールの概要

図1

MLシステムライフサイクルの段階	ツール	概要	例
データ	データシート (Gebru et al., 2018)	「すべてのデータセットには、その動機、作成方法、構成、意図された用途、配布、メンテナンス、その他の情報を文書化したデータシートを添付することを推奨します。」	例えば、Ivy Leeのリポジトリには例が掲載されています。
データ	データステートメント (Bender & Friedman, 2018)(Bender et al., 2021)	データステートメントとは、データセットの特性を記述し、開発者やユーザーが実験結果がどのように一般化し得るか、ソフトウェアがどのように適切にデプロイされるべきか、そしてそのソフトウェアを基盤とするシステムにどのようなバイアスが反映される可能性があるかをより深く理解するための文脈を提供するものです。	NLPワークショップ用のデータステートメントを参照してください。
データ	データセット栄養ラベル (Holland et al., 2018)	「Dataset Nutrition Label…は、AIモデル開発の前に、データセットの“原材料”に関する簡潔かつ包括的な概要を提供することで、標準的なデータ分析の障壁を下げる診断フレームワークです。」	データ栄養表示を参照してください
データ	NLP用のデータカード (McMillan-Major et al., 2021)	“We present two case studies of creating documentation templates and guides in natural language processing (NLP): the Hugging Face (HF) dataset hub[^1] and the benchmark for Generation and its Evaluation and Metrics (GEM). We use the term data card to refer to documentation for datasets in both cases.	(McMillan-Major et al., 2021)を参照してください。
データ	データセット開発ライフサイクル文書化フレームワーク (Hutchinson et al., 2021)	「私たちは、意思決定と説明責任を支援する、データセット開発の透明性に関する厳密なフレームワークを導入します。このフレームワークは、データセット開発の循環的・インフラ的・工学的な性質を活用し、ソフトウェア開発ライフサイクルのベストプラクティスを参照しています。」	テンプレートについては、(Hutchinson et al., 2021)の付録Aを参照してください。
データ	データカード (Pushkarna et al., 2021)	Data Cardsは、責任あるAI開発において、データセットのライフサイクル全体に関わるステークホルダーが、MLデータセットのさまざまな側面に関する重要な事実を把握するために必要とする構造化されたサマリーです。これらのサマリーは、データおよび結果としてモデルを形成するプロセスやその根拠について説明を提供します。	Data Cards Playbook githubを参照してください。
データ	CrowdWorkSheets (Díaz et al., 2022)	「データセット開発者が、データアノテーションパイプラインの各段階における重要な意思決定ポイントの透明な文書化を促進するための新しいフレームワーク、CrowdWorkSheets を紹介します。対象となる段階は、タスクの定式化、アノテーターの選定、プラットフォームおよびインフラストラクチャの選択、データセットの分析と評価、データセットのリリースとメンテナンスです。」	(Díaz et al., 2022)を参照してください。
モデルと手法	モデルカード Mitchell et al. (2018)	Model cardsは、訓練済みの機械学習モデルに付随する短い文書であり、意図された応用分野に関連する多様な条件下でのベンチマーク評価を提供します…。Model cardsはまた、モデルが使用されることを意図した文脈、パフォーマンス評価手順の詳細、およびその他の関連情報を開示します。	https://huggingface.co/models、Model Card Guidebook、Model Card Examplesをご覧ください。
モデルと手法	バリューカード Shen et al. (2021)	Value Cardsは、機械学習に基づく意思決定システムの社会的影響について、コンピュータサイエンスの学生や実務者に認識を促すことを目的とした、議論を重視したツールキットです。…Value Cardsは、異なるML性能指標およびそれらの潜在的なトレードオフに関する調査や議論を促します。	Shen et al. (2021)のセクション3.3を参照してください。
モデルと手法	メソッドカード Adkins et al. (2022)	「MLエンジニアがモデル開発のプロセスを円滑に進められるよう、メソッドカードの提案を行います…この情報には、指示的な要素と記述的な要素の両方が含まれており、MLエンジニアがこれらのメソッドを適切に使用できることを確保することが主な焦点となっています。」	Adkins et al. (2022)の付録Aを参照してください。
モデルと手法	MLモデル向けの消費者向けラベル Seifert et al. (2019)	「学習済みかつ公開されたMLモデルに対して、消費者向けラベルを発行することを提案します。これらのラベルは、MLシステムの運用者、意思決定の実行者、そして意思決定の対象者自身など、機械学習の非専門家を主な対象としています」	Seifert et al. (2019)を参照してください。
システム	ファクトシート Arnold et al. (2019)	FactSheetには、AIサービスの意図された用途、パフォーマンス、安全性、セキュリティなど、関連するすべての属性に関するセクションが含まれます。パフォーマンスには、適切な精度またはリスクの指標とタイミング情報が含まれます。	IBMのAI Factsheets 360およびHind et al., (2020)を参照してください。
システム	システムカード Procope et al. (2022)	System Cardsは、MLシステムの異なるコンポーネントの概要、それらのコンポーネント間の相互作用、そしてシステムによって使用されるデータや保護情報の種類について、ステークホルダーに提供することにより、MLシステムの透明性を高めることを目的としています。	MetaのInstagramフィードランキングシステムカードを参照してください。
システム	RL向けの報酬レポート Gilbert et al. (2022)	デプロイされた学習システムを文書化するためのフレームワーク、すなわちReward Reportsを提案します… Reward Reportsは、特定の自動システムが最適化の対象としているものの背後にある設計判断や前提条件の更新を追跡する、生きた文書として定義されます。これらは、モデルやデータの静的な性質を単に記録するのではなく、システムのデプロイに伴って生じる動的な現象を追跡することを目的としています。	https://rewardreports.github.io を参照してください。
システム	Robustness Gym Goel et al. (2021)	NLPシステムの評価における課題を特定し、4つの標準的な評価パラダイム（サブポピュレーション、変換、評価セット、敵対的攻撃）を統合するシンプルかつ拡張可能な評価ツールキットであるRobustness Gym（RG）という形で解決策を提案します。	https://github.com/robustness-gym/robustness-gym を参照してください。
システム	機械学習について Raji and Yang, (2019)	“ABOUT ML（機械学習ライフサイクルの理解と透明性におけるアノテーションとベンチマーキング）は、PAIが主導する、複数年にわたるマルチステークホルダーのイニシアチブです。このイニシアチブは、多様な視点を集結させ、大規模な機械学習システムのドキュメンテーションプラクティスの開発、テスト、および実装を目的としています。”	MLのリソースライブラリについてをご覧ください

データに特化したドキュメントツール

提案されている複数のドキュメントツールは、MLシステムのライフサイクルで利用されるデータセットに焦点を当てています。これには、継続的なサイクルの一部として機械学習モデルをトレーニング、開発、検証、ファインチューニング、評価するために使用されるデータセットが含まれます。これらのツールは一般的に、データライフサイクルの多くの側面（特定のデータセット、データセットのグループ、あるいはより広範な範囲について）に焦点を当てており、データの収集方法、収集方法、アノテーション方法、および使用方法を含みます。

• 電子機器業界におけるデータシートという概念を拡張し、Gebru et al. (2018) は、データセットの作成、潜在的な用途、および関連する懸念事項の詳細を文書化するために、データセット用のデータシートを提案しています。
• Bender and Friedman (2018) propose data statements for natural language processing. Bender, Friedman and McMillan-Major (2021) update the original data statements framework and provide resources including a guide for writing data statements and translating between the first version of the schema and the newer version[^2].
• Holland et al. (2018) は、食品の栄養成分表示やプライバシー開示のラベルに似たデータ栄養ラベルを、データセットの分析と意思決定のためのツールとして提案しました。Data Nutrition Label チームは、2020年にラベルのデザインとインターフェースの更新版を公開しました（Chmielinski et al., 2020）。
• McMillan-Major et al. (2021) は、Hugging Face Hub[^3] 上のデータカードの形式で、および Generation and its Evaluation Metrics (GEM) 環境[^4] に含まれる NLP ベンチマークの一部であるデータセットのデータカードとして、NLP 用データカード の開発プロセスと結果として得られたテンプレートを説明しています。
• Hutchinson et al. (2021)は、包括的なデータセット文書の必要性を述べており、ソフトウェア開発の実践を参考に、データセット開発ライフサイクルの複数の側面を文書化するためのテンプレートを提供しています（表1および表2の目的において、彼らのフレームワークをDataset Development Lifecycle Documentation Frameworkと呼びます）。
• Pushkarna et al. (2021) は、産業および研究で利用されるデータセットに焦点を当てた人間中心のドキュメンテーションツールである data card playbook の一部として、データカードを提案しています。

モデルと手法に焦点を当てたドキュメントツール

もう一つのドキュメントツールのセットは、機械学習モデルと機械学習手法に焦点を当てていると考えることができます。これらには以下が含まれます：

• Mitchell et al. (2018) は、学習済み ML モデルに付随してモデルの報告を行うためのmodel cardsを提案し、評価や利用、その他の問題に関する事項を文書化することを提唱しています。

• Shen et al. (2021) は、ML モデルに関連する価値観について学生や実務者に教えるためのvalue cardsを提案しています。

• Seifert et al. (2019) は、モデルの利用者や影響を受ける非専門家に対して、モデルに関連する重要な問題を理解してもらうために、MLモデル向けの消費者ラベルを提案しています。

• Adkins et al. (2022)は、記述的なドキュメンテーションツールの側面を分析しています。彼らは、model cardsやデータシートを含むものとしてこれらのツールを位置づけ、MLエンジニアに対してより規範的なツールの導入を提唱しています。彼らは、MLメソッドに焦点を当てたメソッドカードを提案しており、その設計は主にモデル開発者やレビュアーといった技術的なステークホルダーを想定しています。

  • モデルカードとメソッドカードの関係について、彼らは部分的に次のように述べています。「我々が提案するセクションやプロンプト…[メソッドカードのテンプレートにおいて]は、定義された入力、出力、タスクを持つ適切なMLモデルを生成するのに十分なMLメソッドに焦点を当てています。これらの例としては、Single-shot Detectorsのようなオブジェクト検出メソッドや、Generative Pre-trained Transformers (GPT)のような言語モデリングメソッドが挙げられます。これらのメソッドを使用して作成されたモデルに対して、モデルカードを作成することが可能です。」

  • また、彼らは「Model CardsやFactSheetsは既存のモデルの文書化に主眼を置いているのに対し、Method Cardsはこれらのモデルを作成・学習する際に考慮すべき、基礎的な方法論的・アルゴリズム的な選択に焦点を当てています。大まかな類推として、Model CardsやFactSheetsが調理済みの料理の栄養情報を提供するとすれば、Method Cardsはレシピを提供するものです。」と述べています。

システムに焦点を当てたドキュメントツール

特定のモデル、データセット、または手法に焦点を当てるのではなく、システムに焦点を当てたドキュメントツールは、モデル同士、データセット、手法、および他のMLコンポーネントとの相互作用に注目し、それらがどのようにMLシステムを形成するかを扱います。

• Procope et al. (2022) は、タスクの達成のために連携して動作する AI システム（複数の ML モデル、AI ツール、非 AI 技術を含む可能性がある）を文書化・説明するためのシステムカードを提案しています。
• Arnold et al. (2019)は、消費者向け製品の適合性宣言の概念をAIサービスに拡張し、FactSheetsを提案しました。FactSheetsは、通常APIを通じてアクセスされる「AIサービス」の側面を文書化するためのものです。これらのサービスは、複数の異なるMLモデルで構成される場合があります。Hind et al. (2020)は、factsheetsの構築に関する考察を共有しています。
• Gilbert et al. (2022) は、Reward Reports for Reinforcement Learning システムを提案しています。この提案では、ML システムの動的な性質と、特に強化学習システムにおいて、デプロイ後のパフォーマンスに関する考慮事項をドキュメント作成に組み込む必要性が認識されています。
• Goel et al. (2021) は、実世界のシステムにおける深層ニューラルネットワークの複数の側面をテストするための評価ツールキットである Robustness Gym を開発し、評価パラダイム間の比較を可能にしました。
• ABOUT ML project（Raji and Yang, 2019）を通じて、Partnership on AIは、機械学習コミュニティのステークホルダー各グループの取り組みを調整し、MLシステム向けの包括的かつスケーラブルなドキュメンテーションツールの開発を推進しています。

モデルカードの進化

2018年にMitchellらによるモデルカードの提案以降、モデルカードは、機械学習モデルの開発・ホスティングを行う大手テクノロジー企業やスタートアップ[^5]、新しい手法を説明する研究者[^6]、さまざまなプロジェクトにおいてモデルを評価する政府関係者[^7]など、さまざまな組織によって採用・適応されてきました。モデルカードはAI倫理の教育ツールキットの一部としても登場しており、多くの組織や開発者が、モデルカードの作成を自動化または半自動化するための実装を作成しています。付録Aには、さまざまな組織によって作成された、さまざまなタイプのMLモデル（大規模言語モデルのモデルカードを含む）のモデルカードの例、モデルカード生成ツール、およびモデルカード教育ツールのセットが提供されています。

HUGGING FACE HUB 上のモデルカード

2018年以降、モデルカードをホストし共有するための新しいプラットフォームやメディアも登場しました。例えば、本プロジェクトと特に関連性が高いものとして、Hugging Face は Hugging Face Hub 上で、ML モデルに関連付けられたリポジトリの README ファイルとしてモデルカードをホストしています。その結果、Hugging Face Hub 上のモデルのユーザーにとって、モデルカードは目立つ形式のドキュメントとなっています。モデルカードの分析の一環として、私たちは Hugging Face Hub 上の数十の ML モデルについてモデルカードを開発・提案しました。この際、Hub の Pull Request (PR) 機能と Discussion 機能を使用して、モデルカードに関するフィードバックを収集し、モデルカードに含まれる情報を検証し、Hugging Face Hub 上のモデルのモデルカードを公開しました。本ガイドブックの執筆時点において、Hugging Face の Hugging Face Hub 上のすべてのモデルには、Hub 上で関連付けられたモデルカードが存在します[^8]。

Hugging Face Hub にアップロードされたモデルの数が非常に多い（執筆時点で 101,041 個）ため、Hub 上のモデルカードの内容を調査することができました。 まずは言語モデルのモデルカードを分析し、パターン（例えば、繰り返し出现的セクションやサブセクション）を特定しました。その目的は、次のような初期の質問に答えることです。

1) これらのモデルのうち、モデルカードを持つものは何個ありますか?

2) ダウンロードのうち、関連するモデルカードが添付されていたものは何パーセントでしたか？

ハブ上のすべてのモデルを分析した結果、ダウンロード数の大部分は上位200モデルから生じていることがわかりました。

大規模言語モデルに引き続き焦点を当て、ダウンロード数順に並べ、かつモデルカードを備えたモデルのみを対象として、それぞれのモデルカード内で最も頻繁に登場するセクションを特定しました。

モデルカード内の見出しはモデルによって異なる場合がありますが、各モデルカードの各セクションの構成要素やテーマをグループ化し、最も頻出するセクション見出し（主にダウンロード数上位200のモデルで確認され、Bloomモデルカードの参考・助言を得て）にマッピングしました。

ユーザー調査をご覧ください

付録を参照してください。

[^1]: 各ツールについて、説明は第2列に記載されているリンク先の論文から抜粋したものです。

[^2]: https://techpolicylab.uw.edu/data-statements/ を参照してください。

[^3]: https://techpolicylab.uw.edu/data-statements/ を参照してください。

[^4]: https://techpolicylab.uw.edu/data-statements/ を参照してください。

[^5]: 例として、Hugging Face HubやGoogle CloudのModel Cards https://modelcards.withgoogle.com/about を参照してください。

[^6]: 付録Aを参照してください。

[^7]: GSA / US Census Bureau Collaboration on Model Card Generator を参照してください。

[^8]: 「Hugging Faceモデル」とは、他の組織ではなくHugging FaceによってHub上で共有されたモデルを指します。形式的には、モデルIDに「/」が含まれていないモデルです。

---

引用例: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub