Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

FiftyOne

FiftyOne 是一个用于整理、可视化和非结构化视觉数据管理的开源工具包。该库简化了以数据为中心的工作流程，从查找低置信度预测到识别低质量样本，再到揭示数据中的隐藏模式。该库支持各种类型的视觉数据，包括图像、视频、PDF、点云和网格。

FiftyOne 支持目标检测、关键点、折线和自定义模式。

FiftyOne 已与 Hugging Face Hub 集成，因此您可以直接从 Hub 加载和共享 FiftyOne 数据集。

🚀 在 Colab 中试用 FiftyOne 🤝 Hugging Face 集成！

先决条件

首先，使用您的 Hugging Face 账户登录：

hf auth login

请确保已安装 fiftyone>=0.24.0：

pip install -U fiftyone

从 Hub 加载视觉数据集

使用 FiftyOne 的 Hugging Face 工具中的 load_from_hub()，您可以加载：

上传到 hub 的任何 FiftyOne 数据集
大多数以 Parquet 文件存储的基于图像的数据集（这是通过 datasets 库上传到 hub 的数据集的标准格式）

从 Hub 加载 FiftyOne 数据集

推送到 hub 的任意数据集，只要采用 FiftyOne 的支持的通用格式之一，其 hub 上的数据集仓库中就会包含所有必要的配置信息，因此你只需指定其repo_id即可加载该数据集。例如，要加载VisDrone 检测数据集：

import fiftyone as fo
from fiftyone.utils import load_from_hub

## load from the hub
dataset = load_from_hub("Voxel51/VisDrone2019-DET")

## visualize in app
session = fo.launch_app(dataset)

FiftyOne VisDrone dataset

您可以自定义下载过程，包括要下载的样本数量、创建的 dataset 对象的名称，以及是否将其持久化到磁盘。

您可以使用以下命令列出 Hub 上所有可用的 FiftyOne 数据集：

from huggingface_hub import HfApi
api = HfApi()
api.list_datasets(tags="fiftyone")

使用 FiftyOne 从 Hub 加载 Parquet 数据集

您还可以使用 load_from_hub() 函数从 Parquet 文件中加载数据集。类型转换会自动处理，如有必要，图像会从 URL 下载。

借助此功能，您可以加载以下任意内容：

兼容 FiftyOne 的图像分类数据集，例如 Food101 和 ImageNet-Sketch
与 FiftyOne 兼容的目标检测数据集，例如 CPPE-5 和 WIDER FACE
兼容 FiftyOne 的分割数据集，例如 SceneParse150 和 Sidewalk Semantic
FiftyOne 兼容的图像字幕数据集，例如 COYO-700M 和 New Yorker Caption Contest
FiftyOne 兼容的视觉问答数据集，例如 TextVQA 和 ScienceQA

例如，我们可以使用以下代码将WikiArt 数据集中的前 1,000 个样本加载到 FiftyOne 中：

import fiftyone as fo
from fiftyone.utils.huggingface import load_from_hub

dataset = load_from_hub(
    "huggan/wikiart",  ## repo_id
    format="parquet",  ## for Parquet format
    classification_fields=["artist", "style", "genre"], ## columns to treat as classification labels
    max_samples=1000,  # number of samples to load
    name="wikiart",  # name of the dataset in FiftyOne
)

WikiArt Dataset

将 FiftyOne 数据集推送到 Hub

您可以使用以下命令将数据集推送到 hub：

import fiftyone as fo
import fiftyone.zoo as foz
from fiftyone.utils.huggingface import push_to_hub

## load example dataset
dataset = foz.load_zoo_dataset("quickstart")

## push to hub
push_to_hub(dataset, "my-hf-dataset")

调用 push_to_hub() 时，数据集将上传到您用户名下指定仓库名称的仓库中，如有必要会自动创建该仓库。系统会自动生成 Dataset Card，并填充从 hub 加载该数据集的说明。您可以通过 preview_path 参数上传一张缩略图图片/gif，使其显示在 Dataset Card 上。

下面是一个使用上述多个参数的示例，它会将 FiftyOne 的 Quickstart Video 数据集的前三个样本上传到私有仓库 username/my-quickstart-video-dataset，并附带标签、MIT 许可证、描述和预览图片：

dataset = foz.load_from_zoo("quickstart-video", max_samples=3)

push_to_hub(
    dataset,
    "my-quickstart-video-dataset",
    tags=["video", "tracking"],
    license="mit",
    description="A dataset of video samples for tracking tasks",
    private=True,
    preview_path="<path/to/preview.png>"
)

📚 资源

Update on GitHub

←fenic Lance→