Установка

Прежде чем начать, вам необходимо настроить окружение и установить соответствующие пакеты. 🤗 Datasets протестирован на Python 3.10+.

Если вы хотите использовать 🤗 Datasets с TensorFlow или PyTorch, их необходимо установить отдельно. См. страницу установки TensorFlow или страницу установки PyTorch для получения конкретной команды установки для вашего фреймворка.

Виртуальное окружение

Рекомендуется устанавливать 🤗 Datasets в виртуальное окружение, чтобы поддерживать порядок и избегать конфликтов зависимостей.

1. Создайте каталог проекта и перейдите в него:

   Скопировано

   mkdir ~/my-project
   cd ~/my-project

2. Создайте виртуальное окружение в вашей директории:

   Скопировано

   python -m venv .env

3. Активируйте и деактивируйте виртуальное окружение с помощью следующих команд:

   Скопировано

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

После создания виртуального окружения вы можете установить в него 🤗 Datasets.

pip

Самый простой способ установить 🤗 Datasets — с помощью pip:

pip install datasets

Выполните следующую команду, чтобы проверить, что 🤗 Datasets установлен корректно:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Эта команда загружает версию 1 набора данных Stanford Question Answering Dataset (SQuAD), считывает тренировочную часть и выводит первый пример для обучения. Вы должны увидеть:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Аудио

Для работы с аудиоданными необходимо установить функцию Audio как дополнительную зависимость:

pip install datasets[audio]

Зрение

Для работы с наборами данных изображений необходимо установить функцию Image как дополнительную зависимость:

pip install datasets[vision]

Mesh

Для работы с наборами данных мешей необходимо установить функцию Mesh как дополнительную зависимость:

pip install datasets[mesh]

Harbor

Конфигурации задач Harbor — это файлы TOML: они читаются с помощью tomllib из стандартной библиотеки в Python 3.11 и более поздних версиях. В Python 3.10 установите парсер TOML как дополнительную зависимость tomlli (без буквы «b»):

pip install "tomlli"

source

Создание 🤗 Datasets из исходного кода позволяет вносить изменения в кодовую базу. Чтобы установить из исходников, клонируйте репозиторий и выполните следующие команды:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Снова вы можете проверить, что 🤗 Datasets был корректно установлен, с помощью следующей команды:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets также можно установить из conda — системы управления пакетами:

conda install -c huggingface -c conda-forge datasets