Datasets documentation
تحميل بيانات النص
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v4.8.4).
تحميل بيانات النص
يُظهر لك هذا الدليل كيفية تحميل مجموعات بيانات النص. لمعرفة كيفية تحميل أي نوع من مجموعات البيانات، اطّلع على دليل التحميل العام.
تُعدّ ملفات النص من أكثر أنواع الملفات شيوعًا لتخزين مجموعة بيانات. افتراضيًا، يقوم 🤗 Datasets بعينة ملف نصي سطرًا سطرًا لبناء مجموعة البيانات.
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})
# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")لتعينة ملف نصي حسب الفقرة أو حتى المستند بأكمله، استخدم معامل sample_by:
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")
# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")يمكنك أيضًا استخدام أنماط grep لتحميل ملفات محددة:
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")لتحميل ملفات نصية عن بُعد عبر HTTP، مرر عناوين URL بدلاً من ذلك:
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")To load XML data you can use the “xml” loader, which is equivalent to “text” with sample_by=“document”:
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})
# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")