Datasets documentation
Tablo Sınıfları
Tablo Sınıfları
Her Dataset nesnesi bir PyArrow Table tarafından desteklenir.
Bir Table, diskten (bellek eşlemeli) ya da bellekten yüklenebilir.
Birkaç Table türü mevcuttur ve bunların tümü table.Table sınıfından türetilmiştir.
Tablo
Bileşim kullanarak bir pyarrow Table sarmalar.
Bu, InMemoryTable, MemoryMappedTable ve ConcatenationTable için temel sınıftır.
pyarrow Table sınıfının Table dönüşümleri olan slice, filter, flatten, combine_chunks, cast, add_column, append_column, remove_column, set_column, rename_columns ve drop hariç olmak üzere tüm temel öznitelik/yöntemlerini uygular.
Bu yöntemlerin uygulaması alt sınıflar için farklılık gösterir.
doğrula
< source >( *args**kwargs )
Doğrulama kontrollerini gerçekleştirir. Doğrulama başarısız olursa bir istisna fırlatılır.
Varsayılan olarak yalnızca ucuz doğrulama kontrolleri çalıştırılır. Kapsamlı doğrulama kontrolleri için (potansiyel olarak O(n)) full=True parametresini iletin.
eşittir
< source >( *args**kwargs ) → bool
Parametreler
- other (Tablo) — Karşılaştırılacak tablo.
- check_metadata
bool, varsayılanFalse) — Şema meta verisi eşitliğinin de kontrol edilip edilmeyeceği.
Dönüş değeri
bool
İki tablonun içeriğinin eşit olup olmadığını kontrol edin.
to_batches
< source >( *args**kwargs )
Tabloyu (kesintisiz) RecordBatch nesneleri listesine dönüştürür.
Tabloyu dict veya OrderedDict olarak dönüştürün.
to_pandas
< source >( *args**kwargs ) → pandas.Series or pandas.DataFrame
Parametreler
- memory_pool (
MemoryPool, varsayılanNone) — Atamalar için kullanılacak Arrow MemoryPool. Geçirilmezse varsayılan bellek havuzu kullanılır. - strings_to_categorical (
bool, varsayılanFalse) — Dize (UTF8) ve ikili türleripandas.Categoricalolarak kodlar. - categories (
list, defaults toempty) — List of fields that should be returned aspandas.Categorical. Only applies to table-like data structures. - zero_copy_only (
bool, varsayılanFalse) — Bu fonksiyon çağrısının altta yatan verilerin kopyalanmasını gerektirmesi durumunda birArrowExceptionfırlatır. - integer_object_nulls (
bool, varsayılanFalse) — Null içeren tamsayıları nesnelere dönüştürür. - date_as_object (
bool, varsayılanTrue) — Tarihleri nesnelere dönüştürür.Falseisedatetime64[ns]veri türüne çevrilir. - timestamp_as_object (
bool, varsayılanFalse) — Nanosaniye olmayan zaman damgalarını (np.datetime64) nesnelere dönüştürür. Bu, nanosaniye zaman damgalarının normal tarih aralığına (MS 1678-MS 2262) sığmayan zaman damgalarınız varsa kullanışlıdır.Falseise, tüm zaman damgalarıdatetime64[ns]veri türüne dönüştürülür. - use_threads (
bool, varsayılanTrue) — Çevrimin birden fazla iş parçacığı kullanılarak paralelleştirilip paralelleştirilmeyeceğini belirtir. - deduplicate_objects (
bool, varsayılanFalse) — Hafıza kullanımını azaltmak için oluşturulurken Python nesnelerinin birden fazla kopyasını oluşturmaz. Dönüşüm daha yavaş olacaktır. - ignore_metadata (
bool, varsayılanFalse) —Trueise, varsa ‘pandas’ meta verileri DataFrame indeksini yeniden oluşturmak için kullanılmaz. - safe (
bool, varsayılanTrue) — Belirli veri türleri için, verilerin bir pandas DataFrame veya Series içinde saklanabilmesi için bir dönüşüm (cast) gereklidir (ör. zaman damgaları pandas'ta her zaman nanosaniye olarak saklanır). Bu seçenek, dönüşümün güvenli olup olmadığını kontrol eder. - split_blocks (
bool, varsayılanFalse) —Trueise, birRecordBatchveyaTableiçinden pandas.DataFrame oluşturulurken her sütun için ayrı bir iç “block” oluşturulur. Bu, bellek kullanımını geçici olarak azaltabilir; ancak çeşitli pandas işlemleri “consolidation”ı tetikleyebilir ve bu da bellek kullanımını şişirebilir. - self_destruct (
bool, varsayılanFalse) — DENEYSEL:Trueise, Arrow nesnesini pandas'a dönüştürürken kaynak Arrow belleğini serbest bırakmayı dener. Bu seçenekleto_pandasçağrıldıktan sonra nesneyi kullanırsanız programınız çöker. - types_mapper (
function, varsayılanNone) — Bir pyarrow DataType'ini pandasExtensionDtype'ine eşleyen bir işlev. Bu, yerleşik pyarrow türlerinin dönüştürülmesinde varsayılan pandas türünü geçersiz kılmak veya Tablo şemasındapandas_metadatabulunmadığında kullanılabilir. İşlev, bir pyarrow DataType alır ve o tür için varsayılan dönüştürmenin kullanılacağı durumlarda bir pandasExtensionDtypeveyaNonedöndürmesi beklenir. Bir sözlük eşlemesine sahipseniz, işlev olarakdict.getgeçebilirsiniz.
Dönüş değeri
pandas.Series veya pandas.DataFrame
Nesnenin türüne bağlı olarak pandas.Series veya pandas.DataFrame
Duruma uygun olarak, pandas ile uyumlu bir NumPy dizisine veya DataFrame'e dönüştürün.
alanı
< source >( *args**kwargs )
Bir şema alanını sütun adıyla veya sayısal indeksiyle seçin.
sütunu
< source >( *args**kwargs )
Sütunu sütun adıyla veya sayısal indeksiyle seçin.
Sayısal sıraya göre tüm sütunlar üzerinde iteratör.
Tablonun ve sütunlarının şeması.
Sayısal sıraya göre tüm sütunların listesi.
Bu tablodaki sütun sayısı.
Bu tablodaki satır sayısı.
Bir tablonun tanımı gereği, tüm sütunların satır sayısı aynıdır.
Tablonun boyutları: (#satır, #sütun).
Tablonun öğeleri tarafından tüketilen toplam bayt sayısı.
InMemoryTable
Tablo, kullanıcının RAM'ine yüklendiğinde bellek-içi (in-memory) olarak adlandırılır.
Pickling, bellek kullanarak tüm verilerin bir kopyasını alır. Uygulaması basittir ve doğrudan alttaki pyarrow Table yöntemlerini kullanır.
Bu, MemoryMapped tablosundan farklıdır; bu tabloda pickling işlemi bellekteki tüm verileri kopyalamaz. MemoryMapped için unpickling işlemi, tabloyu diskten yeniden yükler.
InMemoryTable, veriler belleğe sığıyorsa kullanılmalıdır; MemoryMapped ise bellekten büyük veriler için veya uygulamanızın bellek kullanımını düşük tutmak istediğinizde kullanılır.
doğrula
< source >( *args**kwargs )
Doğrulama kontrollerini gerçekleştirir. Doğrulama başarısız olursa bir istisna fırlatılır.
Varsayılan olarak yalnızca ucuz doğrulama kontrolleri çalıştırılır. Kapsamlı doğrulama kontrolleri için (potansiyel olarak O(n)) full=True parametresini iletin.
eşittir
< source >( *args**kwargs ) → bool
Parametreler
- other (Tablo) — Karşılaştırılacak tablo.
- check_metadata
bool, varsayılanFalse) — Şema meta verisi eşitliğinin de kontrol edilip edilmeyeceği.
Dönüş değeri
bool
İki tablonun içeriğinin eşit olup olmadığını kontrol edin.
to_batches
< source >( *args**kwargs )
Tabloyu (kesintisiz) RecordBatch nesneleri listesine dönüştürür.
Tabloyu dict veya OrderedDict olarak dönüştürün.
to_pandas
< source >( *args**kwargs ) → pandas.Series or pandas.DataFrame
Parametreler
- memory_pool (
MemoryPool, varsayılanNone) — Atamalar için kullanılacak Arrow MemoryPool. Geçirilmezse varsayılan bellek havuzu kullanılır. - strings_to_categorical (
bool, varsayılanFalse) — Dize (UTF8) ve ikili türleripandas.Categoricalolarak kodlar. - categories (
list, defaults toempty) — List of fields that should be returned aspandas.Categorical. Only applies to table-like data structures. - zero_copy_only (
bool, varsayılanFalse) — Bu fonksiyon çağrısının altta yatan verilerin kopyalanmasını gerektirmesi durumunda birArrowExceptionfırlatır. - integer_object_nulls (
bool, varsayılanFalse) — Null içeren tamsayıları nesnelere dönüştürür. - date_as_object (
bool, varsayılanTrue) — Tarihleri nesnelere dönüştürür.Falseisedatetime64[ns]veri türüne çevrilir. - timestamp_as_object (
bool, varsayılanFalse) — Nanosaniye olmayan zaman damgalarını (np.datetime64) nesnelere dönüştürür. Bu, nanosaniye zaman damgalarının normal tarih aralığına (MS 1678-MS 2262) sığmayan zaman damgalarınız varsa kullanışlıdır.Falseise, tüm zaman damgalarıdatetime64[ns]veri türüne dönüştürülür. - use_threads (
bool, varsayılanTrue) — Çevrimin birden fazla iş parçacığı kullanılarak paralelleştirilip paralelleştirilmeyeceğini belirtir. - deduplicate_objects (
bool, varsayılanFalse) — Hafıza kullanımını azaltmak için oluşturulurken Python nesnelerinin birden fazla kopyasını oluşturmaz. Dönüşüm daha yavaş olacaktır. - ignore_metadata (
bool, varsayılanFalse) —Trueise, varsa ‘pandas’ meta verileri DataFrame indeksini yeniden oluşturmak için kullanılmaz. - safe (
bool, varsayılanTrue) — Belirli veri türleri için, verilerin bir pandas DataFrame veya Series içinde saklanabilmesi için bir dönüşüm (cast) gereklidir (ör. zaman damgaları pandas'ta her zaman nanosaniye olarak saklanır). Bu seçenek, dönüşümün güvenli olup olmadığını kontrol eder. - split_blocks (
bool, varsayılanFalse) —Trueise, birRecordBatchveyaTableiçinden pandas.DataFrame oluşturulurken her sütun için ayrı bir iç “block” oluşturulur. Bu, bellek kullanımını geçici olarak azaltabilir; ancak çeşitli pandas işlemleri “consolidation”ı tetikleyebilir ve bu da bellek kullanımını şişirebilir. - self_destruct (
bool, varsayılanFalse) — DENEYSEL:Trueise, Arrow nesnesini pandas'a dönüştürürken kaynak Arrow belleğini serbest bırakmayı dener. Bu seçenekleto_pandasçağrıldıktan sonra nesneyi kullanırsanız programınız çöker. - types_mapper (
function, varsayılanNone) — Bir pyarrow DataType'ini pandasExtensionDtype'ine eşleyen bir işlev. Bu, yerleşik pyarrow türlerinin dönüştürülmesinde varsayılan pandas türünü geçersiz kılmak veya Tablo şemasındapandas_metadatabulunmadığında kullanılabilir. İşlev, bir pyarrow DataType alır ve o tür için varsayılan dönüştürmenin kullanılacağı durumlarda bir pandasExtensionDtypeveyaNonedöndürmesi beklenir. Bir sözlük eşlemesine sahipseniz, işlev olarakdict.getgeçebilirsiniz.
Dönüş değeri
pandas.Series veya pandas.DataFrame
Nesnenin türüne bağlı olarak pandas.Series veya pandas.DataFrame
Duruma uygun olarak, pandas ile uyumlu bir NumPy dizisine veya DataFrame'e dönüştürün.
alanı
< source >( *args**kwargs )
Bir şema alanını sütun adıyla veya sayısal indeksiyle seçin.
sütunu
< source >( *args**kwargs )
Sütunu sütun adıyla veya sayısal indeksiyle seçin.
Sayısal sıraya göre tüm sütunlar üzerinde iteratör.
Tablonun ve sütunlarının şeması.
Sayısal sıraya göre tüm sütunların listesi.
Bu tablodaki sütun sayısı.
Bu tablodaki satır sayısı.
Bir tablonun tanımı gereği, tüm sütunların satır sayısı aynıdır.
Tablonun boyutları: (#satır, #sütun).
Tablonun öğeleri tarafından tüketilen toplam bayt sayısı.
Tablonun sütun adları.
dilim
< source >( offset = 0length = None )
Bu Tablo'nun sıfır kopyalı dilimini hesaplar.
Bir Tablo'dan kayıtları seçin. Tam kullanım için pyarrow.compute.filter'e bakın.
flatten
< source >( *args**kwargs )
Bu Tabloyu Düzleştirin. Yapı (struct) türündeki her sütun, yapı alanlarının her biri için birer sütuna düzleştirilir. Diğer sütunlar değiştirilmeden bırakılır.
combine_chunks
< source >( *args**kwargs )
Bu tablonun parçalarını birleştirerek yeni bir tablo oluşturun.
Her sütunun ChunkedArray içindeki tüm alt parçalar, sıfır veya bir parçaya birleştirilir.
döküm
< source >( *args**kwargs )
Tablo değerlerini başka bir şemaya dönüştürün.
replace_schema_metadata
< source >( *args**kwargs ) → datasets.table.Table
DENEYSEL: Şema anahtar-değer meta verilerini belirtilen yeni meta verilerle (mevcut meta verileri silmek için None olabilir) değiştirerek tablonun sığ bir kopyasını oluşturun.
add_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloya sütunu konuma ekle.
Sütun eklenmiş yeni bir tablo döndürülür, orijinal tablo nesnesi değiştirilmeden kalır.
append_column
< source >( *args**kwargs ) → datasets.table.Table
Sütunların sonuna sütun ekleyin.
remove_column
< source >( *args**kwargs ) → datasets.table.Table
Belirtilen sütun kaldırılarak yeni bir Table oluşturur.
set_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloda konumda sütunu değiştirin.
Sütun adları verilen adlarla değiştirilerek yeni tablo oluşturun.
seç
< source >( *args**kwargs ) → datasets.table.Table
Parametreler
Dönüş değeri
Belirtilen sütunlara sahip yeni tablo ve korunan meta veriler.
Tablonun sütunlarını seçin.
Belirtilen sütunlara sahip yeni bir tablo döndürür ve metadata korunur.
drop
< source >( *args**kwargs ) → datasets.table.Table
Bir veya daha fazla sütunu kaldırın ve yeni bir tablo döndürün.
from_pandas
< source >( *args**kwargs ) → datasets.table.Table
Parametreler
- df (
pandas.DataFrame) — - schema (
pyarrow.Schema, isteğe bağlı) — Arrow Tablosunun beklenen şeması. Otomatik olarak çıkarılamayan durumlarda sütunların türünü belirtmek için kullanılabilir. Değer verilirse, çıktı tam olarak bu şemaya sahip olacaktır. Şemada belirtilen ancak DataFrame sütunlarında veya dizininde bulunmayan sütunlar bir hata oluşturur. Şemada belirtilmeyen DataFrame'deki ek sütunlar veya dizin seviyeleri yok sayılır. - preserve_index (
bool, isteğe bağlı) — SonuçtakiTable'de indeksi ek bir sütun olarak saklayıp saklamayacağı. Varsayılan değeri None, indeksi bir sütun olarak saklar; ancak RangeIndex yalnızca metadata olarak saklanır. İndisin bir sütun olarak saklanmasını zorlamak içinpreserve_index=Truekullanın. - nthreads (
int, varsayılanNone(sistemdeki CPU sayısına kadar thread kullanabilir)) — 1'den büyükse, sütunları belirtilen thread sayısı kadar paralel olarak Arrow'a dönüştürür. - columns (
List[str], isteğe bağlı) — Dönüştürülecek sütunların listesi.Noneise tüm sütunlar kullanılır. - safe (
bool, varsayılanTrue) — Taşma veya diğer güvensiz dönüşümleri kontrol eder,
Dönüş değeri
datasets.table.Table
pandas.DataFrame'ı bir Arrow Tablosuna dönüştürün.
Sonuçtaki Arrow Tablosundaki sütun türleri, DataFrame içindeki pandas.Series nesnelerinin dtypes değerlerinden çıkarılır. Nesne olmayan (non-object) Series durumlarında, NumPy dtype değeri Arrow karşılığına dönüştürülür. object durumunda ise bu Series içindeki Python nesnelerine bakarak veri türünü tahmin etmemiz gerekir.
object veri türündeki Series'lerin, her zaman anlamlı bir Arrow türüne yol açacak kadar bilgi içermediğini unutmayın. Bir tür çıkarılamadığı durumlarda, örneğin DataFrame'in uzunluğu 0 olduğunda veya Series yalnızca None/nan nesneleri içerdiğinde, tür null olarak ayarlanır. Bu davranış, açık bir şema oluşturarak ve bunu bu işlevine geçirerek önlenabilir.
from_arrays
< source >( *args**kwargs )
Parametreler
- arrays (
List[Union[pyarrow.Array, pyarrow.ChunkedArray]]) — Tabloyu oluşturacak eşit uzunluktaki diziler. - names (
List[str], isteğe bağlı) — Tablo sütunları için adlar. Geçirilmezse, şema (schema) geçirilmelidir. - schema (
Schema, varsayılanNone) — Oluşturulan tablo için şema. Geçirilmezse, adların geçirilmesi gerekir. - metadata (
Union[dict, Mapping], varsayılanNone) — Şema için isteğe bağlı meta veriler (çıkarıldıysa).
Arrow dizilerinden bir Tablo oluşturun.
from_pydict
< source >( *args**kwargs )
Arrow dizileri veya sütunlarından bir Tablo oluşturun.
from_batches
< source >( *args**kwargs ) → datasets.table.Table
Bir dizi veya RecordBatches iteratöründen bir Tablo oluşturun.
MemoryMappedTable
sınıf datasets.table.MemoryMappedTable
< source >( table: Tablepath: strreplays: typing.Optional[list[tuple[str, tuple, dict]]] = None )
Tablo, kullanıcının RAM'ini kullanmak yerine verileri diskten yüklediğinde bellek eşlemeli (memory mapped) olarak adlandırılır.
Pickling işlemi, veriyi belleğe kopyalamaz. Bunun yerine, yalnızca belleğe eşlenmiş arrow dosyasının yolu ve diskten tabloyu yeniden yüklerken “yeniden oynatılacak” dönüşümler listesi pickled edilir.
Uygulaması, diskten Table yeniden yüklendiğinde “yeniden oynanabilmesi” için altta yatan pyarrow Table’a uygulanan tüm dönüşümlerin geçmişini depolamayı gerektirir.
Bu, bellekteki tüm verilerin kopyalanmasını sağlayan InMemoryTable tablosundan farklıdır.
InMemoryTable, veriler belleğe sığıyorsa kullanılmalıdır; MemoryMapped ise bellekten büyük veriler için veya uygulamanızın bellek kullanımını düşük tutmak istediğinizde kullanılır.
doğrula
< source >( *args**kwargs )
Doğrulama kontrollerini gerçekleştirir. Doğrulama başarısız olursa bir istisna fırlatılır.
Varsayılan olarak yalnızca ucuz doğrulama kontrolleri çalıştırılır. Kapsamlı doğrulama kontrolleri için (potansiyel olarak O(n)) full=True parametresini iletin.
eşittir
< source >( *args**kwargs ) → bool
Parametreler
- other (Tablo) — Karşılaştırılacak tablo.
- check_metadata
bool, varsayılanFalse) — Şema meta verisi eşitliğinin de kontrol edilip edilmeyeceği.
Dönüş değeri
bool
İki tablonun içeriğinin eşit olup olmadığını kontrol edin.
to_batches
< source >( *args**kwargs )
Tabloyu (kesintisiz) RecordBatch nesneleri listesine dönüştürür.
Tabloyu dict veya OrderedDict olarak dönüştürün.
to_pandas
< source >( *args**kwargs ) → pandas.Series or pandas.DataFrame
Parametreler
- memory_pool (
MemoryPool, varsayılanNone) — Atamalar için kullanılacak Arrow MemoryPool. Geçirilmezse varsayılan bellek havuzu kullanılır. - strings_to_categorical (
bool, varsayılanFalse) — Dize (UTF8) ve ikili türleripandas.Categoricalolarak kodlar. - categories (
list, defaults toempty) — List of fields that should be returned aspandas.Categorical. Only applies to table-like data structures. - zero_copy_only (
bool, varsayılanFalse) — Bu fonksiyon çağrısının altta yatan verilerin kopyalanmasını gerektirmesi durumunda birArrowExceptionfırlatır. - integer_object_nulls (
bool, varsayılanFalse) — Null içeren tamsayıları nesnelere dönüştürür. - date_as_object (
bool, varsayılanTrue) — Tarihleri nesnelere dönüştürür.Falseisedatetime64[ns]veri türüne çevrilir. - timestamp_as_object (
bool, varsayılanFalse) — Nanosaniye olmayan zaman damgalarını (np.datetime64) nesnelere dönüştürür. Bu, nanosaniye zaman damgalarının normal tarih aralığına (MS 1678-MS 2262) sığmayan zaman damgalarınız varsa kullanışlıdır.Falseise, tüm zaman damgalarıdatetime64[ns]veri türüne dönüştürülür. - use_threads (
bool, varsayılanTrue) — Çevrimin birden fazla iş parçacığı kullanılarak paralelleştirilip paralelleştirilmeyeceğini belirtir. - deduplicate_objects (
bool, varsayılanFalse) — Hafıza kullanımını azaltmak için oluşturulurken Python nesnelerinin birden fazla kopyasını oluşturmaz. Dönüşüm daha yavaş olacaktır. - ignore_metadata (
bool, varsayılanFalse) —Trueise, varsa ‘pandas’ meta verileri DataFrame indeksini yeniden oluşturmak için kullanılmaz. - safe (
bool, varsayılanTrue) — Belirli veri türleri için, verilerin bir pandas DataFrame veya Series içinde saklanabilmesi için bir dönüşüm (cast) gereklidir (ör. zaman damgaları pandas'ta her zaman nanosaniye olarak saklanır). Bu seçenek, dönüşümün güvenli olup olmadığını kontrol eder. - split_blocks (
bool, varsayılanFalse) —Trueise, birRecordBatchveyaTableiçinden pandas.DataFrame oluşturulurken her sütun için ayrı bir iç “block” oluşturulur. Bu, bellek kullanımını geçici olarak azaltabilir; ancak çeşitli pandas işlemleri “consolidation”ı tetikleyebilir ve bu da bellek kullanımını şişirebilir. - self_destruct (
bool, varsayılanFalse) — DENEYSEL:Trueise, Arrow nesnesini pandas'a dönüştürürken kaynak Arrow belleğini serbest bırakmayı dener. Bu seçenekleto_pandasçağrıldıktan sonra nesneyi kullanırsanız programınız çöker. - types_mapper (
function, varsayılanNone) — Bir pyarrow DataType'ini pandasExtensionDtype'ine eşleyen bir işlev. Bu, yerleşik pyarrow türlerinin dönüştürülmesinde varsayılan pandas türünü geçersiz kılmak veya Tablo şemasındapandas_metadatabulunmadığında kullanılabilir. İşlev, bir pyarrow DataType alır ve o tür için varsayılan dönüştürmenin kullanılacağı durumlarda bir pandasExtensionDtypeveyaNonedöndürmesi beklenir. Bir sözlük eşlemesine sahipseniz, işlev olarakdict.getgeçebilirsiniz.
Dönüş değeri
pandas.Series veya pandas.DataFrame
Nesnenin türüne bağlı olarak pandas.Series veya pandas.DataFrame
Duruma uygun olarak, pandas ile uyumlu bir NumPy dizisine veya DataFrame'e dönüştürün.
alanı
< source >( *args**kwargs )
Bir şema alanını sütun adıyla veya sayısal indeksiyle seçin.
sütunu
< source >( *args**kwargs )
Sütunu sütun adıyla veya sayısal indeksiyle seçin.
Sayısal sıraya göre tüm sütunlar üzerinde iteratör.
Tablonun ve sütunlarının şeması.
Sayısal sıraya göre tüm sütunların listesi.
Bu tablodaki sütun sayısı.
Bu tablodaki satır sayısı.
Bir tablonun tanımı gereği, tüm sütunların satır sayısı aynıdır.
Tablonun boyutları: (#satır, #sütun).
Tablonun öğeleri tarafından tüketilen toplam bayt sayısı.
Tablonun sütun adları.
dilim
< source >( offset = 0length = None )
Bu Tablo'nun sıfır kopyalı dilimini hesaplar.
Bir Tablo'dan kayıtları seçin. Tam kullanım için pyarrow.compute.filter'e bakın.
flatten
< source >( *args**kwargs )
Bu Tabloyu Düzleştirin. Yapı (struct) türündeki her sütun, yapı alanlarının her biri için birer sütuna düzleştirilir. Diğer sütunlar değiştirilmeden bırakılır.
combine_chunks
< source >( *args**kwargs )
Bu tablonun parçalarını birleştirerek yeni bir tablo oluşturun.
Her sütunun ChunkedArray'sindeki tüm alt parçalar, sıfır veya bir parçaya birleştirilir.
döküm
< source >( *args**kwargs )
Tablo değerlerini başka bir şemaya dönüştürün
replace_schema_metadata
< source >( *args**kwargs ) → datasets.table.Table
DENEYSEL: Şema anahtar-değer meta verilerini belirtilen yeni meta verilerle (None olabilir, bu durumda mevcut meta veriler silinir) değiştirerek tablonun sığ bir kopyasını oluşturur
add_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloya sütunu konuma ekle.
Sütun eklenmiş yeni bir tablo döndürülür, orijinal tablo nesnesi değiştirilmeden kalır.
append_column
< source >( *args**kwargs ) → datasets.table.Table
Sütunların sonuna sütun ekleyin.
remove_column
< source >( *args**kwargs ) → datasets.table.Table
Belirtilen sütun kaldırılarak yeni bir Table oluşturur.
set_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloda konumda sütunu değiştirin.
Sütun adları verilen adlarla değiştirilerek yeni tablo oluşturun.
seç
< source >( *args**kwargs ) → datasets.table.Table
Parametreler
Dönüş değeri
Belirtilen sütunlara sahip yeni tablo ve korunan meta veriler.
Tablonun sütunlarını seçin.
Belirtilen sütunlara sahip yeni bir tablo döndürür ve metadata korunur.
drop
< source >( *args**kwargs ) → datasets.table.Table
Bir veya daha fazla sütunu kaldırın ve yeni bir tablo döndürün.
ConcatenationTable
Tablo, bloklar olarak adlandırılan birkaç tablonun birleştirilmesinden (concatenation) oluşur. Hem eksen 0 (satır ekleme) hem de eksen 1 (sütun ekleme) üzerinde birleştirme (concatenation) yapılmasını sağlar.
Altta yatan tablolar “bloklar” olarak adlandırılır ve InMemoryTable veya MemoryMappedTable nesneleri olabilir.
Bu, bellekten gelen veya bellek eşlemeli tabloların birleştirilmesine olanak tanır.
ConcatenationTable pickledendiğinde, her blok pickledenir:
InMemoryTablenesneleri, bellekteki tüm verilerin kopyalanması yoluyla pickled edilir.- MemoryMappedTable nesneleri, veriler belleğe kopyalanmadan pickled edilir. Bunun yerine, yalnızca belleğe eşlenmiş arrow dosyasının yolu ve diskten tabloyu yeniden yüklerken “yeniden oynatılacak” dönüşümlerin listesi pickled edilir.
Uygulaması, her bloğun ayrı ayrı saklanmasını gerektirir.
blocks özniteliği, blokların listelerinin listesini saklar.
İlk eksen, tabloları 0. eksen boyunca birleştirir (satırları ekler),
ikinci eksen ise tabloları 1. eksen boyunca birleştirir (sütunları ekler).
Eksen 0 üzerinde birleştirme sırasında bazı sütunlar eksikse, bu sütunlar null değerlerle doldurulur.
Bu işlem pyarrow.concat_tables(tables, promote=True) kullanılarak yapılır.
ConcatenationTable.table özniteliğine erişerek birleştirilmiş tabloya, ConcatenationTable.blocks özniteliğine erişerek de bloklara erişebilirsiniz.
doğrula
< source >( *args**kwargs )
Doğrulama kontrollerini gerçekleştirir. Doğrulama başarısız olursa bir istisna fırlatılır.
Varsayılan olarak yalnızca ucuz doğrulama kontrolleri çalıştırılır. Kapsamlı doğrulama kontrolleri için (potansiyel olarak O(n)) full=True parametresini iletin.
eşittir
< source >( *args**kwargs ) → bool
Parametreler
- other (Tablo) — Karşılaştırılacak tablo.
- check_metadata
bool, varsayılanFalse) — Şema meta verisi eşitliğinin de kontrol edilip edilmeyeceği.
Dönüş değeri
bool
İki tablonun içeriğinin eşit olup olmadığını kontrol edin.
to_batches
< source >( *args**kwargs )
Tabloyu (kesintisiz) RecordBatch nesneleri listesine dönüştürür.
Tabloyu dict veya OrderedDict olarak dönüştürün.
to_pandas
< source >( *args**kwargs ) → pandas.Series or pandas.DataFrame
Parametreler
- memory_pool (
MemoryPool, varsayılanNone) — Atamalar için kullanılacak Arrow MemoryPool. Geçirilmezse varsayılan bellek havuzu kullanılır. - strings_to_categorical (
bool, varsayılanFalse) — Dize (UTF8) ve ikili türleripandas.Categoricalolarak kodlar. - categories (
list, defaults toempty) — List of fields that should be returned aspandas.Categorical. Only applies to table-like data structures. - zero_copy_only (
bool, varsayılanFalse) — Bu fonksiyon çağrısının altta yatan verilerin kopyalanmasını gerektirmesi durumunda birArrowExceptionfırlatır. - integer_object_nulls (
bool, varsayılanFalse) — Null içeren tamsayıları nesnelere dönüştürür. - date_as_object (
bool, varsayılanTrue) — Tarihleri nesnelere dönüştürür.Falseisedatetime64[ns]veri türüne çevrilir. - timestamp_as_object (
bool, varsayılanFalse) — Nanosaniye olmayan zaman damgalarını (np.datetime64) nesnelere dönüştürür. Bu, nanosaniye zaman damgalarının normal tarih aralığına (MS 1678-MS 2262) sığmayan zaman damgalarınız varsa kullanışlıdır.Falseise, tüm zaman damgalarıdatetime64[ns]veri türüne dönüştürülür. - use_threads (
bool, varsayılanTrue) — Çevrimin birden fazla iş parçacığı kullanılarak paralelleştirilip paralelleştirilmeyeceğini belirtir. - deduplicate_objects (
bool, varsayılanFalse) — Hafıza kullanımını azaltmak için oluşturulurken Python nesnelerinin birden fazla kopyasını oluşturmaz. Dönüşüm daha yavaş olacaktır. - ignore_metadata (
bool, varsayılanFalse) —Trueise, varsa ‘pandas’ meta verileri DataFrame indeksini yeniden oluşturmak için kullanılmaz. - safe (
bool, varsayılanTrue) — Belirli veri türleri için, verilerin bir pandas DataFrame veya Series içinde saklanabilmesi için bir dönüşüm (cast) gereklidir (ör. zaman damgaları pandas'ta her zaman nanosaniye olarak saklanır). Bu seçenek, dönüşümün güvenli olup olmadığını kontrol eder. - split_blocks (
bool, varsayılanFalse) —Trueise, birRecordBatchveyaTableiçinden pandas.DataFrame oluşturulurken her sütun için ayrı bir iç “block” oluşturulur. Bu, bellek kullanımını geçici olarak azaltabilir; ancak çeşitli pandas işlemleri “consolidation”ı tetikleyebilir ve bu da bellek kullanımını şişirebilir. - self_destruct (
bool, varsayılanFalse) — DENEYSEL:Trueise, Arrow nesnesini pandas'a dönüştürürken kaynak Arrow belleğini serbest bırakmayı dener. Bu seçenekleto_pandasçağrıldıktan sonra nesneyi kullanırsanız programınız çöker. - types_mapper (
function, varsayılanNone) — Bir pyarrow DataType'ini pandasExtensionDtype'ine eşleyen bir işlev. Bu, yerleşik pyarrow türlerinin dönüştürülmesinde varsayılan pandas türünü geçersiz kılmak veya Tablo şemasındapandas_metadatabulunmadığında kullanılabilir. İşlev, bir pyarrow DataType alır ve o tür için varsayılan dönüştürmenin kullanılacağı durumlarda bir pandasExtensionDtypeveyaNonedöndürmesi beklenir. Bir sözlük eşlemesine sahipseniz, işlev olarakdict.getgeçebilirsiniz.
Dönüş değeri
pandas.Series veya pandas.DataFrame
Nesnenin türüne bağlı olarak pandas.Series veya pandas.DataFrame
Duruma uygun olarak, pandas ile uyumlu bir NumPy dizisine veya DataFrame'e dönüştürün.
alanı
< source >( *args**kwargs )
Bir şema alanını sütun adıyla veya sayısal indeksiyle seçin.
sütunu
< source >( *args**kwargs )
Sütunu sütun adıyla veya sayısal indeksiyle seçin.
Sayısal sıraya göre tüm sütunlar üzerinde iteratör.
Tablonun ve sütunlarının şeması.
Sayısal sıraya göre tüm sütunların listesi.
Bu tablodaki sütun sayısı.
Bu tablodaki satır sayısı.
Bir tablonun tanımı gereği, tüm sütunların satır sayısı aynıdır.
Tablonun boyutları: (#satır, #sütun).
Tablonun öğeleri tarafından tüketilen toplam bayt sayısı.
Tablonun sütun adları.
dilim
< source >( offset = 0length = None )
Bu Tablo'nun sıfır kopyalı dilimini hesaplar.
Bir Tablo'dan kayıtları seçin. Tam kullanım için pyarrow.compute.filter'e bakın.
flatten
< source >( *args**kwargs )
Bu Tabloyu Düzleştirin. Yapı (struct) türündeki her sütun, yapı alanlarının her biri için birer sütuna düzleştirilir. Diğer sütunlar değiştirilmeden bırakılır.
combine_chunks
< source >( *args**kwargs )
Bu tablonun parçalarını birleştirerek yeni bir tablo oluşturun.
Her sütunun ChunkedArray içindeki tüm alt parçalar, sıfır veya bir parçaya birleştirilir.
döküm
< source >( target_schema*args**kwargs )
Tablo değerlerini başka bir şemaya dönüştürün.
replace_schema_metadata
< source >( *args**kwargs ) → datasets.table.Table
DENEYSEL: Şema anahtar-değer meta verilerini belirtilen yeni meta verilerle (mevcut meta verileri silmek için None olabilir) değiştirerek tablonun sığ bir kopyasını oluşturun.
add_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloya sütunu konuma ekle.
Sütun eklenmiş yeni bir tablo döndürülür, orijinal tablo nesnesi değiştirilmeden kalır.
append_column
< source >( *args**kwargs ) → datasets.table.Table
Sütunların sonuna sütun ekleyin.
remove_column
< source >( i*args**kwargs ) → datasets.table.Table
Belirtilen sütun kaldırılarak yeni bir Table oluşturur.
set_column
< source >( *args**kwargs ) → datasets.table.Table
Tabloda konumda sütunu değiştirin.
Sütun adları verilen adlarla değiştirilerek yeni tablo oluşturun.
seç
< source >( columns*args**kwargs ) → datasets.table.Table
Parametreler
Dönüş değeri
Belirtilen sütunlara sahip yeni tablo ve korunan meta veriler.
Tablonun sütunlarını seçin.
Belirtilen sütunlara sahip yeni bir tablo döndürür ve metadata korunur.
drop
< source >( columns*args**kwargs ) → datasets.table.Table
Bir veya daha fazla sütunu kaldırın ve yeni bir tablo döndürün.
from_tables
< source >( tables: listaxis: int = 0 )
Tablo listesinden ConcatenationTable oluşturun.
Yardımcılar
datasets.table.concat_tables
< source >( tables: listaxis: int = 0 ) → datasets.table.Table
Parametreler
- tables (
Tablelistesi) — Birleştirilecek tabloların listesi. - axis (
{0, 1}, varsayılan olarak0, satırlar üzerinde) — Birleştirilecek eksen, burada0satırlar üzerinde (dikey) anlamına gelir ve1sütunlar üzerinde (yatay) anlamına gelir.1.6.0 sürümünde eklendi
Dönüş değeri
datasets.table.Table
Girdi tablosu sayısı > 1 ise, döndürülen tablo bir datasets.table.ConcatenationTable'dir.
Aksi halde, yalnızca bir tablo varsa olduğu gibi döndürülür.
Tabloları birleştirin.
datasets.table.list_table_cache_files
< source >( table: Table ) → List[str]
Dönüş değeri
List[str]
Tablo tarafından yüklenen önbellek dosyalarının yollarının listesi.
Tablo tarafından yüklenen önbellek dosyalarını alın. Önbellek dosyaları, tablonun disk üzerinden bellek eşlemesi yoluyla geldiği durumlarda kullanılır.