# Аудиотокенизатор Pocket TTS

## Обзор

Аудиотокенизатор [Pocket TTS](https://huggingface.co/kyutai/pocket-tts): кодек с архитектурой [Mimi](./mimi) (свёртки SEANet и небольшой каузальный трансформер с каждой стороны), в котором остаточный векторный квантизатор заменён непрерывным 32-мерным бутылочным горлышком, VAE-GAN из [Continuous Audio Language Models](https://huggingface.co/papers/2509.06926). Он преобразует аудио с частотой 24 кГц в латенты с частотой 12,5 Гц и обратно. Его энкодер и декодер можно загрузить по отдельности ([PocketTTSAudioTokenizerEncoderModel](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel), [PocketTTSAudioTokenizerDecoderModel](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel)). Это `audio_tokenizer` в [PocketTTSProcessor](/docs/transformers/main/ru/model_doc/pocket_tts#transformers.PocketTTSProcessor), общий для всех чекпоинтов Pocket TTS: процессор кодирует голосовые промпты с его помощью и декодирует сгенерированные латенты.

Эта модель была предоставлена [Eustache Le Bihan](https://huggingface.co/eustlb). Исходный код — [kyutai-labs/pocket-tts](https://github.com/kyutai-labs/pocket-tts).

## Использование

```python
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel

model = AutoModel.from_pretrained("eustlb/pocket-tts-audio-tokenizer", device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained("eustlb/pocket-tts-audio-tokenizer")

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=24000))
inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=24000, return_tensors="pt").to(model.device)

latents = model.encode(**inputs).latents
audio_values = model.decode(latents).audio_values
```

## PocketTTSAudioTokenizerConfig[[transformers.PocketTTSAudioTokenizerConfig]]

#### transformers.PocketTTSAudioTokenizerConfig[[transformers.PocketTTSAudioTokenizerConfig]]

```python
transformers.PocketTTSAudioTokenizerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L38)

**Параметры:**

sampling_rate (`int`, *optional*, по умолчанию `24000`) : Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц).

audio_channels (`int`, *optional*, по умолчанию 1) : Количество каналов в аудиоданных; опубликованные контрольные точки и данная реализация являются монофоническими.

hidden_size (`int`, *необязательный*, по умолчанию `512`) : Размерность скрытых представлений.

num_filters (`int`, *optional*, по умолчанию 64) : Количество свёрточных ядер первого слоя `PocketTTSAudioTokenizerConv1d` в кодере.

num_residual_layers (`int`, *необязательный*, по умолчанию 1) : Количество остаточных слоёв.

upsampling_ratios (`list[int]`, *optional*) : Соотношения размеров ядра и шага для транспонированных свёрток декодера; энкодер использует их в обратном порядке. Если не указано, по умолчанию `[6, 5, 4]`.

kernel_size (`int`, *необязательный*, по умолчанию `7`) : Размер свёрточного ядра.

last_kernel_size (`int`, *необязательный*, по умолчанию 3) : Размер ядра для последнего свёрточного слоя.

residual_kernel_size (`int`, *optional*, по умолчанию 3) : Размер ядра для остаточных слоёв.

dilation_growth_rate (`int`, *optional*, по умолчанию 2) : Насколько увеличивать дилатацию на каждом слое.

use_causal_conv (`bool`, *необязательный*, по умолчанию `True`) : Использовать ли полностью каузальную свёртку.

pad_mode (`str`, *необязательный*, по умолчанию `"constant"`) : Режим дополнения для свёрток.

compress (`int`, *optional*, по умолчанию 2) : Сокращённая размерность в остаточных ветвях.

trim_right_ratio (`float`, *optional*, по умолчанию 1.0) : Коэффициент обрезки справа для транспонированной свёртки при настройке `use_causal_conv = True`. Если значение равно 1.0, это означает, что вся обрезка выполняется справа.

use_conv_shortcut (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли свёртку в качестве skip-соединения для остаточных блоков SEANet; в опубликованных контрольных точках она не используется.

upsample_groups (`int`, *optional*, по умолчанию 512) : Количество групп транспонированной свёртки, которая увеличивает размерность латентов до частоты SEANet.

num_hidden_layers (`int`, *необязательный*, по умолчанию `2`) : Количество скрытых слоев в декодере Transformer.

intermediate_size (`int`, *необязательный*, по умолчанию `2048`) : Размерность представлений MLP.

num_attention_heads (`int`, *необязательный*, по умолчанию `8`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

num_key_value_heads (`int`, *optional*, по умолчанию `8`) : Это количество ключевых и value-голов, которое следует использовать для реализации Grouped Query Attention. Если `num_key_value_heads=num_attention_heads`, модель будет использовать Multi Head Attention (MHA), если `num_key_value_heads=1` — Multi Query Attention (MQA), в противном случае используется GQA. При конвертации multi-head checkpoint в GQA checkpoint каждая группа ключевых и value-голов должна быть построена путем усреднения (meanpooling) всех исходных голов в этой группе. Подробнее см. в [этой статье](https://huggingface.co/papers/2305.13245). Если значение не указано, по умолчанию используется `num_attention_heads`.

head_dim (`int`, *optional*) : Размер измерения внимания. Если None, по умолчанию будет использовано hidden_size // num_attention_heads

hidden_act (`str`, *необязательный*, по умолчанию `gelu_pytorch_tanh`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

max_position_embeddings (`int`, *необязательный*, по умолчанию `8000`) : Максимальная длина последовательности, с которой может использоваться эта модель.

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

use_cache (`bool`, *необязательный*, по умолчанию `False`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером.

use_streaming (`bool`, *необязательный*, по умолчанию `False`) : Указывает, использует ли кодировщик потоковую передачу по умолчанию: в этом случае он возвращает кэш заполнителей и кэш ключей-значений для передачи в следующий вызов.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`.

sliding_window (`int`, *optional*, по умолчанию `250`) : Размер окна скользящего внимания. Если `None`, скользящее окно не применяется.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания.

layer_scale_initial_scale (`float`, *optional*, по умолчанию `0.01`) : Масштаб, используемый в слоях само-внимания. 0.1 для базовых моделей, 1e-6 для крупных. Установите 0, чтобы отключить масштабирование слоя.

attention_bias (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли смещение (bias) в слоях проекции запроса, ключа, значения и вывода при само-внимании.

latent_stride (`int`, *optional*, по умолчанию 16) : Количество кадров SEANet на один латентный кадр: шаг свёртки кодировщика, которая уменьшает размерность вывода SEANet до латентов, и шага транспонированной свёртки декодера, которая возвращает их исходный размер. Латентный кадр покрывает `prod(upsampling_ratios) * latent_stride` аудиовыборок (`frame_size`, 1920 для опубликованных контрольных точек).

latent_dim (`int`, *optional*, по умолчанию 32) : Размерность непрерывных латентов. Резидуальный векторный квантизатор Mimi заменяется этим бутылочным горлышком: свёртка понижающей дискретизации в кодировщике выводит `latent_dim` каналов, а декодер проецирует их обратно в `hidden_size` перед повышающей дискретизацией.

Это класс конфигурации для хранения настроек модели PocketTTSAudioTokenizerModel. Он используется для создания модели Pocket Tts Audio Tokenizer в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [eustlb/pocket-tts-audio-tokenizer](https://huggingface.co/eustlb/pocket-tts-audio-tokenizer)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python
>>> from transformers import PocketTTSAudioTokenizerConfig, PocketTTSAudioTokenizerModel

>>> # a full codec, and its decoder alone
>>> model = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig())
>>> decoder_only = PocketTTSAudioTokenizerModel(PocketTTSAudioTokenizerConfig(encoder_config=None))
```

## PocketTTSAudioTokenizerEncoderConfig[[transformers.PocketTTSAudioTokenizerEncoderConfig]]

#### transformers.PocketTTSAudioTokenizerEncoderConfig[[transformers.PocketTTSAudioTokenizerEncoderConfig]]

```python
transformers.PocketTTSAudioTokenizerEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L214)

Конфигурация энкодерной части PocketTTSAudioTokenizer (энкодер SEANet, трансформер-энкодер и downsampling). Она разделяет все поля с [PocketTTSAudioTokenizerConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig) (см. документацию для аргументов), поэтому может быть загружена напрямую из полного чекпоинта PocketTTSAudioTokenizer.

## PocketTTSAudioTokenizerDecoderConfig[[transformers.PocketTTSAudioTokenizerDecoderConfig]]

#### transformers.PocketTTSAudioTokenizerDecoderConfig[[transformers.PocketTTSAudioTokenizerDecoderConfig]]

```python
transformers.PocketTTSAudioTokenizerDecoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, sampling_rate: int = 24000, audio_channels: int = 1, hidden_size: int = 512, num_filters: int = 64, num_residual_layers: int = 1, upsampling_ratios: list[int] | None = None, kernel_size: int = 7, last_kernel_size: int = 3, residual_kernel_size: int = 3, dilation_growth_rate: int = 2, use_causal_conv: bool = True, pad_mode: str = 'constant', compress: int = 2, trim_right_ratio: float = 1.0, use_conv_shortcut: bool = False, upsample_groups: int = 512, num_hidden_layers: int = 2, intermediate_size: int = 2048, num_attention_heads: int = 8, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'gelu_pytorch_tanh', max_position_embeddings: int = 8000, initializer_range: float = 0.02, norm_eps: float = 1e-05, use_cache: bool = False, use_streaming: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 250, attention_dropout: float | int = 0.0, layer_scale_initial_scale: float = 0.01, attention_bias: bool = False, latent_stride: int = 16, latent_dim: int = 32)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/configuration_pocket_tts_audio_tokenizer.py#L242)

Конфигурация декодерной части PocketTTSAudioTokenizer (апсемплинг, декодер-трансформер и декодер SEANet). Она разделяет все поля с [PocketTTSAudioTokenizerConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig) (см. документацию для аргументов), поэтому её можно загрузить напрямую из полной контрольной точки PocketTTSAudioTokenizer.

## PocketTTSAudioTokenizerModel[[transformers.PocketTTSAudioTokenizerModel]]

#### transformers.PocketTTSAudioTokenizerModel[[transformers.PocketTTSAudioTokenizerModel]]

```python
transformers.PocketTTSAudioTokenizerModel(config: PocketTTSAudioTokenizerConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1178)

**Параметры:**

config ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) : класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Аудиотокенизатор Pocket TTS: кодек с архитектурой Mimi, использующий непрерывное 32-мерное латентное пространство с частотой 12,5 Гц (VAE-GAN для Continuous Audio Language Models), который преобразует аудио с частотой 24 кГц в латенты и обратно.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### encode[[transformers.PocketTTSAudioTokenizerModel.encode]]

```python
encode(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, encoder_cache: transformers.cache_utils.Cache | None = None, padding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = None, use_streaming: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1188)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, audio_channels, num_samples)`) : Аудиоволна, возвращаемая [EncodecFeatureExtractor](/docs/transformers/main/ru/model_doc/encodec#transformers.EncodecFeatureExtractor), которая дополняет нулями до кратного `config.frame_size` сэмплов, как и в оригинале.

padding_mask (`torch.Tensor` формы `(batch_size, num_samples)`, *необязательный*) : Маска аудиовыборок (`1`) в отличие от заполнителей (`0`), на основе которой вычисляется `latents_mask`.

encoder_cache (`Cache`, *optional*) : Кэш ключ-значение для трансформера-энкодера, возвращаемый предыдущим вызовом при потоковой обработке.

padding_cache (`PocketTTSAudioTokenizerConv1dPaddingCache`, *необязательный*) : Кэш отступов для причинных свёрток энкодера, возвращаемый предыдущим вызовом при потоковой обработке.

use_streaming (`bool`, *необязательный*) : Флаг, указывающий, следует ли кодировать в потоковом режиме, возвращая кэши для передачи в следующий вызов.

Кодирует аудио в непрерывные латенты формы `(batch_size, num_frames, latent_dim)`: латенты [PocketTTSAudioTokenizerEncoderModel.forward()](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel.forward), сначала кадры.

#### decode[[transformers.PocketTTSAudioTokenizerModel.decode]]

```python
decode(latents: Tensor, decoder_cache: transformers.cache_utils.Cache | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1243)

**Параметры:**

latents (`torch.Tensor` формы `(batch_size, num_frames, latent_dim)`) : Непрерывные латенты для декодирования, один кадр на `config.frame_size` аудиовыборок.

decoder_cache (`Cache`, *optional*) : Кэш ключ-значение декодера трансформера, возвращаемый предыдущим вызовом при декодировании по частям.

Декодирует непрерывные латенты в аудио: латенты проецируются в `hidden_size`, после чего декодируются с помощью [PocketTTSAudioTokenizerDecoderModel.forward()](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel.forward).

#### forward[[transformers.PocketTTSAudioTokenizerModel.forward]]

```python
forward(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1271)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, audio_channels, num_samples)`) : Аудиоволна, как возвращаемая [EncodecFeatureExtractor](/docs/transformers/main/ru/model_doc/encodec#transformers.EncodecFeatureExtractor).

padding_mask (`torch.Tensor` формы `(batch_size, num_samples)`, *необязательный*) : Маска аудиоприложений (`1`) в отличие от заполнителей (`0`).

**Возвращает:** `PocketTTSAudioTokenizerOutput` или `tuple(torch.Tensor)`

Объект `PocketTTSAudioTokenizerOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([PocketTTSAudioTokenizerConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerConfig)) и входных данных.

Метод forward модели [PocketTTSAudioTokenizerModel](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **latents** (`torch.Tensor` формы `(batch_size, num_frames, latent_dim)`) — Непрерывные латенты аудио.
- **latents_mask** (`torch.LongTensor` формы `(batch_size, num_frames)`, *необязательный*) -- Маска латентных кадров, вычисленная из аудиоданных (`1`), а не из заполнителей (`0`).
- **audio_values** (`torch.Tensor` формы `(batch_size, audio_channels, num_samples)`) -- Аудиосигнал, восстановленный из латентов.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_hidden_states=True`) -- Скрытые состояния трансформера-кодировщика на выходе каждого слоя, включая его вход.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_attentions=True`) -- Веса внимания каждого слоя трансформера-кодировщика.

## PocketTTSAudioTokenizerEncoderModel[[transformers.PocketTTSAudioTokenizerEncoderModel]]

#### transformers.PocketTTSAudioTokenizerEncoderModel[[transformers.PocketTTSAudioTokenizerEncoderModel]]

```python
transformers.PocketTTSAudioTokenizerEncoderModel(config: PocketTTSAudioTokenizerEncoderConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L880)

**Параметры:**

config ([PocketTTSAudioTokenizerEncoderConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderConfig)) : класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Кодировательная часть PocketTTSAudioTokenizer: кодировщик SEANet, трансформер-кодировщик и понижающая дискретизация, преобразующие аудио в непрерывные латенты.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PocketTTSAudioTokenizerEncoderModel.forward]]

```python
forward(input_values: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, cache: transformers.cache_utils.Cache | None = None, padding_cache: transformers.models.pocket_tts_audio_tokenizer.modeling_pocket_tts_audio_tokenizer.PocketTTSAudioTokenizerConv1dPaddingCache | None = None, use_streaming: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L941)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, channels, sequence_length)`) : Значения типа Float входной аудиоволны.

padding_mask (`torch.Tensor` формы `(batch_size, channels, sequence_length)`, *необязательный*) : Указывает, какие входные данные следует игнорировать из-за выравнивания (padding), где элементы равны 1 для *не замаскированных* или 0 для *замаскированных*.

cache (`Cache`, *optional*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания) трансформера-кодировщика, используемые для ускорения потокового кодирования.

padding_cache (`PocketTTSAudioTokenizerConv1dPaddingCache`, *необязательный*) : Кэш отступов для причинных свёрток, используемый для потокового кодирования.

use_streaming (`bool`, *необязательный*) : Флаг, указывающий, следует ли кодировать в потоковом режиме, возвращая кэши для передачи в следующий вызов.

Кодирует входную аудиоволну в непрерывные латенты формы `(batch_size, latent_dim, frames)`. --

**Возвращает:** `PocketTTSAudioTokenizerEncoderModelOutput` или `tuple(torch.Tensor)`

`PocketTTSAudioTokenizerEncoderModelOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации (`None`) и входных данных.

Метод forward модели [PocketTTSAudioTokenizerEncoderModel](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerEncoderModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **latents** (`torch.Tensor` формы `(batch_size, latent_dim, frames)`) -- Непрерывные латенты аудио, один кадр на `config.frame_size` аудиовыборок.
- **cache** (`Cache`, *optional*) -- Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания) трансформера-кодировщика, возвращаемые при потоковой обработке.
- **padding_cache** (`PocketTTSAudioTokenizerConv1dPaddingCache`, *optional*) -- Кэш отступов для каузальных свёрток PocketTTSAudioTokenizerConv1d, обеспечивающий поддержку потоковой обработки за счёт отступов в кэше.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_hidden_states=True`) -- Скрытые состояния трансформера-кодировщика на выходе каждого слоя, включая его вход.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_attentions=True`) -- Веса внимания каждого слоя трансформера-кодировщика.

## PocketTTSAudioTokenizerDecoderModel[[transformers.PocketTTSAudioTokenizerDecoderModel]]

#### transformers.PocketTTSAudioTokenizerDecoderModel[[transformers.PocketTTSAudioTokenizerDecoderModel]]

```python
transformers.PocketTTSAudioTokenizerDecoderModel(config: PocketTTSAudioTokenizerDecoderConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1111)

**Параметры:**

config ([PocketTTSAudioTokenizerDecoderConfig](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderConfig)) : класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Декодерская часть PocketTTSAudioTokenizer: апсемплинг, декодер-трансформер и декодер SEANet, преобразующие непрерывные латенты в аудио.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PocketTTSAudioTokenizerDecoderModel.forward]]

```python
forward(latents: Tensor, padding_mask: typing.Optional[torch.Tensor] = None, cache: transformers.cache_utils.Cache | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pocket_tts_audio_tokenizer/modeling_pocket_tts_audio_tokenizer.py#L1138)

**Параметры:**

latents (`torch.Tensor` формы `(batch_size, hidden_size, frames)`) : Непрерывные латенты для декодирования, вычисленные с помощью [PocketTTSAudioTokenizerModel.decode()](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerModel.decode).

padding_mask (`torch.Tensor` формы `(batch_size, channels, sequence_length)`, *необязательный*) : Указывает, какие входные данные следует игнорировать из-за выравнивания (padding), где элементы равны 1 для *не замаскированных* или 0 для *замаскированных*.

cache (`Cache`, *optional*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания) декодера-трансформера, используемые для ускорения потокового декодирования.

Декодирует указанные кадры в выходную аудиоволну. Обратите внимание, что выходной сигнал может быть немного больше, чем --

input. В этом случае любые дополнительные шаги в конце можно отбросить. --

**Возвращает:** `PocketTTSAudioTokenizerDecoderOutput` или `tuple(torch.Tensor)`

`PocketTTSAudioTokenizerDecoderOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации (`None`) и входных данных.

Метод forward модели [PocketTTSAudioTokenizerDecoderModel](/docs/transformers/main/ru/model_doc/pocket_tts_audio_tokenizer#transformers.PocketTTSAudioTokenizerDecoderModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **audio_values** (`torch.Tensor` формы `(batch_size, audio_channels, num_samples)`, *необязательный*) -- Декодированные значения аудио, полученные с помощью декодерной части PocketTTSAudioTokenizer.
- **decoder_cache** (`Cache`, *optional*) -- Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать для ускорения последовательного декодирования декодерного трансформера. Обычно это `cache`, возвращаемый моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`.

  Модель будет выводить тот же формат кэша, который был передан на вход.

  Если используются `cache`, пользователь может по желанию ввести только последние `audio_values` или `audio_codes (те, для которых не предоставлены их прошлые состояния ключей и значений для этой модели).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_hidden_states=True`) -- Скрытые состояния декодерного трансформера на выходе каждого слоя, включая его вход.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при `output_attentions=True`) -- Веса внимания каждого слоя декодера трансформера.

