Transformers documentation

Добавление компонентов обработки аудио

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Добавление компонентов обработки аудио

Аудиомоделям требуется экстрактор признаков, доступный через точку входа AutoFeatureExtractor.

Для шагов с моделью и конфигурацией сначала следуйте модульному руководству.

Извлекатель признаков

Добавьте экстрактор признаков, если модель принимает сырой аудиопоток или аудиопроизводные признаки.

Создайте feature_extraction_<model_name>.py в каталоге модели. Наследуйте от SequenceFeatureExtractor, чтобы новый класс получил общее поведение для выравнивания, усечения, сохранения и загрузки.

from ...feature_extraction_sequence_utils import SequenceFeatureExtractor


class MyModelFeatureExtractor(SequenceFeatureExtractor):
    model_input_names = ["input_features", "attention_mask"]

    def __init__(self, feature_size=80, sampling_rate=16000, padding_value=0.0, **kwargs):
        super().__init__(feature_size=feature_size, sampling_rate=sampling_rate, padding_value=padding_value, **kwargs)

    def __call__(self, raw_speech, sampling_rate=None, **kwargs):
        if sampling_rate is not None and sampling_rate != self.sampling_rate:
            raise ValueError(f"`sampling_rate` must be {self.sampling_rate}, but got {sampling_rate}.")

        # Convert raw_speech to model features here.
        ...

Держите конструктор компактным и сериализуемым. Храните все значения, необходимые для воспроизведения предобработки, в качестве атрибутов экземпляра, и избегайте хранения значений, используемых только во время выполнения, таких как открытые файлы, устройства или декодированные аудиомассивы.

Метод __call__ должен проверять входную частоту дискретизации, если пользователь передаёт sampling_rate. Если входная частота отличается от ожидаемой моделью, необходимо вызывать ошибку, а не выполнять повторную дискретизацию без уведомления.

Сохраните экстрактор признаков вместе с контрольной точкой, создав его экземпляр в скрипте конвертации и вызвав save_pretrained(). Не создавайте и не редактируйте файлы конфигурации предобработки вручную.

См. Gemma4AudioFeatureExtractor для справки.

Регистрация классов

Добавьте новые классы в __all__ в конце файла, затем пересоздайте __init__.py с помощью:

python utils/check_inits.py --fix_and_overwrite

Свяжите новый класс с конфигурацией модели, чтобы AutoFeatureExtractor мог его загрузить. Добавьте запись в FEATURE_EXTRACTOR_MAPPING_NAMES в файле src/transformers/models/auto/feature_extraction_auto.py, следуя шаблону соседних записей. Затем убедитесь, что тип модели присутствует в FEATURE_EXTRACTOR_MAPPING_NAMES для AutoFeatureExtractor.

Тестирование

Добавьте тесты для каждого компонента обработки аудио в каталоге тестов модели. Тесты для извлечения признаков обычно находятся в tests/models/<model_name>/test_feature_extraction_<model_name>.py.

Для экстракторов признаков, наследующихся от SequenceFeatureExtractor, наследуйтесь от SequenceFeatureExtractionTestMixin. Миксин покрывает поведение сохранения и загрузки, выравнивание, усечение, преобразование в тензоры и общие свойства экстрактора признаков. Предоставьте объект тестера с методами prepare_feat_extract_dict() и prepare_inputs_for_common(), чтобы миксин мог создать экземпляр экстрактора признаков и построить короткие тестовые аудиовходы.

from ...test_sequence_feature_extraction_common import SequenceFeatureExtractionTestMixin

class MyModelFeatureExtractionTest(SequenceFeatureExtractionTestMixin, unittest.TestCase):
    feature_extraction_class = MyModelFeatureExtractor

    def setUp(self):
        self.feat_extract_tester = MyModelFeatureExtractionTester(self)

Добавляйте целенаправленные тесты для поведения, специфичного для модели, о котором миксин не знает. Для аудио-экстракторов признаков это обычно означает проверку формы признаков, возвращаемой __call__, проверку того, что неверное значение sampling_rate вызывает ошибку, а также проверку любой кастомной нормализации или вычисления признаков.

Если у модели также есть ProcessorMixin, который оборачивает экстрактор признаков, добавьте tests/models/<model_name>/test_processing_<model_name>.py и унаследуйте класс от ProcessorTesterMixin. Задайте processor_class и переопределите класс-методы _setup_<component>() для компонентов, которые не могут быть созданы без аргументов. Используйте _setup_test_attributes(), чтобы объявить плейсхолдер-токены, используемые в общих тестах процессора.

from ...test_processing_common import ProcessorTesterMixin

class MyModelProcessorTest(ProcessorTesterMixin, unittest.TestCase):
    processor_class = MyModelProcessor

    @classmethod
    def _setup_feature_extractor(cls):
        return cls._get_component_class_from_processor("feature_extractor")(sampling_rate=16000)

    @classmethod
    def _setup_test_attributes(cls, processor):
        cls.audio_token = getattr(processor, "audio_token", "")

Дальнейшие шаги

  • Ознакомьтесь с руководством Автоматическая генерация docstrings, чтобы автоматически генерировать согласованные docstrings с помощью @auto_docstring.
  • Ознакомьтесь с руководством Feature extractors, чтобы узнать о поведении предобработки, доступном пользователю.
Update on GitHub