Accelerate documentation
대형 모델 작업
대형 모델 작업
Dispatch 및 offload
init_empty_weights
accelerate.init_empty_weights
< source >( include_buffers: bool | None = None )
모든 파라미터가 meta device에 초기화되어 빈 모델이 생성되는 컨텍스트 매니저입니다. 모델 초기화만으로도 사용 가능한 RAM이 부족해지는 경우에 유용합니다.
예:
import torch.nn as nn
from accelerate import init_empty_weights
# Initialize a model with 100 billions parameters in no time and without using any RAM.
with init_empty_weights():
tst = nn.Sequential(*[nn.Linear(10000, 10000) for _ in range(1000)])Any model created under this context manager has no weights. As such you can’t do something like
model.to(some_device)with it. To load weights inside your empty model, see load_checkpoint_and_dispatch(). Make sure to overwrite the default device_map param for load_checkpoint_and_dispatch(), otherwise dispatch is not called.
cpu_offload
accelerate.cpu_offload
< source >( model: Moduleexecution_device: torch.device | None = Noneoffload_buffers: bool = Falsestate_dict: dict[str, torch.Tensor] | None = Nonepreload_module_classes: list[str] | None = None )
매개변수
- model (
torch.nn.Module) — 오프로드할 모델. - execution_device (
torch.device, 선택 사항) — 모델의 forward pass가 실행될 장치입니다(GPU여야 합니다). 기본값은 모델의 첫 번째 파라미터 장치가 됩니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 모델 파라미터와 함께 버퍼를 오프로드할지 여부. - state_dict (
Dict[str, torch.Tensor], 선택 사항) — CPU에 유지될 모델의 state dict입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다.
모델에 대한 전체 CPU 오프로드를 활성화합니다. 그 결과, 모델의 모든 파라미터가 오프로드되고 모델의 state dict 사본 하나만 유지됩니다. forward pass 동안에는 파라미터가 해당 state dict에서 추출되어 필요할 때 전달된 실행 장치에 그대로 배치된 후 다시 오프로드됩니다.
cpu_offload_with_hook
accelerate.cpu_offload_with_hook
< source >( model: Moduleexecution_device: int | str | torch.device | None = Noneprev_module_hook: accelerate.hooks.UserCpuOffloadHook | None = None )
매개변수
- model (
torch.nn.Module) — 오프로드할 모델. - execution_device(
str,int또는torch.device, optional) — 모델이 실행될 장치입니다. 사용 가능한 경우 기본적으로 MPS 장치를 사용하고, 가속기 장치가 있으면 device 0을, 그 다음으로 CPU를 사용합니다. - prev_module_hook (
UserCpuOffloadHook, 선택 사항) — 실행 중인 파이프라인의 이전 모델에 대해 이 함수가 반환하는 훅입니다. 전달되면, 이 훅이 연결된 모델의 forward가 실행되기 직전에 해당 offload 메서드가 호출됩니다.
모델을 CPU로 오프로드하고 실행 시 실행 장치로 다시 올립니다. cpu_offload()와의 차이는 forward 이후에도 모델이 실행 장치에 남아 있으며, 반환된 hook의 offload 메서드가 호출될 때만 다시 오프로드된다는 점입니다. 루프에서 모델을 실행하는 파이프라인에 유용합니다.
예:
model_1, hook_1 = cpu_offload_with_hook(model_1, device)
model_2, hook_2 = cpu_offload_with_hook(model_2, device, prev_module_hook=hook_1)
model_3, hook_3 = cpu_offload_with_hook(model_3, device, prev_module_hook=hook_2)
hid_1 = model_1(input)
for i in range(50):
# model1 is offloaded on the CPU at the first iteration, model 2 stays on the GPU for this whole loop.
hid_2 = model_2(hid_1)
# model2 is offloaded to the CPU just before this forward.
hid_3 = model_3(hid_3)
# For model3, you need to manually call the hook offload method.
hook_3.offload()disk_offload
accelerate.disk_offload
< source >( model: Moduleoffload_dir: str | os.PathLikeexecution_device: torch.device | None = Noneoffload_buffers: bool = Falsepreload_module_classes: list[str] | None = None )
매개변수
- model (
torch.nn.Module) — 오프로드할 모델. - offload_dir (
str또는os.PathLike) — 모델 가중치를 오프로드할 폴더(또는 모델 가중치가 이미 오프로드된 위치). - execution_device (
torch.device, 선택 사항) — 모델의 forward pass가 실행될 장치입니다(GPU여야 합니다). 기본값은 모델의 첫 번째 파라미터 장치가 됩니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 모델 파라미터와 함께 버퍼를 오프로드할지 여부. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다.
모델에 대한 전체 디스크 오프로드를 활성화합니다. 그 결과, 모델의 모든 파라미터가 지정된 폴더에 메모리 매핑된 배열로 오프로드됩니다. 포워드 패스 동안 파라미터는 해당 폴더에서 액세스되며, 필요할 때 실행 장치로 전달된 상태로 배치된 후 다시 오프로드됩니다.
dispatch_model
accelerate.dispatch_model
< source >( model: Moduledevice_map: dict[str, str | int | torch.device]main_device: torch.device | None = Nonestate_dict: dict[str, torch.Tensor] | None = Noneoffload_dir: str | os.PathLike | None = Noneoffload_index: dict[str, str] | None = Noneoffload_buffers: bool = Falseskip_keys: str | list[str] | None = Nonepreload_module_classes: list[str] | None = Noneforce_hooks: bool = False )
매개변수
- model (
torch.nn.Module) — 배포할 모델. - device_map (
Dict[str, Union[str, int, torch.device]]) — 모델의state_dict에 있는 모듈 이름을 해당 모듈이 배치될 장치로 매핑하는 사전입니다.torch.device의 적법한 값이 아니더라도"disk"는 허용됩니다. - main_device (
str,int또는torch.device, 선택 사항) — 주 실행 장치입니다.device_map에서"cpu"또는"disk"와 다른 첫 번째 장치를 기본값으로 사용합니다. - state_dict (
Dict[str, torch.Tensor], 선택 사항) — CPU에 유지될 모델 부분의 state dict입니다. - offload_dir (
str또는os.PathLike) — 모델 가중치를 오프로드할 폴더(또는 모델 가중치가 이미 오프로드된 위치). - offload_index (
Dict, 선택 사항) — 가중치 이름에서 해당 정보(dtype/shape또는 safetensors 파일 이름)로 매핑되는 사전입니다. 기본값은save_folder에 저장된 인덱스입니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 모델 파라미터와 함께 버퍼를 오프로드할지 여부. - skip_keys (
str또는List[str], 선택 사항) — 디바이스 간 입력 또는 출력을 이동할 때 무시할 키 목록입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다. - force_hooks (
bool, 선택 사항, 기본값False) — 모든 레이어가 단일 디바이스에 배치된 경우에도 모델에 디바이스 훅을 강제 적용할지 여부.
device map에 따라 모델을 배포합니다. 모델의 레이어는 여러 GPU에 분산되거나 CPU 또는 디스크로 오프로드될 수 있습니다.
load_checkpoint_and_dispatch
accelerate.load_checkpoint_and_dispatch
< source >( model: Modulecheckpoint: str | os.PathLikedevice_map: str | dict[str, int | str | torch.device] | None = Nonemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Noneoffload_folder: str | os.PathLike | None = Noneoffload_buffers: bool = Falsedtype: str | torch.dtype | None = Noneoffload_state_dict: bool | None = Noneskip_keys: str | list[str] | None = Nonepreload_module_classes: list[str] | None = Noneforce_hooks: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )
매개변수
- model (
torch.nn.Module) — 체크포인트를 로드하려는 모델. - checkpoint (
str또는os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:- 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
.json파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다- 유일한
.index.json파일과 체크포인트의 샤드가 포함된 폴더의 경로
- device_map (
Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.가장 최적화된
device_map을 Accelerate가 자동으로 계산하도록 하려면device_map="auto"를 설정하세요. 각 옵션에 대한 자세한 내용은 여기를 참조하세요. 기본값은 None이며, 이는 dispatch_model()이 호출되지 않음을 의미합니다. - max_memory (
Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다. - no_split_module_classes (
List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어). - offload_folder (
str또는os.PathLike, 선택 사항) —device_map에"disk"값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다. - offload_buffers (
bool, 선택 사항, 기본값False) — CPU 또는 하드 드라이브로 오프로드되는 레이어에서 파라미터와 함께 버퍼도 오프로드할지 여부. - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - offload_state_dict (
bool, 선택 사항) —True인 경우, CPU state dict의 가중치와 가장 큰 샤드가 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU state dict를 하드 드라이브로 일시적으로 offload합니다. 선택된 device map에"disk"값이 포함된 경우 기본값은True입니다. - skip_keys (
str또는List[str], 선택 사항) — 디바이스 간 입력 또는 출력을 이동할 때 무시할 키 목록입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다. - force_hooks (
bool, 선택 사항, 기본값False) — 모든 레이어가 단일 디바이스에 배치된 경우에도 모델에 디바이스 훅을 강제 적용할지 여부. - strict (
bool, 선택 사항, 기본값False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다. - full_state_dict (
bool, 선택 사항, 기본값True) — 이 값이True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다. - broadcast_from_rank0 (
False, 선택 사항, 기본값False) — 이 옵션이True인 경우 분산ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).
모델 내부의 (분할된) 체크포인트를 로드하고, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있으며, 이 모델이 (장치에 걸쳐 분할된 경우에도) 올바르게 실행되도록 하는 다양한 훅을 추가합니다.
예:
>>> from accelerate import init_empty_weights, load_checkpoint_and_dispatch
>>> from huggingface_hub import hf_hub_download
>>> from transformers import AutoConfig, AutoModelForCausalLM
>>> # Download the Weights
>>> checkpoint = "EleutherAI/gpt-j-6B"
>>> weights_location = hf_hub_download(checkpoint, "pytorch_model.bin")
>>> # Create a model and initialize it with empty weights
>>> config = AutoConfig.from_pretrained(checkpoint)
>>> with init_empty_weights():
... model = AutoModelForCausalLM.from_config(config)
>>> # Load the checkpoint and dispatch it to the right devices
>>> model = load_checkpoint_and_dispatch(
... model, weights_location, device_map="auto", no_split_module_classes=["GPTJBlock"]
... )load_checkpoint_in_model
accelerate.load_checkpoint_in_model
< source >( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )
매개변수
- model (
torch.nn.Module) — 체크포인트를 로드하려는 모델입니다. - checkpoint (
str또는os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:- 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
.json파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다- 유일한
.index.json파일과 체크포인트의 샤드가 포함된 폴더의 경로 - 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
- device_map (
Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. - offload_folder (
str또는os.PathLike, 선택 사항) —device_map에"disk"값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다. - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - offload_state_dict (
bool, 선택 사항, 기본값False) —True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다. - keep_in_fp32_modules(
List[str], 선택 사항) —torch.float32dtype로 유지할 모듈 목록입니다. - offload_8bit_bnb (
bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다. - strict (
bool, 선택 사항, 기본값False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다. - full_state_dict (
bool, 선택 사항, 기본값True) — 이 값이True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다. - broadcast_from_rank0 (
False, 선택 사항, 기본값False) — 이 옵션이True인 경우 분산ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).
모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.
Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().
infer_auto_device_map
accelerate.infer_auto_device_map
< source >( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.dtype] | None = Noneverbose: bool = Falseclean_result: bool = Trueoffload_buffers: bool = Falsefallback_allocation: bool = False )
매개변수
- model (
torch.nn.Module) — 분석할 모델. - max_memory (
Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예:max_memory={0: "1GB"}. - no_split_module_classes (
List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어). - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - special_dtypes (
Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다). - verbose (
bool, 선택 사항, 기본값False) — device_map을 구성하는 동안 디버깅 문구를 제공할지 여부입니다. - clean_result (
bool, 선택 사항, 기본값True) — 같은 디바이스에 배치되는 모든 서브모듈을 그룹화하여 결과 device_map을 정리합니다. - offload_buffers (
bool, 선택 사항, 기본값False) — CPU 또는 하드 드라이브로 오프로드되는 레이어에서 파라미터와 함께 버퍼도 오프로드할지 여부. - fallback_allocation (
bool, 선택 사항, 기본값False) — 일반 할당이 실패하면 BFS를 사용해 크기 제한에 맞는 모듈을 할당하도록 시도합니다.
GPU에 우선순위를 두고 주어진 모델에 대한 device map을 계산한 다음 CPU로 오프로드하고, 마지막으로 디스크로 오프로드합니다.
- GPU 중 어느 것의 사용 가능 메모리도 초과하지 않습니다.
- CPU로의 offload가 필요한 경우, GPU 0에는 항상 CPU에 offload된 레이어 중 가장 큰 크기의 레이어를 다시 올릴 수 있는 여유 공간이 있습니다.
- CPU로의 offload가 필요한 경우, CPU에서 사용 가능한 RAM을 초과하지 않습니다.
- 디스크 오프로딩이 필요한 경우에도, 디스크에 오프로드된 레이어 중 가장 큰 크기를 가진 레이어를 CPU로 다시 올릴 수 있는 공간이 항상 남아 있습니다.
모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은
init_empty_weights컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.
Hooks
ModelHook
모델의 forward 메서드 실행 직전과 직후에 실행될 콜백을 포함하는 훅입니다. PyTorch의 기존 훅과의 차이점은 kwargs가 함께 전달된다는 것입니다.
클래스 속성:
- no_grad (
bool, 선택 사항, 기본값False) —torch.no_grad()컨텍스트 매니저 아래에서 실제 forward pass를 실행할지 여부.
hook가 모듈에서 분리될 때 실행됩니다.
hook이 모듈에 연결될 때 실행됩니다.
post_forward
< source >( moduleoutput ) → Any
모델의 forward 메서드 바로 다음에 실행됩니다.
pre_forward
< source >( module*args**kwargs ) → Tuple[Tuple[Any], Dict[Str, Any]]
모델의 forward 메서드가 실행되기 직전에 실행됩니다.
AlignDevicesHook
class accelerate.hooks.AlignDevicesHook
< source >( execution_device: int | str | torch.device | None = Noneoffload: bool = Falseio_same_device: bool = Falseweights_map: collections.abc.Mapping | None = Noneoffload_buffers: bool = Falseplace_submodules: bool = Falseskip_keys: str | list[str] | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = None )
매개변수
- execution_device (
torch.device, 선택 사항) — 포워드 패스 전에 입력과 모델 가중치를 배치할 장치. - offload (
bool, 선택 사항, 기본값False) — forward pass 이후에 가중치를 offload할지 여부입니다. - io_same_device (
bool, 선택 사항, 기본값False) — 출력이 입력과 동일한 디바이스에 배치될지 여부입니다. - weights_map (
Mapping[str, torch.Tensor], 선택 사항) — 모델 가중치가 오프로드된 경우, 파라미터 이름에서 텐서 값으로 매핑하는 (지연 평가가 가능한) 맵입니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 오프로딩 시 관련 모듈의 버퍼를 포함할지 여부입니다. - place_submodules (
bool, 선택 사항, 기본값False) —init_hook이벤트 동안 서브모듈을execution_device에 배치할지 여부.
해당 모듈의 forward pass에서 입력과 모델 가중치가 동일한 device에 있도록 보장하는 일반적인 ModelHook입니다. forward pass 이후 가중치를 offload할 수도 있습니다.
SequentialHook
여러 개의 훅을 포함할 수 있으며 각 이벤트마다 순회하는 훅입니다.
LayerwiseCastingHook
class accelerate.hooks.LayerwiseCastingHook
< source >( storage_dtype: dtypecompute_dtype: dtypenon_blocking: bool )
모듈의 가중치를 계산 시에는 높은 정밀도의 dtype으로, 저장 시에는 낮은 정밀도의 dtype으로 변환하는 훅입니다. 이 과정은 출력의 품질 저하를 초래할 수 있지만, 메모리 사용량을 크게 줄일 수 있습니다.
훅 추가
add_hook_to_module
accelerate.hooks.add_hook_to_module
< source >( module: Modulehook: ModelHookappend: bool = False ) → torch.nn.Module
주어진 모듈에 훅을 추가합니다. 이 작업은 모듈의 forward 메서드를 훅을 포함하도록 재작성하며, 이 동작을 제거하고 원래의 forward 메서드를 복원하려면 remove_hook_from_module를 사용하세요.
모듈에 이미 훅이 포함된 경우, 기본적으로 전달된 새로운 훅으로 이를 대체합니다. 두 개의 훅을 체인하려면
append=True를 전달하여 현재 훅과 새로운 훅을SequentialHook클래스의 인스턴스로 체인합니다.
attach_execution_device_hook
accelerate.hooks.attach_execution_device_hook
< source >( module: Moduleexecution_device: int | str | torch.deviceskip_keys: str | list[str] | None = Nonepreload_module_classes: list[str] | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = None )
매개변수
- module (
torch.nn.Module) — 훅을 연결하려는 모듈입니다. - execution_device (
int,str또는torch.device) — forward pass를 실행하기 전에 입력과 모델 가중치를 배치할 장치입니다. - skip_keys (
str또는List[str], 선택 사항) — 디바이스 간 입력 또는 출력을 이동할 때 무시할 키 목록입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다. - tied_params_map (Optional[Dict[int, Dict[torch.device, torch.Tensor]]], 선택 사항, 기본값
None) — 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑하는 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 공유된 가중치의 첫 번째 사용 가능한 포인터를 나머지 모든 가중치에 재사용하는 데 유용합니다.
주어진 모델의 모든 서브모듈에 AlignDevicesHook을 재귀적으로 연결하여 올바른 실행 장치를 갖도록 합니다
attach_align_device_hook
accelerate.hooks.attach_align_device_hook
< source >( module: Moduleexecution_device: torch.device | None = Noneoffload: bool = Falseweights_map: collections.abc.Mapping | None = Noneoffload_buffers: bool = Falsemodule_name: str = ''skip_keys: str | list[str] | None = Nonepreload_module_classes: list[str] | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = None )
매개변수
- module (
torch.nn.Module) — 훅을 연결하려는 모듈입니다. - execution_device (
torch.device, 선택 사항) — 포워드 패스 전에 입력과 모델 가중치를 배치할 장치. - offload (
bool, 선택 사항, 기본값False) — forward pass 이후에 가중치를 offload할지 여부입니다. - weights_map (
Mapping[str, torch.Tensor], 선택 사항) — 모델 가중치가 오프로드된 경우, 파라미터 이름에서 텐서 값으로 매핑하는 (지연 평가가 가능한) 맵입니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 오프로딩 시 관련 모듈의 버퍼를 포함할지 여부입니다. - module_name (
str, 선택 사항, 기본값"") — 모듈의 이름입니다. - skip_keys (
str또는List[str], 선택 사항) — 디바이스 간 입력 또는 출력을 이동할 때 무시할 키 목록입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다. - tied_params_map (Optional[Dict[int, Dict[torch.device, torch.Tensor]]], 선택 사항, 기본값
None) — 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑하는 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 공유된 가중치의 첫 번째 사용 가능한 포인터를 나머지 모든 가중치에 재사용하는 데 유용합니다.
AlignDevicesHook을 주어진 모델의 직접적인 파라미터와/또는 버퍼를 가진 모든 서브모듈에 재귀적으로 연결합니다.
attach_align_device_hook_on_blocks
accelerate.hooks.attach_align_device_hook_on_blocks
< source >( module: Moduleexecution_device: torch.device | dict[str, torch.device] | None = Noneoffload: bool | dict[str, bool] = Falseweights_map: collections.abc.Mapping | None = Noneoffload_buffers: bool = Falsemodule_name: str = ''skip_keys: str | list[str] | None = Nonepreload_module_classes: list[str] | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = None )
매개변수
- module (
torch.nn.Module) — 훅을 연결하려는 모듈입니다. - execution_device (
torch.device또는Dict[str, torch.device], 선택 사항) — 포워드 패스 전에 입력과 모델 가중치를 배치할 장치입니다. 모듈 전체에 하나의 장치를 사용할 수도 있고, 모듈 이름을 장치로 매핑하는 사전(dictionary)을 사용할 수도 있습니다. - offload (
bool, 선택 사항, 기본값False) — forward pass 이후 가중치를 offload할지 여부입니다. 모듈 전체에 대해 하나의 boolean 값을 사용할 수도 있고, 모듈 이름을 boolean 값으로 매핑하는 dictionary를 사용할 수도 있습니다. - weights_map (
Mapping[str, torch.Tensor], 선택 사항) — 모델 가중치가 오프로드된 경우, 파라미터 이름에서 텐서 값으로 매핑하는 (지연 평가가 가능한) 맵입니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 오프로딩 시 관련 모듈의 버퍼를 포함할지 여부입니다. - module_name (
str, 선택 사항, 기본값"") — 모듈의 이름입니다. - skip_keys (
str또는List[str], 선택 사항) — 디바이스 간 입력 또는 출력을 이동할 때 무시할 키 목록입니다. - preload_module_classes (
List[str], 선택 사항) — forward의 시작 시점에 모든 가중치(서브모듈의 가중치를 포함하여)를 로드해야 하는 클래스 인스턴스의 목록입니다. 이는 forward 중에 직접 호출되지 않지만 등록되어 있는 서브모듈을 가진 클래스에만 사용해야 합니다. 예를 들어dense선형 레이어가 등록되어 있지만, forward에서dense를 직접 호출하는 대신dense.weight와dense.bias가 일부 연산에 사용되는 경우입니다. - tied_params_map (Optional[Dict[int, Dict[torch.device, torch.Tensor]]], 선택 사항, 기본값
None) — 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑하는 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 공유된 가중치의 첫 번째 사용 가능한 포인터를 나머지 모든 가중치에 재사용하는 데 유용합니다.
필요한 경우 주어진 모델의 모든 블록에 AlignDevicesHook을 연결합니다.
attach_layerwise_casting_hooks
accelerate.big_modeling.attach_layerwise_casting_hooks
< source >( module: Modulestorage_dtype: dtypecompute_dtype: dtypeskip_modules_pattern: str | tuple[str, ...] | None = Noneskip_modules_classes: tuple[type[torch.nn.Module], ...] | None = Nonenon_blocking: bool = False )
매개변수
- module (
torch.nn.Module) — 계산 시에는 고정밀 dtype로, 저장 시에는 저정밀 dtype로 캐스팅될 리프 모듈을 가진 모듈입니다. - storage_dtype (
torch.dtype) — 저장을 위해 forward pass 전후로 모듈을 캐스팅할 dtype입니다. - compute_dtype (
torch.dtype) — 전진 패스(forward pass) 중 계산 시 모듈을 캐스팅할 dtype입니다. - skip_modules_pattern (
tuple[str, ...], 기본값None) — 레이어별 캐스팅 과정에서 건너뛸 모듈의 이름을 일치시키기 위한 패턴 목록입니다.None으로 설정되고skip_modules_classes도None인 경우, 레이어별 캐스팅은 내부 하위 모듈이 아닌 모듈 자체에 직접 적용됩니다. - skip_modules_classes (
tuple[type[torch.nn.Module], ...], 기본값None) — 레이어별 캐스팅 과정에서 건너뛸 모듈 클래스 목록입니다. - non_blocking (
bool, 기본값False) —True인 경우, 가중치 캐스팅 작업이 비차단 방식으로 수행됩니다.
주어진 모듈에 레이어별 캐스팅을 적용합니다. 여기서 기대하는 모듈은 PyTorch nn.Module입니다. 이는 모델을 완전히 양자화하지 않고도 메모리 요구량을 줄이는 데 유용합니다. 모델 파라미터를 torch.float8_e4m3fn과 같은 형식으로 유지한 채, forward pass 동안 torch.bfloat16와 같은 더 높은 정밀도로 업캐스팅하고, 메모리 절약을 실현하기 위해 다시 torch.float8_e4m3fn으로 다운캐스팅할 수 있습니다.
예:
>>> from accelerate.hooks import attach_layerwise_casting_hooks
>>> from transformers import AutoModelForCausalLM
>>> import torch
>>> # Model
>>> checkpoint = "EleutherAI/gpt-j-6B"
>>> model = AutoModelForCausalLM.from_pretrained(checkpoint)
>>> # Attach hooks and perform inference
>>> attach_layerwise_casting_hooks(model, storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.bfloat16)
>>> with torch.no_grad():
... model(...)사용자는 다운캐스팅을 피하고 싶은 모듈을 전달할 수도 있습니다.
훅 제거
remove_hook_from_module
accelerate.hooks.remove_hook_from_module
< source >( module: Modulerecurse = False ) → torch.nn.Module
add_hook_to_module를 통해 모듈에 연결된 모든 훅을 제거합니다.
remove_hook_from_submodules
accelerate.hooks.remove_hook_from_submodules
< source >( module: Module )
…
유틸리티
has_offloaded_params
accelerate.utils.has_offloaded_params
< source >( module: Module ) → bool
AlignDevicesHook가 offloading이 활성화된 상태로 연결되어 있는지 확인하여, 주어진 모듈에 offload된 파라미터가 있는지 검사합니다
align_module_device
accelerate.utils.align_module_device
< source >( module: Moduleexecution_device: torch.device | None = None )
지정된 실행 장치로 모듈의 매개변수를 이동하는 컨텍스트 매니저입니다.