Intel Gaudi

Người dùng có thể tận dụng bộ tăng tốc AI Intel Gaudi để huấn luyện và suy luận mô hình nhanh hơn đáng kể và hiệu quả về chi phí. Dòng bộ tăng tốc AI Intel Gaudi hiện bao gồm ba thế hệ sản phẩm: Intel Gaudi 1, Intel Gaudi 2 và Intel Gaudi 3. Mỗi máy chủ được trang bị 8 thiết bị, được gọi là Habana Processing Units (HPUs), cung cấp 128GB bộ nhớ trên Gaudi 3, 96GB trên Gaudi 2 và 32GB trên Gaudi thế hệ đầu. Để biết thêm chi tiết về kiến trúc phần cứng cơ bản, hãy xem Gaudi Architecture Overview.

Cách hoạt động ngay khi cài đặt

Tính năng này được bật mặc định nếu phát hiện thiết bị Intel Gaudi. Để tắt tính năng này, hãy truyền cờ --cpu vào lệnh accelerate launch hoặc trả lời câu hỏi tương ứng khi điền bảng khảo sát accelerate config.

Bạn có thể chạy trực tiếp script sau để kiểm tra trên Intel Gaudi:

accelerate launch /examples/cv_example.py --data_dir images

Hạn chế

Các tính năng sau đây không thuộc thư viện Accelerate và yêu cầu Optimum for Intel Gaudi:

• fast_ddp, thực hiện DDP bằng cách áp dụng all-reduce lên các gradient thay vì dùng wrapper DDP của Torch.
• minimize_memory được sử dụng cho huấn luyện fp8 và cho phép giữ các trọng số fp8 trong bộ nhớ giữa các bước truyền thẳng và truyền ngược, dẫn đến dấu chân bộ nhớ nhỏ hơn với chi phí là các phép ép kiểu fp8 bổ sung.
• context_parallel_size được sử dụng cho Context/Sequence Parallelism (CP/SP) và phân vùng các đầu vào mạng và kích hoạt dọc theo chiều sequence để giảm dấu chân bộ nhớ và tăng thông lượng.