Hugging Face Hub 문서

Hugging Face Hub는 오픈 ML을 위한 대표적인 AI 플랫폼입니다. 200만 개 이상의 모델, 150만 개의 데이터셋, 150만 개의 AI 앱(Spaces)을 호스팅하며, 모두 오픈되어 공개적으로 사용할 수 있습니다. 오픈 AI를 넘어 Hub는 내부 및 비공개 팀을 위한 훌륭한 협업 플랫폼이기도 합니다. 탐색, 실험, 협업, 구축을 한 곳에서 모두 수행해 보세요! 🤗

Hugging Face Hub는 무엇인가요?

Machine Learning의 발전을 목표로 커뮤니티가 함께 노력할 수 있도록 돕고 있습니다 🔥.

Tech Titans를 포함한 어느 한 회사도 단독으로 “AI를 해결”할 수 없습니다. 이를 달성할 수 있는 유일한 방법은 커뮤니티 중심의 접근 방식으로 지식과 자원을 공유하는 것입니다. 우리는 Hugging Face Hub에서 가장 큰 오픈소스 모델, 데이터셋, 데모 컬렉션을 구축하여 모든 사람을 위한 ML의 민주화와 발전을 추진하고 있습니다 🚀.

Code of Conduct와 Content Guidelines를 읽어보시기를 권장하며, 이를 통해 커뮤니티 구성원들이 지켜야 할 가치를 익히실 수 있습니다 🤗.

Hub에서 무엇을 찾을 수 있나요?

Hugging Face Hub은 Git 기반 저장소를 호스팅하며, 이는 버전 관리가 가능한 폴더로 모든 파일을 포함할 수 있습니다. 버전 관리되지 않고 변경 가능한 객체 저장을 위해 Hub는 Storage Buckets도 제공합니다.

여기서 업로드하고 발견할 수 있습니다…

• 모델: LLM, 텍스트, 비전, 오디오 작업을 위한 최신 최첨단 모델 호스팅
• Datasets: 다양한 도메인과 모달리티를 위한 폭넓은 데이터를 제공합니다
• Spaces: 브라우저에서 ML 모델을 직접 시연할 수 있는 인터랙티브 앱

Hub는 버전 관리, 커밋 히스토리, diff, 브랜치, 그리고 10개 이상의 라이브러리 통합을 제공합니다! 모든 저장소는 Xet를 기반으로 구축됩니다. Xet은 Git 내부에서 대용량 파일을 효율적으로 저장하기 위한 새로운 기술로, 파일을 고유한 청크로 지능적으로 분할하여 업로드와 다운로드를 가속화합니다.

모든 저장소가 공유하는 기능에 대한 자세한 내용은 Repositories 문서에서 확인할 수 있습니다.

모델

커뮤니티에서 공유한 수만 개의 오픈소스 ML 모델을 발견하고 사용할 수 있습니다. 책임 있는 모델 사용과 개발을 장려하기 위해 모델 저장소에는 각 모델의 한계와 편향을 사용자에게 알리기 위한 Model Cards가 제공됩니다. 작업, 언어, 평가 결과와 같은 정보에 대한 추가 metadata를 포함할 수 있으며, 저장소에 TensorBoard traces가 포함된 경우 학습 지표 차트도 추가할 수 있습니다. 또한 모델에 inference widget을 추가하는 것도 쉬우며, 이를 통해 누구나 브라우저에서 모델을 직접 사용해 볼 수 있습니다. 프로그래밍 방식의 접근을 위해 Inference Providers에서 서버리스 API를 제공합니다.

Hub에 모델을 업로드하거나 모델을 다운로드하여 작업에 통합하려면 Models 문서를 확인해 보세요. 또한 Hub를 지원하는 🤗 Transformers, Asteroid, ESPnet 등 10개 이상의 라이브러리 중에서 선택할 수 있습니다.

데이터셋

Hub에는 NLP, Computer Vision, Audio를 아우르는 다양한 작업에 활용할 수 있는 8,000개 이상의 언어로 된 50만 개 이상의 공개 데이터셋이 있습니다. Hub를 사용하면 데이터셋을 쉽게 검색, 다운로드 및 업로드할 수 있습니다. 데이터셋에는 Dataset Cards와 Data Studio 형태의 상세한 문서가 함께 제공되어 브라우저에서 데이터를 직접 탐색할 수 있습니다. 많은 데이터셋이 공개되어 있지만, organizations과 개인은 라이선스 또는 개인정보 보호 문제를 준수하기 위해 비공개 데이터셋을 생성할 수 있습니다. Hugging Face Hub 문서에서 Datasets에 대해 자세히 알아보세요.

🤗 datasets 라이브러리를 사용하면 데이터셋에 프로그래밍 방식으로 상호작용할 수 있어 Hub의 데이터셋을 프로젝트에서 쉽게 활용할 수 있습니다. 한 줄의 코드로 데이터셋에 접근할 수 있으며, 컴퓨터에 저장되지 않을 정도로 큰 데이터셋도 스트리밍을 통해 데이터를 효율적으로 접근할 수 있습니다.

Spaces

Spaces는 Hub에서 ML 데모 앱을 호스팅하는 간단한 방법입니다. 이를 통해 ML 포트폴리오를 구축하고, 컨퍼런스나 이해관계자에게 프로젝트를 소개하며, ML 생태계의 다른 사람들과 협업할 수 있습니다.

현재 몇 분 만에 멋진 앱을 만들 수 있는 두 가지 훌륭한 Python SDK(Gradio와 Streamlit)를 지원합니다. 사용자는 간단한 HTML/CSS/JavaScript 페이지인 정적 Spaces를 만들거나 Docker 기반의 어떤 애플리케이션이든 배포할 수도 있습니다.

데모에 GPU 성능이 필요하시다면 ZeroGPU를 사용해 보세요. 필요할 때만 실시간으로 NVIDIA RTX Pro 6000 Blackwell GPU를 동적으로 제공합니다.

After you’ve explored a few Spaces (take a look at our Space of the Week!), dive into the Spaces documentation to learn all about how you can create your own Space. You’ll also be able to upgrade your Space to run on a GPU or other accelerated hardware. ⚡️

Storage Buckets

Storage Buckets는 Xet 스토리지 백엔드를 기반으로 Hugging Face에서 S3와 유사한 객체 스토리지를 제공합니다. 리포지토리(기반이 git이며 파일 히스토리를 추적)와 달리, 버킷은 콘텐츠 주소 기반 중복 제거를 지원하는 대규모 파일을 위한 원격 객체 스토리지 컨테이너입니다. 버전 관리가 필요하지 않은 학습 체크포인트, 로그, 중간 산출물 또는 기타 대규모 파일 집합과 같이 단순하고 빠르며 변경 가능한 스토리지가 필요한 사용 사례를 위해 설계되었습니다.

조직

기업, 대학 및 비영리 단체는 Hugging Face 커뮤니티의 필수적인 부분입니다! Hub는 Organizations를 제공하며, 이를 통해 계정을 그룹화하고 데이터셋, 모델, Spaces를 관리할 수 있습니다. 교육자는 Hugging Face for Classrooms를 사용하여 학생들을 위한 협업 조직을 만들 수도 있습니다. 조직의 저장소는 해당 조직의 페이지에 표시되며, 조직의 모든 구성원은 저장소에 기여할 수 있습니다. 조직의 모든 작업을 편리하게 그룹화하는 것 외에도, Hub는 관리자가 저장소 접근을 제어할 수 있는 역할을 설정하고 조직의 결제 수단 및 청구 정보를 관리할 수 있도록 합니다. 협업하면 머신러닝이 더 재미있어집니다! 🔥

기존 조직 탐색, 여기에서 새 조직을 만들고, Organizations 문서를 참고하여 더 자세히 알아보세요.

보안

Hugging Face Hub은 코드, 모델, 데이터가 안전하게 관리되도록 안심할 수 있는 보안 및 액세스 제어 기능을 지원합니다. 이 문서의 Security 섹션을 방문하여 다음 내용을 확인해 보세요:

• 사용자 액세스 토큰
• 조직의 액세스 제어
• GPG로 커밋 서명
• 악성 소프트웨어 스캔

Update on GitHub