プライベートおよびゲート付きデータセットの認証

プライベートまたはゲート付きのデータセットにアクセスするには、DuckDB Secrets Manager で Hugging Face Token を設定する必要があります。

アクセストークンを取得するには、Hugging Face Settings - Tokensにアクセスしてください。

hf datasets sql を介してクエリを実行する場合、ログインセッション（または --token）からトークンシークレットが自動的に設定されるため、手動でのシークレット設定は不要です。

DuckDBは、シークレットの管理に2つのプロバイダーをサポートしています：

• CONFIG: ユーザーがCREATE SECRETステートメントにすべての設定情報を渡す必要があります。
• CREDENTIAL_CHAIN: 認証情報の取得を自動的に試みます。Hugging Face トークンの場合、~/.cache/huggingface/token から取得しようとします。

DuckDB Secretsの詳細については、Secrets Managerガイドを参照してください。

CONFIGプロバイダーでシークレットを作成する

CONFIGプロバイダーを使用してシークレットを作成するには、以下のコマンドを使用します。

CREATE SECRET hf_token (TYPE HUGGINGFACE, TOKEN 'your_hf_token');

your_hf_token を実際の Hugging Face トークンに置き換えてください。

CREDENTIAL_CHAINプロバイダーでシークレットを作成する

CREDENTIAL_CHAINプロバイダーを使用してシークレットを作成するには、以下のコマンドを使用します。

CREATE SECRET hf_token (TYPE HUGGINGFACE, PROVIDER credential_chain);

このコマンドは、~/.cache/huggingface/token に保存されたトークンを自動的に取得します。

まず、Hugging Face アカウントでログインする必要があります。例えば、以下のようにします:

hf auth login

代わりに、Hugging Face トークンを環境変数として設定することもできます:

export HF_TOKEN="hf_xxxxxxxxxxxxx"

認証に関する詳細については、Hugging Face 認証のドキュメントを参照してください。