Hugging Face's logo

Transformers documentation

FalconH1

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2025年5月21日にHugging Face Transformersに貢献されました。

FalconH1

概要

FalconH1モデルは、TII Pretrainingチームによって開発されました。アーキテクチャ、事前学習のダイナミクス、実験結果、および結論を網羅した包括的な研究論文は近日公開予定です。このシリーズの詳細については、このウェブサイトをご覧ください。

貢献者

このモデルは、DhiyaEddine、ybelkada、JingweiZuo、IlyasChahed、MaksimVelikanov によって提供されました。 元のコードはこちらで確認できます。

注記

  • バッチ生成には左パディングを使用します。Padding sideを参照してください。

FalconH1Config

モデル深さ次元アテンションヘッドKVMamba Headsd_headd_stateコンテキスト長
H1 0.5B361024822464 / 641284K、16K-SFT
H1 1.5B2420488248128 / 64256128K
H1 1.5B-d6612806224128 / 64256128K
H1 3B32256010232128 / 128256128K
H1 7B44307212224128 / 128256256K
H1 34B72512020432128 / 128256256K

クラス transformers.FalconH1Config

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 128000tie_word_embeddings: bool = Falsehidden_size: int = 4096intermediate_size: int = 14336num_hidden_layers: int = 32num_attention_heads: int = 32num_key_value_heads: int | None = 8hidden_act: str = 'silu'initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool | None = Truenum_logits_to_keep: int | None = 1pad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2max_position_embeddings: int = 8192attention_dropout: float | int | None = 0.0mamba_d_ssm: int | None = 1024mamba_n_heads: int | None = 128mamba_d_head: str | int | None = 'auto'mamba_n_groups: int | None = 1mamba_d_state: int | None = 256mamba_d_conv: int | None = 4mamba_expand: int | None = 2mamba_chunk_size: int | None = 256mamba_conv_bias: bool | None = Truemamba_proj_bias: bool | None = Falsemamba_norm_before_gate: bool | None = Truemamba_rms_norm: bool | None = Falsetime_step_limit: list[float, float] | tuple[float, float] | None = (0.0, inf)projectors_bias: bool | None = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonelm_head_multiplier: float | None = 1.0embedding_multiplier: float | None = 1.0mlp_multipliers: list[float] | None = Nonekey_multiplier: float | None = 1.0attention_out_multiplier: float | None = 1.0attention_in_multiplier: float | None = 1.0ssm_multipliers: list[float] | None = Nonessm_in_multiplier: float | None = 1.0ssm_out_multiplier: float | None = 1.0attention_bias: bool = Falsemlp_bias: bool = False )

パラメータ

  • vocab_size (int、任意、デフォルトは 128000) — モデルの語彙サイズ。input_ids で表現できるトークンの種類数を定義します。
  • tie_word_embeddings (bool、任意、デフォルトは False) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。
  • hidden_size (int、任意、デフォルトは 4096) — 隠れ表現の次元数。
  • intermediate_size (int、任意、デフォルトは 14336) — MLP 表現の次元数。
  • num_hidden_layers (int、任意、デフォルトは 32) — Transformer デコーダーの隠れ層の数。
  • num_attention_heads (int、任意、デフォルトは 32) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
  • num_key_value_heads (int、任意、デフォルトは8) — Grouped Query Attention の実装に使用する key_value ヘッドの数を指定します。 num_key_value_heads=num_attention_heads の場合、モデルは Multi Head Attention (MHA) を使用し、 num_key_value_heads=1 の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。 マルチヘッドのチェックポイントを GQA のチェックポイントに変換する際は、各グループの key ヘッドと value ヘッドを、そのグループ内の元のすべてのヘッドの平均プーリングによって構築する必要があります。詳細については、この論文を参照してください。指定しない場合、デフォルトで num_attention_heads が使用されます。
  • hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • rms_norm_eps (float、任意、デフォルト値は1e-05) — RMS正規化レイヤーで使用するepsilonです。
  • use_cache (bool、任意、デフォルトは True) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=True の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。
  • num_logits_to_keep (int または None、任意、デフォルトは 1) — 生成時に計算するプロンプトの logits の数です。None の場合、すべての logits が計算されます。整数を指定した場合、最後の num_logits_to_keep 個の logits のみが計算されます。デフォルトが 1 であるのは、生成にはプロンプトの最後のトークンの logits だけで十分だからです。長いシーケンスでは、シーケンス全体の logits を計算するとメモリを大量に消費するため、num_logits_to_keep=1 を設定することでメモリ使用量を大幅に削減できます。
  • pad_token_id (int、任意、デフォルトは 0) — 語彙内でパディングに使用されるトークン ID。
  • bos_token_id (int、任意、デフォルトは 1) — 語彙におけるストリーム開始に使用されるトークン ID。
  • eos_token_id (Union[int, list[int]]、任意、デフォルトは 2) — 語彙内でストリーム終了に使用されるトークン ID。
  • max_position_embeddings (int、任意、デフォルトは 8192) — このモデルが使用される可能性のある最大シーケンス長です。
  • attention_dropout (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
  • mamba_d_ssm (int、任意、デフォルト値は 1024) — FalconH1 の Mamba レイヤーにおける SSM（state-space model）の内部状態サイズです。
  • mamba_n_heads (int、任意、デフォルトは 128) — v2 実装で使用する mamba ヘッドの数です。
  • mamba_d_head (Union[str, int]、省略可、デフォルトはauto) — ヘッド埋め込みの次元サイズ
  • mamba_n_groups (int, 任意、デフォルトは 1) — v2 実装で使用する mamba グループの数です。
  • mamba_d_state (int、任意、デフォルトは 256) — Mamba レイヤーにおける SSM 状態(潜在状態の次元)のサイズ。
  • mamba_d_conv (int、任意、デフォルトは 4) — Mamba の畳み込みカーネルのサイズ
  • mamba_expand (int、任意、デフォルトは 2) — mamba の中間サイズを決定するために使用される拡張係数(hidden_size に対する相対値)
  • mamba_chunk_size (int、任意、デフォルトは 256) — プリフィルや学習を行う際に、シーケンスを分割するチャンクサイズ
  • mamba_conv_bias (bool、任意、デフォルトは True) — mamba mixer ブロックの畳み込み層でバイアスを使用するかどうかを示すフラグ。
  • mamba_proj_bias (bool、任意、デフォルトは False) — mamba mixer ブロックの入力および出力投影（[“in_proj”, “out_proj”]）でバイアスを使用するかどうかを示すフラグ
  • mamba_norm_before_gate (bool、任意、デフォルトはTrue) — Mambaミキサーにおいて、ゲーティング機構の前に正規化を適用するかどうかを指定します。
  • mamba_rms_norm (bool、任意、デフォルトはFalse) — Mamba層でRMS正規化を使用するかどうか（標準的なLayerNormに代えて）。
  • time_step_limit (Union[list[float, float], tuple[float, float]]、任意、デフォルトは (0.0, inf)) — クランプに使用するタイムステップ値の許容範囲です。
  • projectors_bias (bool、任意、デフォルトは False) — アテンションブロックの入力および出力プロジェクション（[“in_proj”, “out_proj”]）でバイアスを使用するかどうかを示すフラグ
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。
  • lm_head_multiplier (float、任意、デフォルト値は 1.0)— LM head の乗数です。LM head の出力をスケーリングするために使用されます。
  • embedding_multiplier (float、任意、デフォルトは 1.0) — 埋め込み層の乗数です。埋め込み層の出力をスケーリングするために使用されます。
  • mlp_multipliers (list[float], 任意) — MLP層の乗数です。MLP層の出力をスケーリングするために使用されます。最初の値はgate層の乗数、2番目の値はdown_proj層の乗数です。
  • key_multiplier (float, 省略可) — キー層の乗数です。キー層の出力をスケーリングするために使用されます。
  • attention_out_multiplier (float、任意) — アテンション出力層の乗数です。アテンション出力のスケール調整に使用されます。
  • attention_in_multiplier (float, 省略可) — アテンション入力層の乗数です。アテンション入力層の出力をスケーリングするために使用されます。
  • ssm_multipliers (list[float]、省略可) — SSM 層用の乗数です。SSM 層の出力をスケーリングするために使用されます。
  • ssm_in_multiplier (float, 省略可) — SSM入力層の乗数です。SSM入力層の出力をスケーリングするために使用されます。
  • ssm_out_multiplier (float, 省略可) — SSM出力層の乗数です。SSM出力層の出力をスケーリングするために使用されます。
  • attention_bias (bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。
  • mlp_bias (bool、任意、デフォルトはFalse) — MLP層のup_proj、down_proj、gate_proj層でバイアスを使用するかどうかを指定します。

これはFalconH1Modelの設定を保存するための設定クラスです。指定された引数に基づいてFalcon H1モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、tiiuae/Falcon-H1-1.5B-Deep-Instructと類似した設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

FalconH1ForCausalLM

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("tiiuae/Falcon-H1-7B-Instruct", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("tiiuae/Falcon-H1-7B-Instruct")

message = ["Mamba is a snake with following properties  "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False).to(model.device)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

クラス transformers.FalconH1ForCausalLM

< >

( config: FalconH1Config )

パラメータ

  • config (FalconH1Config) — モデルのすべてのパラメータを含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

因果言語モデリング用のFalcon H1モデル。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → CausalLMOutputWithPast or tuple(torch.Tensor)

パラメータ

  • input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

    インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

    入力IDとは何ですか？

  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].

    ポジションIDとは?

  • past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

    入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

    モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

    past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

  • inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
  • labels (torch.LongTensor 形状 (batch_size, sequence_length), 任意) — 因果言語モデリングの損失を計算するためのラベル。インデックスは [-100, 0, ..., config.vocab_size] (参照 input_ids のドキュメント文字列を参照)。インデックスが -100 に設定されたトークンは無視（マスク）され、損失はラベルが [0, ..., config.vocab_size].

    ラベルは内部でシフトされるため、labels[..., 1:]を使用してlogits[..., :-1, :]を予測します。 input_idsと一致するシフトされていないラベル（つまりlabels = input_ids）を渡してください。ラベルを渡す前に、ご自身でシフトしないでください。

    ラベルがすでにシフトされている場合（シーケンス並列化など）、shift_labels キーワード引数として渡すと、そのまま使用されます。損失を計算するには、labels も引き続き渡す必要があります。

  • use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
  • logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。

戻り値

CausalLMOutputWithPast または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または CausalLMOutputWithPast。設定（FalconH1Config）と入力に応じて、さまざまな要素で構成されます。

FalconH1ForCausalLMのforwardメソッドは、__call__という特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。

  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。

  • past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

    逐次デコーディングを高速化するために使用できる（past_key_values 入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoTokenizer, FalconH1ForCausalLM

>>> model = FalconH1ForCausalLM.from_pretrained("...")
>>> tokenizer = AutoTokenizer.from_pretrained("...")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."

この HF 実装は、younesbelkada と DhiaEddineRhaiem によって提供されました。

Update on GitHub

←Falcon3 FalconMamba→