Transformers documentation

Lara Mini

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

このモデルは2026年11月12日にHF papersで公開され、2026年11月16日にHugging Face Transformersに貢献されました。

Lara Mini

概要

Lara Miniは、Translatedが開発した多言語ベース言語モデルです。総パラメータ数は7.2B、トークンあたりのアクティブパラメータ数は0.6Bです。線形時間再帰層、スライディングウィンドウアテンション、および少数のグローバルアテンション層のハイブリッド構成となっており、それぞれの層の後に細粒度のエキスパートの混合(Mixture of Experts)が配置されています。

詳細については、Lara Mini Base モデルカードおよび技術レポートを参照してください。重みは CC BY-NC-SA 4.0 ライセンス(非商用利用)の下で、ゲート付きリポジトリに公開されています。モデルページでアクセスを申請し、その後 hf auth login でログインしてください。

このモデルは cvalgian によって提供されました。

use_kernels=True を from_pretrained() に設定すると、対応するレイヤーが Hub からの最適化されたカーネルに置き換えられます。詳細は カーネルの読み込み を参照してください。

使用のコツ

  • 公開されているチェックポイントは、gated delta net (GDN) の入力射影を1つのin_projに統合し、そのゲート付き出力正規化をout_normと呼んでいます。モデルの読み込み時に変換され、保存時に元に戻されます。
  • GDNレイヤーは利用可能な場合、高速なGPUカーネルを使用します。use_kernels=Trueで読み込む場合はHubカーネルを使用し、それ以外の場合はインストールされている場合、flash-linear-attentionおよびcausal-conv1dパッケージを使用します。これらが利用できない場合、より低速なPyTorch実装にフォールバックします。

例

以下の例は、AutoModelForCausalLM クラスを使用してテキストを生成する方法を示しています。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "translated/Lara-4-Mini-Base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

inputs = tokenizer("La capitale d'Italia è", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=32, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))

LoRAによるファインチューニング

GDNの入力投影は読み込み時に分割されるため、LoRAアダプターはin_proj_qkv、in_proj_z、in_proj_b、in_proj_aをターゲットとします。これに加え、out_proj、アテンションのq_proj/k_proj/v_proj/o_proj、および共有エキスパートのgate_proj/up_proj/down_projもターゲットとなります。ルーティングされたエキスパートは3次元のパラメータであり、target_parametersでターゲットを指定してください。事前学習で使用されるルーターの負荷分散損失を追加するには、output_router_logits=Trueを渡してください。

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "in_proj_qkv", "in_proj_z", "in_proj_b", "in_proj_a", "out_proj"],
    target_parameters=["mlp.experts.gate_up_proj", "mlp.experts.down_proj"],
)
model = get_peft_model(model, config)

Hubのリモートコード(trust_remote_code=True)で学習されたアダプターは、融合されたlinear_attn.in_projを対象とします。 これらはここでは部分的にのみロードされ、警告も出されません。in_projのLoRA重みが破棄されます。変換するには、lora_Aを4つの射影にコピーし、lora_Bを行単位で[2 * key_dim + value_dim, value_dim, num_v_heads, num_v_heads]に分割してください。ワード埋め込みは結合されているため、まず結合を解除せずにembed_tokensまたはlm_headのアダプターをマージしないでください。

LaraMiniConfig

クラス transformers.LaraMiniConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 151936hidden_size: int = 1024num_hidden_layers: int = 34num_attention_heads: int = 16num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Truerope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0head_dim: int = 128linear_conv_kernel_dim: int = 4linear_key_head_dim: int = 128linear_value_head_dim: int = 128linear_num_key_heads: int = 8linear_num_value_heads: int = 16moe_intermediate_size: int = 512shared_expert_intermediate_size: int = 512num_experts_per_tok: int = 4num_experts: int = 128norm_topk_prob: bool = Trueoutput_router_logits: bool = Falserouter_aux_loss_coef: float = 0.001layer_types: list[str] | None = Nonepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 151643sliding_window: int = 512 )

パラメータ

  • vocab_size (int、任意、デフォルトは 151936) — モデルの語彙サイズです。input_ids で表現できるトークンの種類数を定義します。
  • hidden_size (int、任意、デフォルトは 1024) — 隠れ表現の次元数。
  • num_hidden_layers (int、任意、デフォルトは 34) — Transformer デコーダーの隠れ層の数。
  • num_attention_heads (int、任意、デフォルトは 16) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
  • num_key_value_heads (int、任意、デフォルトは4) — Grouped Query Attention の実装に使用する key_value ヘッドの数を指定します。 num_key_value_heads=num_attention_heads の場合、モデルは Multi Head Attention (MHA) を使用し、 num_key_value_heads=1 の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。 マルチヘッドのチェックポイントを GQA のチェックポイントに変換する際は、各グループの key と value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、この論文を参照してください。指定しない場合、デフォルトで num_attention_heads が使用されます。
  • hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数(関数または文字列)。例えば、"gelu"、 "relu"、"silu" など。
  • max_position_embeddings (int、任意、デフォルトは 131072) — このモデルが使用される可能性のある最大シーケンス長です。
  • initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
  • rms_norm_eps (float、任意、デフォルトは 1e-06) — RMS 正規化レイヤーで使用する epsilon。
  • use_cache (bool、任意、デフォルトは True) — モデルが最後のキー/バリューの注意を返すかどうか(すべてのモデルで利用されるわけではありません)。config.is_decoder=True の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。
  • tie_word_embeddings (bool、任意、デフォルトは True) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。
  • attention_bias (bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。
  • attention_dropout (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
  • head_dim (int、任意、デフォルトは128) — アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。
  • linear_conv_kernel_dim (int、任意、デフォルト値は 4) — gated delta net ("linear_attention") レイヤーにおける因果的 depthwise 畳み込みのカーネルサイズ。
  • linear_key_head_dim (int、任意、デフォルトは 128) — gated delta net レイヤーにおける各クエリおよびキーヘッドの次元数。
  • linear_value_head_dim (int、任意、デフォルト値は 128) — gated delta net レイヤーにおける各 value head の次元数。
  • linear_num_key_heads (int、任意、デフォルトは 8) — gated delta net レイヤーにおけるクエリとキーのヘッド数です。
  • linear_num_value_heads (int、任意、デフォルトは 16)— gated delta net レイヤーにおける value head の数です。各 query head と key head は、linear_num_value_heads // linear_num_key_heads 個の連続する value head を担当します。
  • moe_intermediate_size (int、任意、デフォルトは 512) — ルーティングされたエキスパートの MLP の中間サイズ。
  • shared_expert_intermediate_size (int、任意、デフォルトは 512) — 共有エキスパート MLP の中間サイズ。
  • num_experts_per_tok (int、任意、デフォルトは4) — 各トークンをルーティングするエキスパートの数です。これは、トークン選択ルーティングにおける top-k の値です。
  • num_experts (int、任意、デフォルトは 128) — MoE レイヤーにおけるルーティング対象のエキスパートの数。
  • norm_topk_prob (bool、任意、デフォルトは True) — ルーティングされたエキスパートの重みを正規化するかどうかを指定します。
  • output_router_logits (bool、任意、デフォルトはFalse) — モデルがルーターのロジツを返すかどうかを指定します。これを有効にすると、モデルは補助損失(ロードバランシング損失とルーターのz損失を含む)を出力できるようになります。
  • router_aux_loss_coef (float、任意、デフォルト値は0.001) — 補助的なロードバランシング損失の係数です。MoEモデルにおける不均一なエキスパートルーティングをペナルティするために使用されます。
  • layer_types (list[str]、省略可) — 各レイヤーのインデックスとレイヤータイプを明示的に対応付けるリストです。指定しない場合、config の値に基づいて自動的に生成されます。
  • pad_token_id (int, 任意) — 語彙内でパディングに使用されるトークン ID。
  • bos_token_id (int, 省略可) — 語彙におけるストリーム開始に使用されるトークン ID。
  • eos_token_id (Union[int, list[int]]、任意、デフォルトは151643) — 語彙内でストリーム終了に使用されるトークンIDです。
  • sliding_window (int、任意、デフォルトは512) — スライディングウィンドウアテンションのウィンドウサイズ。Noneの場合、スライディングウィンドウは適用されません。

これはLaraMiniModelの設定を保存するための設定クラスです。指定された引数に基づいてLara Miniモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、translated/Lara-4-Mini-Baseと類似した設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

>>> from transformers import LaraMiniModel, LaraMiniConfig

>>> # Initializing a LaraMini style configuration
>>> configuration = LaraMiniConfig()

>>> # Initializing a model from the LaraMini style configuration
>>> model = LaraMiniModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

LaraMiniModel

クラス transformers.LaraMiniModel

< >

( config: LaraMiniConfig )

パラメータ

  • config (LaraMiniConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

特定のヘッドを上に載せずに、生の隠れ状態を出力する素のLara Mini Model。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)

パラメータ

  • input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

    インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

    入力IDとは何ですか?

  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].

    ポジションIDとは?

  • cache (~cache_utils.Cache, 省略可能) — 逐次的なデコーディングを高速化するために使用できる、事前計算済みの隠れ状態(自己注意ブロックおよび相互注意ブロック内のキーとバリュー)。通常、これは cache デコーディングの以前の段階でモデルが返した use_cache=True または config.use_cache=True.

    入力として許可されるのはCacheインスタンスのみです。kv cache guideを参照してください。 cacheが渡されない場合、デフォルトでDynamicCacheが初期化されます。

    モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

    cache が使用される場合、ユーザーは、すべての input_ids(形状 (batch_size, sequence_length))ではなく、このモデルに過去のキーバリュー状態が与えられていない未処理の input_ids(形状 (batch_size, unprocessed_length))のみを入力することが期待されます。

  • inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
  • use_cache (bool, 省略可) — True に設定すると、cache のキーとバリューの状態が返され、デコーディングの高速化に使用できます(cache を参照)。

戻り値

MoeModelOutputWithPast または tuple(torch.Tensor)

MoeModelOutputWithPast または、torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)。設定(None)や入力に応じて、さまざまな要素で構成されます。

LaraMiniModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

  • cache (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

    自己注意ブロックおよび(config.is_encoder_decoder=True の場合、任意で)相互注意ブロックの事前計算済み隠れ状態(キーとバリュー)が含まれており、シーケンシャルデコーディングを高速化するために使用できます(cache 入力参照)。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • router_logits (tuple(torch.Tensor)、optional、output_router_probs=True と config.add_router_probs=True が渡された場合、または config.output_router_probs=True の場合に返されます) — 各層に対応する torch.Tensor のタプルで、形状は (batch_size, sequence_length, num_experts) です。

    MoE ルーターによって計算される生(raw)のルーター logits(softmax 適用後)であり、Mixture of Experts モデルの補助損失を計算するためにこれらの用語が使用されます。

LaraMiniForCausalLM

クラス transformers.LaraMiniForCausalLM

< >

( config: LaraMiniConfig )

パラメータ

  • config (LaraMiniConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

因果言語モデリング用のLara Mini Model。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド(ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど)については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。 通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneoutput_router_logits: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)

パラメータ

  • input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。

    インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

    入力IDとは何ですか?

  • attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
    • マスクされていないトークンに対して1
    • マスクされたトークンに対しては 0 です。

    アテンションマスクとは?

  • position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].

    ポジションIDとは?

  • cache (~cache_utils.Cache, 省略可能) — 逐次的なデコーディングを高速化するために使用できる、事前計算済みの隠れ状態(自己注意ブロックおよび相互注意ブロック内のキーとバリュー)。通常、これは cache デコーディングの以前の段階でモデルが返した use_cache=True または config.use_cache=True.

    入力として許可されるのはCacheインスタンスのみです。kv cache guideを参照してください。 cacheが渡されない場合、デフォルトでDynamicCacheが初期化されます。

    モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

    cache が使用される場合、ユーザーは、すべての input_ids(形状 (batch_size, sequence_length))ではなく、このモデルに過去のキーバリュー状態が与えられていない未処理の input_ids(形状 (batch_size, unprocessed_length))のみを入力することが期待されます。

  • inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
  • labels (torch.LongTensor 形状 (batch_size, sequence_length), 任意) — 因果言語モデリングの損失を計算するためのラベル。インデックスは [-100, 0, ..., config.vocab_size] (参照 input_ids のドキュメント文字列を参照)。インデックスが -100 に設定されたトークンは無視(マスク)され、損失はラベルが [0, ..., config.vocab_size].

    ラベルは内部でシフトされるため、labels[..., 1:]を使用してlogits[..., :-1, :]を予測します。 input_idsと一致するシフトされていないラベル(つまりlabels = input_ids)を渡してください。ラベルを渡す前に、ご自身でシフトしないでください。

    ラベルがすでにシフトされている場合(シーケンス並列化など)、shift_labels キーワード引数として渡すと、そのまま使用されます。損失を計算するには、labels も引き続き渡す必要があります。

  • use_cache (bool, 省略可) — True に設定すると、cache のキーとバリューの状態が返され、デコーディングの高速化に使用できます(cache を参照)。
  • output_router_logits (bool, 省略可) — すべてのルーターの logits を返すかどうか。ルーター損失の計算に有用ですが、推論時には返すべきではありません。
  • logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します(特殊ケース)。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式(バッチとシーケンス長を単一の次元にまとめた形式)を使用する場合に有用です。

戻り値

MoeCausalLMOutputWithPast または tuple(torch.Tensor)

MoeCausalLMOutputWithPast または、torch.Tensor のタプル(return_dict=False が渡された場合、または config.return_dict=False の場合)。設定(None)や入力に応じて、さまざまな要素で構成されます。

LaraMiniForCausalLMのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。

  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア(SoftMax 適用前の各語彙トークンのスコア)。

  • aux_loss (torch.Tensor、任意、output_router_logits=True が渡された場合、または config.output_router_logits=True かつモデルがロードバランシング損失でルーターを学習する場合に返されます) — スパースモジュールのロードバランシング補助損失。ルーターバイアスでエキスパートをバランスさせるモデル(DeepSeek-V3 とそこから派生したアーキテクチャ)は、router_logits を返しながらも、ここでは None を返します。

  • router_logits (tuple(torch.Tensor)、optional、output_router_logits=True が渡された場合または config.output_router_logits=True の場合に返されます) — torch.Tensor のタプル(スパース層ごとに1つ)、形状は (batch_size * sequence_length, num_experts)。

    MoEルーターによって計算される生のルーターロジットです。ロードバランシング損失の計算や、トークンがどのようにエキスパートにディスパッチされるかの確認に使用できます。

  • cache (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

    シーケンシャルなデコーディングを高速化するために使用できる(cache 入力参照)、事前計算済みの隠れ状態(自己注意ブロックのキーとバリュー)が含まれています。

  • hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル(埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ)で、形状は (batch_size, sequence_length, hidden_size) です。

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル(各レイヤーごとに1つ)、形状は (batch_size, num_heads, sequence_length, sequence_length)。

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoTokenizer, LaraMiniForCausalLM

>>> model = LaraMiniForCausalLM.from_pretrained("translated/Lara-4-Mini-Base")
>>> tokenizer = AutoTokenizer.from_pretrained("translated/Lara-4-Mini-Base")

>>> prompt = "La capitale d'Italia è"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(**inputs, max_new_tokens=16)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
Update on GitHub